强化学习应用 两个应用 强化学习常用什么过程描述 马尔科夫性是什么 强化学习问题基本设置 机器所处环境E 状态空间：是机器感知到的环境的描述 机器能采取的行为空间A 策略(policy)π：X→A(或π：X×A→R) 潜在的状态转移(概率)函数Ｐ：X×X×A→R 潜在的奖赏(reward)函数Ｒ：X×X×A→R或Ｒ：X×X→R 强化学习对应四元组

神经网络 神经网络是由具有适应性的简单单元组成的广泛并行互联的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的反应 机器学习中的神经网络通常是指“神经网络学习”或者机器学习与神经网络两个学科的交叉部分 神经元模型 M-P神经元模型 输入：来自其他个神经元传递过来的输入信号 处理：输入信号通过带权重的连接进行传递,神经元接受到总输入值将与神经元的阈值进行比较

个体与集成 集成学习(ensemblelearning)通过构建并结合多个学习器来提升性能 集成个体应：好而不同 假设基分类器的错误率相互独立，则由Hoeffding不等式可得集成的错误率为： 上式显示，在一定条件下，随着集成分类器数目的增加，集成的错误率将指数级下降，最终趋向于0 分析 上面的分析有一个关键假设：基学习器的误差相互独立 现实任务中，个体学习器是为解决同一

非监督学习 监督学习 根据一些给定的已知类别标号的样本，训练某种学习机器，使其能够对未知类别的样本进行分类 非监督学习 事先并不知道任何样本的类别标号，希望通过某种算法把一组未知类别的样本划分成若干类别。也称为聚类问题 聚类分析 基本思想 相似的归为一类。 模式相似性的度量。 无监督分类算法。 特征量的类型 物理量：重量、长度、速度

将训练样本分开的超平面可能有很多,哪一个好呢? 应选择”正中间”,容忍性好,鲁棒性高,泛化能力最强 超平面方程 svm基本型 最大间隔:寻找参数w和b,使得γ最大. 解的稀疏性 支持向量机解的稀疏性:训练完成后,大部分的训练样本都不需保留,最终模型仅与支持向量有关. 核函数 难以知道显式的核映射函数基本想法：不显式地设计核映射,而是设计核函数

决策树 基于树结构来进行预测 决策过程中提出的每个判定问题都是对某个属性的“测试” 决策过程的最终结论对应了我们所希望的判定结果 每个测试的结果或是导出最终结论，或者导出进一步的判定问题，其考虑范围是在上次决策结果的限定范围之内 从根结点到每个叶结点的路径对应了一个判定测试序列 决策树学习的目的:为了产生一棵泛化能力强，即处理未见示例能力强的决策树 基本算法 当前结

机器学习 “假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得了性能改善，列则我们就说关于T和P,该程序对E进行了学习” 机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能，从而在计算机上从数据中产生“模型”，用于对新的情况给出判断 应用 Learningtoclassifytextdocuments Learningtod

通常在得到实际对象的若干具体特征之后，再由这些原始特征产生出对分类识别最有效、数目最少的特征，这就是特征提取与选择的任务 目的是使在最小维数特征空间中异类模式点相距较远（类间距离较大），而同类模式点相距较近（类内距离较小） 特征选择与提取的任务： 选出最有代表性的特征，实现特征空间维数的压缩，用最少的特征达到所要求的分类识别正确率。 存在困难 获得的特征测量值不多。实

采用贝叶斯决策理论分类的前提： 目标（事物）的观察值是随机的，服从一定的概率分布。 即：模式不是一个确定向量，而是一个随机向量。 用贝叶斯决策理论分类的要求： 各类别总体概率分布是已知的 决策分类的类别一定，例：有C类