6. 线性分类器

1. 机器学习
   1. “假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得了性能改善，列则我们就说关于T和P,该程序对E进行了学习”
   2. 机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能，从而在计算机上从数据中产生“模型”，用于对新的情况给出判断
   3. 应用
      1. Learningtoclassifytextdocuments
      2. Learningtodetectobjectsinimages
      3. LearningtoPredictEmergencyC-Sections
   4. 预测目标
      1. 分类：离散值
         1. 二分类
         2. 多分类
      2. 回归：连续值
      3. 聚类：无标记信息
   5. 由于标记信息
      1. 监督学习：分类、回归
      2. 无监督学习：聚类
      3. 半监督学习：两者结合
2. 泛化能力
   1. 机器学习的目标是使得学到的模型能很好的适用于“新样本”,而不仅仅是训练集合，我们称模型适用于新样本的能力为泛化(generalization)能力。
   2. 独立同分布
3. 归纳偏好
   1. 归纳偏好可看作学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或“价值观”.
   2. “奥卡姆剃刀”是一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一致，选最简单的那个”.
   3. 具体的现实问题中，学习算法本身所做的假设是否成立，也即算法的归纳偏好是否与问题本身匹配，大多数时候直接决定了算法能否取得好的性能.
   4. 学习过程中对某种类型假设的偏好称作归纳偏好
      
   5. 总误差与学习算法无关！