研究生课程：机器学习-第1章 绪论

《机器学习》课程笔记：第1章 绪论

• 了解机器学习研究问题
  • 有监督学习：分类、回归
  • 无监督学习：聚类、降维、特征提取等；
• 掌握基本的统计和优化方法
  • 统计学习基础：最大似然估计、最小均方等；
  • 优化基础：梯度下降 、随机梯度下降等；
• 掌握机器学习的基础理论和算法
  • Bayes、 SVM、鉴别分析、 logistic、决策树、感知机、多层感知机、 Adaboost、线性回归、kmeans、 PCA、 概率图模型、知识图谱、深度学习及前沿等；
• 能够针对任务设计机器学习方案

第1章 绪论

机器学习研究背景：人工智能

什么是人工智能？

“人工智能就是让机器来完成那些如果由人来做则需要智能的事情的科学”；

“人工智能就是研究如何使计算机去做只有人才能做的智能工作”

“人工智能是研究使计算机来模拟人的某些思维过程和智能行为 （如学习、推理、思考、规划等）的学科 ”

图灵测试思考的问题：

• 人的智能非常复杂： 例如 直觉 、顿悟、理解，等等
• 人的智能具有“人”性：例如 情绪、伪装、狡猾，等等；
• 人的智能缺陷：不依赖于数学工具，无法实现高难度、大规模的运算；不依赖于词典和存储工具，信息的记忆量、精准性有限；

我们研究的是弱人工智能

人工智能的发展

• 孕育期（~1956）：1950 年图灵测试
• 推理期（1956~1965）：1956 年逻辑理论家程序、 1960 年 Lisp 语言
• 知识期（1965~1983）：1965 年分子结构的专家系统 DENDRAL、1972年细菌感染专家系统MYCIN
• 学习期（1983~2006）：解决知识工程瓶颈， 统计机器学习主导
• 黄金期（2006~）：以深度学习为 代表的人工智能核心技术不断取得新突破

对人工智能的期望

• 在人工智能的第一波中，你必须成为一名程序员；
• 在人工智能的第二次浪潮中，你必须是一名数据科学家；
• 人工智能的第三次浪潮，你越道德越好。。。

人工智能创新发展引领新一轮产业变革之势，推动人类社会进入智能化时代，人工智能成为世界各国竞相战略布局的新高地，我国人工智能综合实力不断提升。

机器学习的发展

机器学习是一门人工智能的科学

“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能 。 Langley（1996）“

“机器学习是对能通过经验自动改进的计算机算法的研究 。 Tom Mitchell （1997）“

“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准”。 Alpaydin （2004）

机器学习发展时期

推理期➡知识期➡学科形成➡蓬勃发展期

应用领域

• 航空航天、军事、国防
• 机器人、无人车、 NASA-JPL 火星机器人
• 互联网应用
• 信息安全
• 生物信息学
• 天气预报、地震预警、环境污染检测
• 智能识别
• 金融、经贸、管理 、 公共安全 、 医学 、 交通 、

机器学习研究意义

• 机器学习是人工智能的基石
• 机器学习引领人工智能的前沿
• 支持宽泛的学科领域

机器学习研究的问题

机器学习的一般过程

1. 监督学习：学习输入 x到输出 y的映射，训练数据会有标签 y，分为回归问题和分类问题。
2. 无监督学习：学习数据之间的关联，训练数据是没有标签的，典型问题是聚类。
3. 强化学习：学习输入 x到输出 y的映射，不会提供标签，但是会给一个反馈表示目前的选择有多好。

机器学习流程：

1. 收集数据
2. 选择模型（选择合适的模型，确定优化函数）
3. 训练模型：找到可以优化损失函数的合适的参数集
4. 应用训练好的模型