杨立昆最新万字访谈：我们距AGI只剩“三大关”
机器学习和深度学习
- 机器学习是人工智能的一个主要分支，而深度学习是机器学习的一个子领域/特定方法
- 机器学习的许多算法通常具有较高可解释性；模型复杂度属于简单到中等；适用结构化数据，解决中小规模问题。主要方法：
- 监督学习 - 决策树；支持向量机；朴素贝叶斯等
- 无监督学习 - 聚类算法；异常检测
- 强化学习 - Q-learning；策略梯度法
- 深度学习 - 使用多层神经网络进行特征学习的特定机器学习方法；模型高度复杂，具有大量参数；算法通常被视为黑盒，解释困难；适用解决复杂数据、大规模问题。主要方法：
- 前馈神经网络
- 卷积神经网络 - CNN,主要用于图像
- 循环神经网络 - 用于序列数据
- 变换器（Transformer）- 用于NLP和序列建模
- 自编码器和生成对抗网络（GAN）
- 深度强化学习
三大限制
- 物理世界比语言复杂 - 物理直觉，比如动物能理解重力
- 莫拉维克悖论 - “对人类来说容易的事情对计算机往往很难，而对人类来说困难的事情对计算机却相对简单”
- 感官信息量远大于语言 - 10的14次方字节是当前训练大语言模型所用的数据量，但仅仅是人类婴儿在出生后头四年里通过视觉系统接收到的信息量
缺少训练系统理解复杂感官数据的能力是当前AI发展最为关键的限制
机器学习的三种范式
监督学习 - 向系统提供正确的答案，系统根据答案修正自己的参数，使生成的结果更接近于预期结果。此后系统能够识别出与之类似但未见过的输入，称之为泛化能力
强化学习 - 这种方式更接近人类和动物的学习。不提供正确的答案，只向提供结果是好还是坏的信息。学习效率低。
自监督学习 - 不训练系统执行特定任务，而是让他学习捕获输入数据的内在结构。比如移除输入中的某个单词，让系统预测缺失的单词。目前的大语言模型就是基于此训练出来的。
深度学习的核心就是学习表征 - 从观测中推导出抽象表征 “如果我们能够构建理解物理世界、拥有持久记忆、能够推理和计划的AI系统，那么我们就有能力开发出适应性更强的机器人“
所以如果我们把AI和机器人结合起来，那么它们会不会恰好互补，从而更好地促进彼此发展