从数据中学习

本章参考文献

1. [1] David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams. Learning representations by back-propagating errors. Nature, 323(6088): 533–536.展示了用反向传播算法训练多层神经网络，使隐藏层能学到有用的内部表示，推动了1980年代神经网络研究的复兴（反向传播的数学思想此前已有人提出）。
2. [2] J. J. Hopfield. Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences (PNAS), 79(8): 2554–2558 (Apr 1982).提出后来称为“霍普菲尔德网络”的模型，借用物理学中能量函数的思想，使网络能作为联想记忆，从不完整或有噪声的输入中恢复已存储的模式。
3. [3] Sepp Hochreiter, Jürgen Schmidhuber. Long Short-Term Memory. Neural Computation, 9(8): 1735–1780 (Nov 1997).提出带门控记忆单元的循环神经网络结构LSTM，缓解了普通RNN因梯度消失而难以学习长距离依赖的问题。
4. [4] Yann LeCun, Léon Bottou, Yoshua Bengio, Patrick Haffner. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11): 2278–2324 (Nov 1998).系统阐述了用梯度下降端到端训练卷积神经网络（LeNet-5）识别手写字符和文档的方法，并在MNIST数据集上做了对比，相关系统曾实际用于银行支票识别。
5. [5] Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton. ImageNet Classification with Deep Convolutional Neural Networks. Advances in Neural Information Processing Systems 25 (NIPS 2012; the conference was renamed NeurIPS in 2018).用GPU训练的深层卷积网络（AlexNet）在ILSVRC-2012中取得15.3%的top-5测试错误率（次优成绩为26.2%），使深度学习迅速成为计算机视觉的主流方法。
6. [6] Jia Deng et al.. ImageNet: A large-scale hierarchical image database. 2009 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 248–255.发布了按WordNet层级组织、人工标注的大规模图像数据库ImageNet，为后来的ILSVRC竞赛和深度学习在视觉领域的突破提供了数据基础。
7. [7] David Silver et al.. Mastering the game of Go with deep neural networks and tree search. Nature, 529(7587): 484–489.介绍结合策略网络、价值网络与蒙特卡洛树搜索的围棋程序AlphaGo，它于2015年10月以5:0击败欧洲冠军樊麾，是计算机程序首次在全尺寸棋盘、不让子的条件下战胜职业棋手；2016年3月又以4:1战胜李世石。
8. [8] Tom B. Brown et al.. Language Models are Few-Shot Learners. NeurIPS 2020 (arXiv:2005.14165).训练了1750亿参数的GPT-3，展示只需在提示中给出少量示例（上下文学习，不更新参数）就能完成许多任务。
9. [9] Yoshua Bengio, Geoffrey Hinton, Yann LeCun (recipients). 2018 ACM A.M. Turing Award. ACM (award year 2018; announced March 27, 2019).ACM表彰三人“在概念和工程上的突破，使深度神经网络成为计算的关键组成部分”；这是2018年度奖项，于2019年3月27日公布。
10. [10] John J. Hopfield, Geoffrey Hinton (laureates). The Nobel Prize in Physics 2024. Royal Swedish Academy of Sciences / NobelPrize.org.授予霍普菲尔德和辛顿，表彰他们“为利用人工神经网络实现机器学习奠定基础的发现和发明”，分别涉及霍普菲尔德网络和玻尔兹曼机等工作。
11. [11] Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, Rob Fergus. Intriguing properties of neural networks. arXiv:1312.6199 (ICLR 2014).发现给图像加上人眼几乎察觉不到的特定扰动，就能让训练好的神经网络给出错误分类，这类输入后来被称为“对抗样本”。

全部文献、素材与许可见 来源与许可。