Chapter 13 神经网络基础¶
约 426 个字 预计阅读时间 1 分钟
Outline
- 人工神经网络概述
- 感知机模型
- 前馈神经网络
- 反向传播算法
- 神经网络正则化
References
统计学习方法 李航(2022)
西瓜书 周志华(2016)
统计学习 李高荣(2024)
人工神经网络概述¶
人工神经网络(artificial neural network, ANN)或神经网络(nerual network, NN)：
指一系列受生物学和神经科学启发而发明的数学模型，主要是通过对人脑的神经元网络进行抽象,构建人工神经元,按照一定的拓扑结构建立人工神经元之间的连接，来模拟生物神经网络.
前馈神经网络(feedforward neural network, FNN)：
最具代表性的神经网络，主要用于监督学习，例如回归和分类.
深度学习
所谓的深度学习实际上基本是深层神经网络的代名词，它的起源应当是追溯到AlexNet，其中展现了很多在现在使用很多的技术
机器学习定义可以参考CMU的Tom Michael Mitchell教授的Machine Learning(事实上，世界上第一个机器学习系来自CMU)：
如果一个程序可以在任务\(T\)上，随着经验\(E\)的增加，效果\(P\)也可以随之增加，则称该程序可以从经验中学习
ANN的发展历程：
- 1943 McCulloch-Pitts神经元模型
- 1956 感知机(Perceptron)
- 1986 分布式计算
- 1986 反向传播算法 BP
- 1994 长短记忆网络 LSTM
- 2006 深读信念网络 DBN
- 2007 卷积神经网络 CNN
- 2012 AlexNet