BP神经网络 VS 感知机
BP神经网络,感知机,多层感知机,
- 感知机:
- 最简单的单层神经网络(仅输入层和输出层),无隐藏层。
- 只能处理线性可分问题(如逻辑与、或等)。
- BP神经网络:
- 多层结构(至少一个输入层、一个或多个隐藏层、一个输出层)。
- 通过隐藏层和非线性激活函数(如Sigmoid、ReLU)解决复杂非线性问题。
- 感知机:
- 通常使用阶跃函数(Step Function)或符号函数(Sign Function),输出二值(如0/1或-1/1)。
- 无法处理连续值或非线性关系。
- BP神经网络:
- 使用可微的非线性激活函数(如Sigmoid、Tanh、ReLU),支持梯度下降和反向传播。
- 能够拟合复杂的非线性映射。
- 感知机:
- 使用感知机学习规则(Perceptron Learning Rule):
- 直接调整权重:wnew=wold+η(y−y^)xwnew=wold+η(y−y^)x。
- 仅适用于二分类,无误差反向传播。
- 使用感知机学习规则(Perceptron Learning Rule):
- BP神经网络:
- 使用反向传播算法(Backpropagation):
- 通过链式法则计算损失函数对权重的梯度,从输出层反向传播误差至隐藏层。
- 结合梯度下降优化权重(如SGD、Adam)。
- 使用反向传播算法(Backpropagation):
BP VS MLP
BP神经网络(Backpropagation Neural Network)和多层感知机(Multilayer Perceptron, MLP)都是多层前馈神经网络,常被混淆甚至混用,但严格来说,BP神经网络强调训练算法(反向传播),而MLP强调网络结构(多层感知机)。
BP(反向传播)神经网络通常指代使用反向传播算法训练的多层前馈网络(如MLP)
异或问题是线性不可分的
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 Min的博客!
评论