BP神经网络,感知机,多层感知机,

  • 感知机
    • 最简单的单层神经网络(仅输入层和输出层),无隐藏层。
    • 只能处理线性可分问题(如逻辑与、或等)。
  • BP神经网络
    • 多层结构(至少一个输入层、一个或多个隐藏层、一个输出层)。
    • 通过隐藏层和非线性激活函数(如Sigmoid、ReLU)解决复杂非线性问题。
  • 感知机
    • 通常使用阶跃函数(Step Function)或符号函数(Sign Function),输出二值(如0/1或-1/1)。
    • 无法处理连续值或非线性关系。
  • BP神经网络
    • 使用可微的非线性激活函数(如Sigmoid、Tanh、ReLU),支持梯度下降和反向传播。
    • 能够拟合复杂的非线性映射。
  • 感知机
    • 使用感知机学习规则(Perceptron Learning Rule):
      • 直接调整权重:wnew=wold+η(y−y^)xwnew​=wold​+η(y−y^​)x。
      • 仅适用于二分类,无误差反向传播。
  • BP神经网络
    • 使用反向传播算法(Backpropagation):
      • 通过链式法则计算损失函数对权重的梯度,从输出层反向传播误差至隐藏层。
      • 结合梯度下降优化权重(如SGD、Adam)。

BP VS MLP

BP神经网络(Backpropagation Neural Network)和多层感知机(Multilayer Perceptron, MLP)都是多层前馈神经网络,常被混淆甚至混用,但严格来说,BP神经网络强调训练算法(反向传播),而MLP强调网络结构(多层感知机)
BP(反向传播)神经网络通常指代使用反向传播算法训练的多层前馈网络(如MLP)

异或问题是线性不可分的