人工神经网络#

术语解释#

人工神经网络（Artificial Neural Network, ANN），通常简称神经网络，是深度学习的核心结构。它是一种模仿生物神经网络（如人脑）的结构和功能而构建的数学计算模型。

神经网络由大量的 神经元（Neuron） 互连而成 。最基础的结构包含输入层、隐藏层和输出层。 每一个神经元都可以看作是一个计算单元。它接收来自上一层神经元的输出，通过 权重（Weight）和偏置（Bias）进行线性组合，再经过激活函数（Activation Function） 执行非线性变换，最后将结果传递给下一层。

所谓深度学习，本质上就是构建多层神经网络并进行参数学习的过程，其核心目的在于通过层层叠加的网络结构对输入数据进行特征提取。

更多相关内容原理可参见 「从线性回归到深度神经网络」、「什么是深度学习？从机器学习到神经网络的核心概念与原理一次性讲透」 等文章。

出现动机#

传统的线性回归模型只能处理线性增长关系，无法解决复杂的非线性分问题（如异或问题）。通过引入非线性激活函数，神经网络能够拟合极其复杂的函数映射。

在传统机器学习中，特征工程（人工设计特征）耗时耗力且依赖专家经验，而神经网络可以让模型从原始数据中自主学习提取特征，并且越靠后的隐藏层提取的特征越抽象，从而更利于完成分类或回归等任务

从图中可以发现，对于一开始的几次卷积还能看到一些汽车的轮廓，但是在后续的多次叠加卷积处理后，我们人眼也就再也看不所谓汽车的影子了（越来越抽象）。

优点缺点#

• 优点：

  • 强大的特征表达能力：由于其深层结构，网络能够提取出人类难以直观理解但对任务极其有效的抽象特征。

  • 通用性强：神经网络可以应用于图像识别、自然语言处理、气象预测、语音识别等几乎所有人工智能领域。

  • 高度自动化：实现了端到端的学习，减少了对人工干预和特征工程的依赖。

• 缺点：

  • 黑盒特性（缺乏可解释性）：神经网络提取的特征通常极其抽象，人类无法清楚地解释模型内部的具体逻辑，呈现出“黑盒”状态。

  • 计算资源消耗大：深层网络拥有数千万甚至上千亿个参数，对计算硬件（GPU/TPU）和显存有着极高的要求。

  • 梯度消失与爆炸：在深层网络中，梯度在反向传播过程中容易消失或剧烈波动，导致模型难以收敛。

  • 超参数敏感：学习率、惩罚系数、丢弃率等超参数的选取对结果影响巨大，且通常依赖经验或昂贵的交叉验证。

  • 过拟合风险：由于模型复杂度高，如果训练数据不足或含有大量噪声，模型极易产生过拟合，即在训练集上表现完美但在测试集上泛化能力差。

术语别名#

• ANN

• 人工神经网络

• 深度神经网络

相关术语#

• 卷积神经网络

• 循环神经网络