跳转到内容

神经网络

来自VeritasWiki 真理百科

神经网络(英文:Neural Network),全称人工神经网络(Artificial Neural Network,缩写 ANN),是一种受人脑生物神经系统启发而设计的计算模型,由大量相互连接的节点("人工神经元")组成,通常包括输入层、一个或多个隐藏层以及输出层。每个神经元接收输入信号,进行加权求和并经过激活函数处理,再传递至下一层;网络具有自适应学习能力,能够通过调整神经元之间的连接权重,从数据中自动提取特征并完成分类、回归等任务,是机器学习中最重要的一类算法模型。[1]

用数学模仿大脑

人工神经网络的思想源头,可以追溯到 1943 年心理学家麦卡洛克与数学家皮茨提出的逻辑神经元模型:每个神经元根据输入信号产生对应的输出,这为神经网络奠定了数学基础,标志着人工神经网络研究的正式启航。[2]1958 年,罗森布拉特在此基础上提出感知机,这是最早的网络实现之一,已能胜任简单的线性分类任务;但 1969 年明斯基与帕普特在《感知机》一书中指出单层感知机无法解决"异或"这类线性不可分问题,暴露出模型的根本局限,加上当时计算能力有限、算法不成熟、理论支撑匮乏,神经网络研究在随后数十年间陷入长期瓶颈。[3][4]

转机来自物理学。1982 年,凝聚态物理学家出身的约翰·霍普菲尔德提出了以他名字命名的霍普菲尔德网络:一种基于物理学能量函数的递归神经网络,其理论框架直接借鉴了统计物理中的自旋玻璃理论。这种网络具备联想记忆功能——当接收到一个不完整或稍有失真的模式时,能够找到与它最相近的已存储模式,就像人回忆一个不常用的单词时,先想到相似的词再最终定位到正确的那一个。霍普菲尔德网络终结了从 1974 年开始的"AI 寒冬",标志着以人工神经网络为新方向的人工智能学科复兴,机器学习领域的顶级会议 NeurIPS 的起源也可以追溯到 1984 年以 Hopfield 名字命名的会议。[5]1985 年起,辛顿与同事利用统计物理学思想扩展霍普菲尔德网络,构建出玻尔兹曼机;其独特之处在于能够自主学习数据中的特征而无需人为指定,就像婴儿识别猫狗那样,只需看到足够多的例子就能自己总结出区别。这一方法使原本参数固化、无法根据外界反馈调整的人工神经网络真正"学会"了从数据中学习,成为后来深度学习技术的直接源头。[6]

权重、激活与反向传播

一个神经网络的"知识"储存在哪里?答案是连接的权重。名为权重的数字代表节点之间的连接关系:相互激励时权重为正,相互压制时权重为负;权重值越高,一个节点对另一个节点的影响力就越大。[7]网络的训练本质上就是不断调整权重的过程。人工神经网络使用校正反馈循环不断学习:数据从输入节点经过多条路径流向输出节点,每个节点猜测路径中的下一个节点,检查猜测是否正确,然后为引发更正确猜测的路径分配更高的权重、为引发错误猜测的路径分配更低的权重;对下一个数据点,节点就沿更高权重的路径进行新的预测,如此往复。[8]1986 年,辛顿与几位合作者发表开创性论文,系统阐述了反向传播算法,为多层感知器的学习奠定了基础——该算法允许神经网络逐层反向传递误差、探索数据内部的深层表征,使网络得以从一组训练示例中学习并归纳,对以前未见过的数据进行分类。这被视为神经网络研究的重大突破,反向传播至今仍是训练神经网络的关键算法。[9]按照数据流动方式,人工神经网络可分为多种类型:前馈网络以从输入到输出的单向方式处理数据;卷积神经网络的隐藏层执行卷积运算,善于从图像中提取边缘、颜色、深度等特征;而具备"记忆"能力的循环结构则适合处理序列数据。[10]

训练神经网络的方式也有监督与无监督之分。在有监督学习中,数据科学家为网络提供提前标注好正确答案的数据集,例如人脸识别系统的训练可能要处理数十万张人脸图像,并为每幅图像标注与身份、情绪相关的术语,网络据此逐步构建知识,完成训练后即可对从未见过的新人脸图像作出判断。深度神经网络理论上可处理任何类型的输入输出映射,但其代价是需要数百万个训练样本,远多于简单网络所需的数百或数千个——这也是网络走向"深"与"大"之后必须直面的现实门槛。[11]从更长远的技术路线上看,人工神经网络还有一个野心勃勃的延伸方向:神经形态计算。北京大学黄铁军教授提出,可以绕过"理解智能"这一科学难题,先通过结构仿真等工程技术手段制造出类脑计算机,再通过深度学习间接达到智能模拟的目的,其技术路线可概括为"结构层次模仿脑、器件层次逼近脑、智能层次超越脑"三个层次。[12]

跨学科的胜利

2024 年 10 月 8 日,瑞典皇家科学院宣布将当年诺贝尔物理学奖授予霍普菲尔德与辛顿,以表彰他们在使用人工神经网络的机器学习方面的基础性发现和发明。评奖公报指出,两位获奖者利用统计物理的基本概念设计了人工神经网络,为当今强大的机器学习技术奠定了基础;相关技术已被用于粒子物理、材料科学、天体物理等领域的研究,也进入了日常的人脸识别和语言翻译。这一结果出乎许多人意料,但在科学界看来,物理学是人工智能的源头之一——用能量函数、统计涨落等物理语言刻画神经网络的运行,正是这个领域得以复兴的关键。[13]从 1943 年的逻辑神经元模型起步,历经感知机的挫折、物理学带来的复兴、反向传播的成熟,再到今天支撑起大规模预训练模型的千亿乃至万亿参数网络,人工神经网络走过了八十余年的曲折道路。它既是神经科学与统计物理联姻的产物,也是当代人工智能当之无愧的基石:几乎所有今天引起轰动的智能系统——从会看图的模型到能对话的机器人——其内核都是一个人工神经网络。[14][15]

参考资料