跳转到内容

强化学习

来自VeritasWiki 真理百科

强化学习(英文:Reinforcement Learning)是机器学习的一个重要范式,其核心是"试错"与"反馈":智能体在与环境的持续交互中尝试各种行为,依据获得的奖励或惩罚信号调整策略,逐步学会完成目标。在此之前的多数人工智能依靠人类提供的标准答案进行学习,像一个勤奋但缺乏主见的乖学生;强化学习则开启了像生物一样通过不断试错探索未知世界的自主进化之路。[1]这套方法不仅包括试错机制本身,还与深度神经网络、搜索推演相结合,构成当代人工智能最具标志性的能力来源之一。[2]

首尔的丰碑:AlphaGo 时刻

让强化学习从学术界进入公众视野的,是围棋人机大战。围棋的搜索空间极其浩瀚,落子组合的数量远超已知宇宙中的原子总数,传统穷举算法毫无用处。AlphaGo 的天才之处在于将深度神经网络与强化学习有机结合:系统内部拥有两个"大脑",即策略网络和价值网络——策略网络根据当前盘面形势筛选出最有可能的几种落子选择,将浩瀚的搜索空间迅速压缩;价值网络则像经验丰富的围棋评论员,对当前局面的胜率进行精准预判。[3]2017 年 5 月在浙江乌镇举行的三番棋对决中,中国棋手柯洁九段以 0 比 3 的总比分不敌 AlphaGo。[4]

从技术构成看,AlphaGo 基于监督式学习与强化学习两种模式构造决策网络和价值网络。决策网络的学习分两步:监督学习负责学习既往的人类棋谱;强化学习即"左右互搏",通过程序自我博弈发现提高胜率的策略。价值网络对整个盘面的优劣作出评估,用一个"价值"数判断某个给定棋局能否取胜,负责给局势打分,保证在落子二十步以后的局面中仍不落下风。[5]获得棋局信息后,AlphaGo 用蒙特卡洛树搜索整合这两个网络:这是一种"模拟推演"方法,AI 面对当前棋局时在大脑里模拟出若干种可能走法,每一种走法又延伸出后续若干步,形成一棵不断分叉的"决策树",再在分支上进行大量随机模拟对局统计每种走法的胜率。策略网络负责"剪枝",只保留最有希望的少数分支;价值网络负责"打分",评估每个分支的最终胜率;两者结合,蒙特卡洛树搜索就能在有限计算时间内找到胜率最高的一步棋。[6]关于这套搜索机制,北京邮电大学教授、计算机围棋研究所所长刘知青曾解释,蒙特卡洛树搜索底层有坚实的数学基础,上层使用并行计算,通过计算、模拟、采样、优化等一系列数学方法提高计算机的围棋技术——决策网络提供各种走法,价值网络对这些走法的胜率进行评估,再由蒙特卡洛树搜索决定最终选择。[7]它对棋盘上每个棋子后续走法的成败进行预测,经先期全盘探索和不断揣摩后,搜索算法在计算能力之上加入了近似人类的直觉判断。[8]

左右互搏:自我进化的机制

真正让 AlphaGo 超越人类的,是强化学习的自我对弈机制。AlphaGo 的不同版本在虚拟棋盘上进行了千万局自我对弈,每下一盘,系统都会根据最终胜负回溯评估之前的每一步决策——赢了就"奖励",增加这一步的权重;输了就"惩罚",减少权重。这一过程不需要任何人类指导,完全靠结果说话。通过"左右互搏",AlphaGo 在短短几个月内走过了人类围棋几千年的发展历程,棋风变得极其敏锐且富有创造力,常下出让人类高手惊讶的"怪棋";后续的 AlphaGo Zero 版本甚至不再需要学习人类棋谱,仅靠自我对弈就从零开始掌握了围棋。[9]在业内人士看来,AlphaGo 最强大之处不在具体某一手棋,而在于每一局里的独特视角:它的行棋风格自由开放,没有先入为主的概念,也没有必须遵守的规则,这种对局哲学常让它下出违反第一感但极具威力的一手,以至于柯洁认为人类可以向它学习,大胆创新、大胆开拓思维。[10]

走出棋盘:物理世界的考验

强化学习的种子并未止步于棋盘。随着算法成熟,研究人员开始让 AI 走出虚拟世界,挑战复杂多变的物理现实,机器人学尤其是四足机器人(俗称机器狗)成为展示其实战能力的理想舞台。如果说围棋是纯粹的逻辑对决,控制一台机器狗在崎岖山路上奔跑,则是对物理定律和环境感知的极限考验。传统机器人控制方案主要依赖精密的运动学公式和物理模型,工程师需预先计算每一个关节的受力和每一时刻的运动轨迹;然而现实世界是动态、混沌的,土壤松软度、风力突变甚至某个关节的细微磨损,都可能导致精确的物理模型瞬间失效,这种僵化的方案使机器人只能在实验室里按部就班地工作,进入现实世界往往寸步难行。强化学习为此提供了全新思路:让机器人在仿真环境中反复试错,学会应对各种地形与扰动,再把学到的策略迁移到真实机体上。[11]用深度神经网络模拟"直觉"、用蒙特卡洛树搜索进行"推演"、用强化学习实现"自我进化",这套通用方法还被应用到机器人控制、药物研发、能源管理等诸多领域——下棋只是 AI 能力的"测试场"。[12]

方法论特征与边界

与传统监督学习依赖标注数据不同,强化学习只需定义奖励信号,便可让智能体在交互中自主发现策略,这使它特别适合"答案不唯一、过程可评价"的决策问题。在此之前,多数人工智能依靠人类提供的标准答案进行学习,就像一个勤奋但缺乏主见的乖学生;在此之后,以强化学习为核心的新一代 AI 开启了通过不断试错探索未知世界的自主进化之路,AlphaGo 击败李世石由此被视为人工智能进化道路上的重要转折点。[13]在迁移学习领域,强化学习被视为实现领域自适应与自我演化的方向之一;[14]也正因如此,它对环境的建模、奖励函数的设计和试错的安全性提出了很高要求——奖励设置不当可能导致智能体学到"钻空子"的行为,在真实物理环境中的试错还可能带来损坏风险,仿真到现实的迁移因此成为研究热点。从早期动态规划到深度强化学习,这一范式仍在快速演化,并与模仿学习、离线强化学习等新方向交织,持续拓展机器自主决策能力的边界。

参考资料