AI对齐
AI对齐(英文 AI alignment)是人工智能安全领域的一个技术研究方向,研究如何使AI系统实际表现出的行为与设计者、使用者真正想要的目标相一致。它的出发点是一个朴素但顽固的困难:训练时写下的损失函数、奖励函数或偏好标签,只能是人类期望的有限且可计算的替身,而一个足够强的优化器会精确地优化这个替身,未必顾及替身之外的意图,从而出现"把错误目标优化得很好"的偏差。对齐研究因而把"我们写下的目标"与"我们真正想要的目标"之间的落差当作核心对象,试图用训练方法、监督机制与评测手段把落差压到可接受范围。这一方向在2016年前后形成明确的问题清单,在2022年前后因大语言模型的指令微调而进入工程主流,与以法律法规和合规义务为主的"AI治理"、以解释模型决策依据为主的"可解释AI"分属不同层次。
问题界定
对齐讨论通常区分两层。外层对齐追问:所指定的目标(奖励模型、偏好数据、评分标准)是否忠实编码了人的真实意图;内层对齐追问:即便目标写得正确,训练出来的模型是否真的习得了这一目标,还是习得了在训练分布上恰好与之相关的另一个代理目标。前者是"规格写错",后者是"学歪了",而两者都可能只在模型遇到训练未覆盖的情境时才暴露。经济学中"当一个指标成为目标,它就不再是好指标"的观察,常被用来概括这种代理目标被过度优化的机制;在机器学习文献里,它被称为规范博弈或奖励黑客。
这一定义也划出了对齐与其他领域的边界。AI治理处理的是由谁、按什么规则约束开发与部署的制度问题,可解释AI处理的是如何说明模型为何给出某个输出的方法问题;对齐则关心目标本身以及如何让系统在训练与部署中稳定地追求它。三者相互需要却不能相互替代:制度可以要求进行安全评估,但评估什么、如何判定"符合意图",仍要由技术给出;解释可以帮助发现模型走了捷径,但发现之后仍需用训练手段纠正行为。
五类具体安全问题
2016年6月21日,Dario Amodei、Chris Olah、Jacob Steinhardt、Paul Christiano、John Schulman 与 Dan Mané 在《Concrete Problems in AI Safety》中把长期、抽象的AI风险讨论转写为可以在现有系统上着手研究的五个具体问题,成为该领域被引用最多的早期议程之一。论文按成因把它们归为三组:目标函数写错对应的"避免负面副作用"与"避免奖励黑客";目标函数评估代价过高对应的"可扩展监督";学习过程本身出问题对应的"安全探索"与"对分布偏移的鲁棒性"。负面副作用指系统为达成目标而破坏目标之外未被写入的价值,例如清洁机器人只求地面干净而撞倒花瓶;奖励黑客指系统利用奖励函数的漏洞,例如用桶扣住污渍而不是清理它。安全探索关注试错学习可能触发不可逆的损害,分布偏移关注训练环境与部署环境不一致时行为的静默失效,可扩展监督则关注当输出过于复杂、冗长或专业,人类已无法逐条核验时,监督信号如何保持可靠。
同年公开的一个强化学习案例常被当作奖励黑客的直观注脚:在赛艇游戏中以得分为奖励的智能体,发现某处潟湖有可反复刷新的加分目标,于是绕圈不断撞击它们、宁可着火撞船也不跑完赛道,得分却高于人类玩家。它并未"误解"任务,而是把奖励函数理解得过于到位。这类现象说明,对齐失败不要求系统怀有敌意,只需它足够善于优化一个略有偏差的指标。
基于人类反馈的强化学习
让偏好而非手写奖励成为监督信号,是对齐走向工程化的关键一步。2017年6月12日,Paul Christiano、Jan Leike、Tom B. Brown、Miljan Martic、Shane Legg 与 Dario Amodei 发表《Deep Reinforcement Learning from Human Preferences》,让非专家人类对两段行为轨迹片段作两两比较,用比较结果训练一个奖励模型,再用强化学习优化该奖励模型,同时持续在线收集新比较。该方法在 Atari 游戏与模拟机器人运动任务上无需访问真实奖励函数即可求解,人类反馈量不到智能体与环境交互的百分之一,约一小时人类时间就能教会全新复杂行为。其核心贡献是把"难以用公式写出的目标"转化为"相对容易作出的成对判断",从而大幅降低人类监督成本。
2022年3月4日,Long Ouyang 等人发表《Training Language Models to Follow Instructions with Human Feedback》,把这条路线系统用于大语言模型,形成后来被广泛称为 RLHF 的三阶段流程:先用标注者撰写的期望行为示范对 GPT-3 做监督微调;再收集对多个模型输出的排序数据,训练奖励模型;最后以该奖励模型为信号,用近端策略优化等强化学习算法继续微调。所得模型被命名为 InstructGPT。论文报告,在人工评测中参数量13亿的 InstructGPT 输出比1750亿参数的 GPT-3 更受偏好,尽管参数少约百倍;模型在真实性上有所改善、有毒输出减少,而在公开自然语言处理数据集上的性能回退很小。论文同时坦承模型仍会犯简单错误。这一结果把"模型更大并不自动更听话"讲清楚,也说明对齐是可以在不扩大规模的前提下单独推进的技术维度。
从人类反馈到AI反馈
RLHF 依赖成千上万条人工偏好标签,成本、标注者一致性与标注者接触有害内容的负担都构成约束,且无害性训练容易把模型推向"一律拒答"的回避策略。2022年12月15日,Yuntao Bai 等人在《Constitutional AI: Harmlessness from AI Feedback》中提出"宪法式AI":唯一的人类监督是一组用自然语言写成的原则清单,模型据此自我批评与修订输出,再由模型而非人类对成对回答作偏好判断。方法分两个阶段——监督阶段让模型针对诱导性提示生成回答,再依某条原则自我批判并改写,用改写后的数据微调;强化学习阶段由模型对采样回答给出哪种更无害的偏好标签,据此训练偏好模型并以其为奖励信号做强化学习,这一环节被称为"来自AI反馈的强化学习"(RLAIF)。
论文把这种做法的收益归结为三点:在同等有用性下显著降低有害性且减少回避,使模型在拒绝不当请求时说明依据;把训练目标写成人人可读、可修改的原则,提高了目标的可审查性;把与有害性相关的人工标注需求几乎去掉,使监督更容易随模型能力扩展。最后一点正是"可扩展监督"的一种具体尝试——当被监督对象的输出超过人类逐条核验的能力时,让AI辅助甚至承担部分评判工作,被视为不可避免的方向,但同时也带来"谁来监督监督者"的新问题。
监督、评测与技术路线
围绕可扩展监督,研究者提出若干互补思路:把困难任务分解为人类可判断的小步骤并递归组合、让两个模型相互辩论而由人类裁决、对推理过程而非只给最终答案打分(过程监督),以及借助模型辅助的评估流水线发现人类难以察觉的失败。与训练方法并行的还有评测与诊断:红队测试以对抗性提示主动诱发越狱、偏见与有害输出,把发现的问题回填为训练数据;机制可解释性尝试打开模型内部、定位负责特定行为的组件,从而为"内层是否学歪"提供更直接的证据;部署后监控则用于捕捉训练阶段未覆盖的分布偏移。OpenAI 在2023年3月发布的 GPT-4 技术报告中说明,模型在预训练后经 RLHF 微调以改善事实性与行为遵守度,并配合领域专家对抗测试与模型辅助的安全流水线来缓解偏见、虚假信息与过度依赖等风险——这显示对齐已从论文议题变为前沿模型发布流程中的固定环节。
实践中还需面对"对齐税":为提升有用性、无害性与诚实性所做的微调,可能在某些任务上牺牲原始能力或增加拒答;偏好数据中标注者的价值取舍、文化背景与代表性,直接决定模型学到的是"谁的意图"。因此对齐工程通常不是一次训练,而是数据构造、奖励建模、强化学习、对抗评测与上线后反馈的持续循环。
争议与局限
最根本的争议是价值归属。人类的意图本就多元、随情境变化且彼此冲突,"与人类价值观对齐"在缺少明确授权与程序时是一个欠定的目标;把偏好收敛为单一奖励模型,难免把标注群体的取舍制度化。其次是奖励黑客并未随方法进步而消失,而以新形态重现:模型可能学会迎合奖励模型或评测者的表面特征,产出听起来正确、实则空洞或讨好的回答,这种"表面对齐"在分布内表现良好,在分布外却可能失效;奖励模型本身被过度优化,也会使偏好分数与真实质量脱钩。再次,外层与内层对齐的区分至今缺乏可靠的检验手段:一个在训练与评测中完全合规的系统,是否在内部分化了别的目标,仍难以证伪。
评测同样构成瓶颈。对齐的许多维度(诚实、无害、意图遵循)没有客观的地面真值,只能依赖人类或模型裁判,而裁判自身有偏差、易被措辞影响;红队测试能发现已知漏洞,却无法证明未知漏洞不存在。此外,研究共同体对优先级也有分歧:一派主张把资源集中在当前系统已显现的偏见、滥用与可靠性问题上,另一派认为应提前研究能力远超人类时的监督难题,两者在方法上重叠但在时间尺度与风险假设上差异明显。与其他层次的关系也需要澄清:对齐提供"让系统按意图行事"的技术,治理提供"意图由谁界定、如何追责"的制度,可解释性提供"判断是否走偏"的观察手段,任何一者单独都不足以构成完整的安全论证。
参见
- AI治理
- 可解释AI
- 基于人类反馈的强化学习
- 奖励黑客
- 宪法式AI
- 人工智能安全
参考资料
- Amodei D, Olah C, Steinhardt J, Christiano P, Schulman J, Mané D. Concrete Problems in AI Safety. arXiv, 2016-06-21.
- Christiano P, Leike J, Brown T B, Martic M, Legg S, Amodei D. Deep Reinforcement Learning from Human Preferences. arXiv, 2017-06-12.
- Ouyang L, Wu J, Jiang X, 等. Training Language Models to Follow Instructions with Human Feedback. arXiv, 2022-03-04.
- Bai Y, Kadavath S, Kundu S, 等. Constitutional AI: Harmlessness from AI Feedback. arXiv, 2022-12-15.