迁移学习
迁移学习(英文:Transfer Learning)是一种机器学习方法,指把为任务 A 开发的模型作为初始点,重新使用在为任务 B 开发模型的过程中,让已习得的能力迁移到相关问题上。[1]通俗地说,它是机器的"举一反三"能力:要教机器在识别猫之后很容易识别狗,可以先构建一个识别猫的模型,其中尾巴、腿、胡须等特征在识别狗时同样能被机器利用上。[2]它并非一个专门的机器学习领域,而是与多任务学习、概念漂移等问题相关的一种解决问题的策略。[3]
为什么需要"举一反三"
迁移学习兴起的直接动因是数据分布的极度不均。成功的模型目前仍然极度依赖数据,但能够获得大量可用数据的情况因领域不同而差异巨大:少数数据是公开的,不少数据有专利或购买昂贵,更多领域的数据无法获得或者没有积累——AI 的"训练题库"完全无法覆盖"考试题库"。以罕见病为例,有些罕见病的诊断分析案例只有几十件,这种情况下如何让人工智能拥有判断能力,便成为现实难题。"要能用一般的数据解决特殊的问题,用易获得的数据解决难收集数据的问题",迁移学习正是人们希望人工智能拥有的这种能力,它能拓展人工智能的实际应用范围。[4]从模型经济学角度看,深度学习中预训练模型的开发往往已消耗巨大的时间与计算资源,将这种已习得的强大技能迁移到相关问题上,本身就是对资源的复用;只有当第一个任务中学到的深度模型特征是泛化特征时,迁移学习才会起作用,这种深度学习中的迁移也被称作归纳迁移——通过使用一个适用于不同但相关任务的模型,以有利的方式缩小可能模型的搜索范围。[5]迁移学习之前曾被称为自适应学习,其初衷是节约人工标注样本的时间,让模型可以通过已有的标签数据向未标签数据迁移,未标签数据因此不用重新建模就可以使用。[6]
两条经典的实施路线
实践中的迁移学习主要有两条常用方法。一是"开发模型"的方法:先选择一个具有丰富数据的相关预测建模问题——原任务和目标任务的输入数据、输出数据以及从输入输出映射中学到的概念之间应存在某种关系;随后为第一个任务开发一个精巧的、优于普通模型的模型以保证特征学习得以执行;再把适用于源任务的模型作为目标任务学习的起点,视建模技术全部或部分复用;最后在目标数据集的输入输出对上选择性微调,让模型适应目标任务。二是"预训练模型"的方法:从可用模型中挑选一个预训练源模型——很多研究机构都发布了基于超大数据集的模型;将其作为第二个任务模型的起点;再在目标数据上微调。第二种类型在深度学习领域比较常用。[7]迁移的对象也不限于模型本身:数据层面、特征层面、模型层面的内容都可以进行迁移,迁移学习不是某个固定算法或具体技术,而更多是一系列关于"如何迁移"的算法创造——在过去二十年中,科学家积累了上百种迁移学习算法。[8]其核心原则是让迁移"平滑"地推动:两个领域的表征要尽可能相似,或通过操作增加其相似性,甚至创建出"通用"表征。研究者发现,把机器学习的目标问题"打散"、将结构和内容分离后,不同问题之间会显现共性;层次化的系统更容易帮助构建迁移,分阶段地从已训练领域到新领域的多步传导式迁移也被证明是适用策略。[9]
实践中的成效
迁移学习的价值已在多个工程实践中得到验证。ImageNet 数据集花费多年、用数千个小时创建,基于它训练的图像识别深度神经网络模型经常被用作图像特征抽取器,应用到其他图像任务上;一篇《基于深度学习和迁移学习的识花实践》的文章示范了如何把一个识别花的深度卷积网络迁移到识别花朵类型与具体品种的新任务,通过抽取图像特征、准备训练集、验证集和测试集、训练网络等步骤,得到 88% 的识别正确率,计算时间仅约半小时,远快于从零开始的重新建模。[10]在机器人领域,AlphaGo 的开发团队 DeepMind 曾先在仿真环境中训练机械臂移动,训练好之后把知识迁移到真实机械臂上,真实机械臂稍加训练便能做到和仿真一样的效果;谷歌通过仿真系统训练无人车驾驶再迁移到实际驾驶中,仿真使获取不同类别数据更方便、多因素并行训练更便利;对话机器人领域也存在类似需求——在一个客户上训练的对话系统,如何应用到新客户而不用从零开始。[11]
商业前景与学术意义
迁移学习和人工智能一样并不是新概念,却在近年恢复了研究热度。2016 年,前百度首席科学家吴恩达曾表示,迁移学习将会是继监督学习之后的下一个机器学习商业成功的驱动力;机器学习领域学者杨强也认为,机器学习的明天在小数据、个性化、可靠性上,这取决于迁移学习的发展。[12]更深层看,迁移学习意味着神经网络有能力存储并提取"概念性"的抽象知识,而不局限于"给数据、出结果"的端到端输入输出,这正是机器智能走向通用性的关键一步。今天的许多前沿方向都与迁移学习深度交织:在自然语言处理领域,如何通过迁移学习实现领域自适应、让一个领域训练的对话系统迁移到新领域,被列为该学科发展的重要指向标之一;[13]大模型时代流行的"预训练—微调"范式,本质上正是迁移学习思想的规模化体现——模型先在海量通用数据上预训练,获得语言规律、知识关联与表达模式等较强的通用能力,应用到教育、农业、医疗等垂直领域时,再通过微调等方式适应特定任务需求,由此大模型既具有通用性,也具备向行业场景迁移的潜力。[14]从识别花朵品种的小实验,到支撑千行百业的大模型应用,"站在巨人肩膀上"的知识复用逻辑贯穿始终,也决定了迁移学习在数据稀缺时代不可替代的地位。
参考资料
- ↑ 迁移学习,科普中国网。
- ↑ 如何教人工智能提取抽象知识?迁移学习可以帮上忙,科普中国,2018-01-08。
- ↑ 迁移学习,科普中国网。
- ↑ 如何教人工智能提取抽象知识?迁移学习可以帮上忙,科普中国,2018-01-08。
- ↑ 迁移学习,科普中国网。
- ↑ 如何教人工智能提取抽象知识?迁移学习可以帮上忙,科普中国,2018-01-08。
- ↑ 迁移学习,科普中国网。
- ↑ 如何教人工智能提取抽象知识?迁移学习可以帮上忙,科普中国,2018-01-08。
- ↑ 如何教人工智能提取抽象知识?迁移学习可以帮上忙,人民网(科普中国),2018-01-08。
- ↑ 如何教人工智能提取抽象知识?迁移学习可以帮上忙,人民网(科普中国),2018-01-08。
- ↑ 如何教人工智能提取抽象知识?迁移学习可以帮上忙,人民网(科普中国),2018-01-08。
- ↑ 如何教人工智能提取抽象知识?迁移学习可以帮上忙,人民网(科普中国),2018-01-08。
- ↑ CCAI 2020 | 周明:自然语言处理大有可为,科普中国网。
- ↑ AIGC技术及其在教学科研中的应用,科普中国资源服务。