吴甜：AI大模型的落地关键是解决技术与应用场景间鸿沟

今年是大型号落地的关键一年该模式经历了前几年的探索期和突破期，一定程度上已经到了推广期那么你就会面临如何落地，如何在真实应用场景中产生价值的问题从应用落地的角度来看，大模型落地最关键要解决的问题就是这种前沿技术与真实应用场景的差距如何才能完全匹配应用落地的要求是今年这个大模式要解决的核心问题最近几天，百度集团副总裁，深度学习技术与应用国家工程研究中心副主任吴添在WAVE SUMMIT 2022深度学习开发者峰会上表示

那么如何解决，如何推进呢吴添可以总结为三点

首先是建立一个大的模型系统，这个系统可以和应用场景对接第二，支持平台和工具，降低应用门槛，可以全流程，端到端的支持整个落地应用第三，需要生态支持，包括应用生态和硬件生态的建设

行业第一大模式:没有通吃，层级制各有各的功能。

在AI产业的量产阶段，深度学习技术的通用性越来越强，深度学习平台的标准化，自动化，模块化越来越明显深度学习的应用越来越广泛和深入，遍地开花预训练模型的兴起进一步增强了人工智能的通用性该模型具有效果好，泛化能力强，R&D过程标准化程度高的特点，正在成为人工智能技术和应用的新基地百度首席技术官，深度学习技术与应用国家工程研究中心主任王海峰说

早在2021年5月的浪潮峰会上，吴添就谈到了企业AI应用的三个阶段:一是先锋探路阶段，少数先锋将新技术引入企业做探索和原型验证，二是车间应用阶段，部分企业逐步组建小团队引进技术，三是工业化生产阶段，企业内大规模人力等各种资源合作进行人工智能研发。

那么，在AI工业量产的这个阶段，百度的思路不是建立一个大模型来包揽所有问题，而是建立一个层级体系飞桨模型包括三类模型:基础模型，任务模型和行业模型此次发布的国内首个开放API调用的千亿级机型ERNIE 3.0 Zeus等十大机型就属于这三类

大模型具有学习数据，知识量大，参数规模大的特点，通用性最高而基础模型的直接使用往往与场景中苛刻的应用需求有一定差距，所以百度在通用模型的基础上增加了两类模型:任务模型和行业模型

大任务模型主要是针对特定的任务，比如NLP领域的信息抽取，对话和搜索，视觉领域的商品图形搜索和文档图像理解。

行业大模型是基于一般文心大模型，从海量，广泛的数据中挖掘行业领域的数据，与行业内头部企业或机构合作，引入行业特色数据和知识主要意图是把通用的基础大模型和行业的深入知识结合起来学习大行业模型的重点在于，它会引入行业的专门知识和数据，与对行业专家有深厚知识的专家一起为行业设计相应的前期培训任务这样，通用模型才会真正成为更适用于行业的模型吴添告诉报社

吴添介绍，在能源，电力，金融等领域，文心联合家电网开发了能源行业知识增强型NLP模型国家电网—百度文心，联合开发了金融行业知识增强型NLP模型浦发银行—百度文心。

我们可以从双方的发言中理解这种合作背后的价值。

以能源电力行业为例，吴添认为，更重要的是通过与国家电网的专家一起介绍电力业务积累的样本数据和独特知识，来推广行业的大模型在培训中，结合双方预训算法和电力业务及算法的经验，将电力领域的实体判别，文档判别等算法设计为预训任务，让文信模型深入学习电力专业知识

国家电网公司数字化工作部人工智能负责人姜伟博士表示，作为央企数字化转型的排头兵，国家电网公司与百度公司共建行业级人工智能基础设施，探索联合大规模电力人工智能模型研发，不仅提高了传统电力专项模型的精度，还大幅降低了研发门槛，实现了计算能力，数据，技术等资源的整体优化下一步，国家电网公司将继续深化双方技术合作，推动人工智能大模型在电力领域的技术研究和应用探索，为更典型的电力业务场景构建更具电力特色的人工智能大模型

同样，浦发—百度文心大模型基于文心进行行业数据挖掘结合浦发场景中积累的行业数据和知识，双方技术和业务专家可以合作设计有针对性的财务报表字段判别，金融客服问答匹配等前期培训任务

除了业界的大模型，这次还发布了8个文学基础和任务的大模型，包括:整合任务相关知识的千亿模型ERNIE 3.0 Zeus，面向多任务视觉表征学习的VIMER—UFO 2.0，面向商品图形搜索表征学习的VIMER—UMS，面向文档图像表征学习的VIMER—StrucTexT 2.0，面向生物计算领域的语音—语言跨模态模型ERNIE—SAT，ERNIE—GeoL以及面向蛋白质结构分析的HELIX—GEM和HELIX—Fold

好马配好鞍:大模型的配套工具和平台

为了充分发挥大模型在应用场景中的价值，降低使用门槛，百度搭建了工具和平台。

大模型套件主要提供四种能力，如各种数据预处理工具，帮助开发者降低数据准备成本，同时，考虑到大模型需要结合场景问题进行迁移学习，百度提供了多样化的微调工具，包括对抗学习，小样本学习等多种微调方式，以及提示等新的微调工具针对大模型真实部署成本高的问题，在文新大模型工具和平台中，提供了高性能部署方案，将模型小型化，包括性能加速方案，预置了NLP，CV等60多项基础任务

文大模型和相关工具可以在飞桨企业版的EasyDL和BML平台上使用据百度介绍，目前平台上已有超过10000名用户使用了预训练模型，创建了超过30000个任务，并应用于输电通道巡检，零部件缺陷检测，农业有害生物识别，新闻资讯创作等大量场景在平台上，通过大模型机制开发AI应用模型，数据标注量平均减少70%，效果平均提升10.7%文达模型还提供了直接API调用模式厄尼3.0宙斯，柏拉图和厄尼—维尔格都可以被用户通过API直接访问和调用

综合来看，飞桨大模式的核心特征如下:产业水平和知识提升。

一方面，工业级是指文新的整个技术在实际工业应用过程中的打磨，另一方面，文新的大模型在应用上构建一系列的配套能力，让行业更好的使用比如如何设计数据标注，建议多少数据，对应的迁移学习方法等等这些支撑工具和平台，包括新发布的大模型API，大模型开发工具包和平台门户，都在推动真正应用的可行性

知识增强是指相对于其他行业的其他大模型，百度通过引入知识图谱来整合数据和知识，目标是让文心的大模型更高效，更具可解释性通过提高大模型的通用性和泛化能力，可以降低开发难度，标注更少的数据

综合来看，无论是飞桨平台，还是飞桨模型库中的文心大模型，其背后的思路都是降低AI使用门槛，提高技术的通用性，加强技术和平台的标准化，自动化和模块化。

吴添认为，开源和开放也是非常直接的降低门槛的方式因为AI的应用不仅仅是技术问题，更重要的是与行业和场景相结合并且通过开源开放，还可以显著提升群体智能创新和深度协作的能力，可以加速企业的智能化转型今天发布的10个大模型中，有7个模型是开源的，开源是文新大模型一直在做的事情吴添对着报纸说话

如何应对大模型的训练和推理挑战。

作为深度学习技术人员，我们清楚地意识到，AI大模型是深度学习技术的新突破，进一步增强了AI技术的普适性，带来了新的AI R&D范式对于广大开发者来说，基于前期训练的大模型，有可能以更低的成本，更低的门槛开发出更好的场景AI模型吴添说道

文达模型的训练和推理依赖于深度学习平台的支持同时，作为飞桨平台中产业模型基地的重要成员，文达模型已经成为飞桨平台支持AI创新不可或缺的能力

大模型训练的挑战主要来自于大，模型参数规模巨大，不同模型和计算平台的特点不同，给大模型训练带来了实际挑战飞推进器分布式架构把这些差异作为一个整体来考虑采用端到端的自适应分布式体系结构，根据模型和计算平台的特点，自动选择，自动调整和高效执行并行策略该实施方案具有通用性和高效性其在并行训练策略上的创新在于，支持面向异构硬件的自适应并行训练，构建了融合框架，计算能力和算法的大模型训练解决方案，从而实现了极致的端到端性能优化

相对来说，大模型推理面临的挑战更大大模型的高效推理是实现大模型产业化应用的关键在大模型落地部署层面，飞桨推出了大模型压缩，推理，服务的全流程部署方案，帮助大模型更好落地

首先通过精确无损的模型压缩技术将模型轻量化，然后通过自适应的分布式推理技术充分调动计算资源，比如上千亿的模型，只有分布式推理才能运行最后通过大规模的服务部署，真正完成大规模的模型并应用总体方案具有通用性和可扩展性，能够广泛支持不同种类的模型结构，实现高速推理目前已经支持自然语言理解，对话，跨模态生成等大型模型的实时在线应用

所有这些努力都是为了让大模型更贴近行业，落地行业，而不仅仅是实验室技术。

截至目前，文心大模型已应用于工业，能源，教育，金融，通信，传媒等行业，如工业中的零部件质量检测，能源中的输电线路检测，教育中的构图启发，金融行业中的合同信息提取等，真正帮助企业降本增效，激发创新同时，文心大模型还全面应用于智能搜索，信息流，智能音箱等互联网产品，以提高用户获取信息，知识和服务的效率和成效

总的来说，吴添给出了支持飞桨文心大模型产业落地的三条关键路径:构建更符合场景需求的大模型体系，提供全流程支持应用落地的工具和方法，构建激发创新的开放生态这个生态建设的一部分是文心涩谷社区，目标是让更多人零距离接触AI大模型技术，激发创新和创造力