把行业模型做“小”，「中科闻歌」发布政企大模型雅意2.0

大模型的领域工程，是要将行业模型的参数规模做小，任务执行效率更高的同时，节省算力和部署成本。

2023年12月15日，智能解决方案服务商“中科闻歌”发布了政企大模型“雅意2.0”。

成立于2017年的中科闻歌，是中国科学院科技成果转化企业。公司定位为数据、算法和决策智能服务商，为媒宣、安全、城市和金融等领域提供多语言、跨模态和深度认知智能大数据与人工智能基础平台及解决方案。

自2022年起，借AI的东风，从To G起家的中科闻歌加速了B端市场的布局，为企业提供标准化SaaS产品服务。

此前，在2023年6月3日，中科闻歌发布了大模型雅意1.0，聚焦于实时联网问答、领域知识问答、多语言内容理解、复杂场景信息抽取、多模态内容生成5种能力。依托于雅意大模型，中科闻歌在6月3日推出了数字人“智己”，为企业提供数字员工、虚拟主播、智能客服、在线教师等场景下的数字人分身定制服务。

相较于1.0，雅意2.0大模型将参数扩大到了300亿，上下文窗口从4k扩展到了8k和128k两个尺寸，词表从64000扩展到81920，支持128k长文本阅读和多轮对话。同时，雅意2.0支持多模态智能交互和智能插件调用，并在安全层面通过人类价值观对齐能技术，加强了风控。

雅意2.0

基于雅意2.0，中科闻歌发布了4款AI软件产品：MaaS服务平台YAYI CHAT、复杂信息抽取工具箱YAYI FILE、企业内部非结构化数据智能处理工具YAYI UIE、专家级行业助手YAYI BOT。

中科闻歌董事长王磊认为，大模型落地分为三个阶段：数据工程、模型工程、领域工程。

数据工程和模型工程，聚焦在大模型的预训练和微调阶段。王磊介绍，雅意2.0的训练主要基于两个数据集：自主安全的海量高质量数据集，以及领域微调指令集。

所谓的指令微调（Instruct Tuning），是改进模型可控性的重要方法，指的是将大模型在由“输入-输出”数据对组成的数据集上进一步训练。目前，中科闻歌YAYI UIE平台聚合了通用、安全、金融等上百种场景的百万级指令数据，并在Huggingface上开源。

而领域工程，则决定了大模型落地到行业的效果。王磊认为，领域工程的关键是要将行业模型的参数规模做小，任务执行效率更高的同时，帮企业节省算力和部署成本。

随着雅意2.0能力的提升，中科闻歌将业务触角延伸到了GI（政府智能）和BI（商业智能）。在发布会上，中科闻歌对舆情感知、媒体宣传、金融分析、政务治理、医药问诊等多个领域的行业大模型在多模态内容理解、数据分析等多个方面进行了能力的提升。

这些行业模型的另一个特色是，相较于基座模型雅意参数的扩大，行业模型的参数都进行了不同程度的缩减。王磊表示，落地到各领域，企业对模型的要求是“经济的算力、更低的成本、更高的效率”，因此，“更小、更精、更准”将是未来行业模型的发展方向。

文章来自于 36氪“周鑫雨”