国家天文台开源StarWhisper天文大模型，探索科普和科学中的多模态与工具学习

中国科学院国家天文台银河系三维结构团组最近在wisemodel.cn社区开源的星语StarWhisper天文大模型，通过专家标注的天文物理语料微调、逻辑性长文本训练、直接偏好优化等显著提升了模型的推理逻辑性与完整性。在甲骨易AI研究院与LanguageX AI Lab联合发布的CG-Eval上达到总排名第二，仅低于GPT-4，数学推理和天文能力接近或超过GPT 3.5 Turbo。星语大模型系列(包括StarGLM)将陆续开源在wisemodel.cn社区平台，欢迎大家注册使用。

模型地址：

https://wisemodel.cn/models/LiYuYang/StarWhisper

模型展示：

https://github.com/Yu-Yang-Li/StarGLM

一、模型训练

StarWhisper通过少量天文物理知识微调激活预训练知识与学习特定任务形式，数据集包含专家标注数据、基于种子与开源数据整理得到GPT3.5/4数据、天文中的长文本/逻辑思维/文本总结数据。同时通过直接偏好优化，在缓解微调后回复较短问题的同时，配合特定任务微调增强的推理能力，进一步提升回复准确性。

二、训练成果

与先前StarGLM训练情况(数学计算得分接近基座模型两倍)相近，数学计算的评分相对基模型有明显提升，在参评模型中与GPT3.5并列第二，同时天文方面评分也超过了GPT3.5 Turbo，模型平均评分也达到了总排行第二。

完整榜单：

http://cgeval.besteasy.com/leaderboard.html

三、多模态探索

通过45W条专家标注、数据扩充得到的光变曲线文本对，我们基于VisualGLM探索了多模态模型处理科学数据的可行性。同时，通过链接由哈勃与韦伯图像微调的扩散模型，我们尝试了AIGC在科普/科学领域应用的可能性。

四、工具学习

通过整理得到的工具学习、代码数据，我们进一步增强了模型原有工具学习的能力，可通过调用Agent/Code Interpreter处理一系列任务。

五、未来规划

多模态方面，我们将继续联合各方力量，推动AIGC服务于天文科普教育、研究助手。

工具学习方面，以司天望远镜阵列(身)+驱动智能体的司天大脑(脑)为构想，在MiniSitian与司天样机上进行与天文环境交互的科学具身智能探索。

文章来自微信公众号 “ 始智AI wisemodel ”