上海交大轻合金中心构建轻合金领域大语言模型评测基准

近日，上海交通大学材料科学与工程学院曾小勤教授、饶梓元副教授团队联合约翰·霍普克罗夫计算机科学中心梁诗宇副教授团队，在人工智能赋能合金材料研发领域取得重要进展。团队面向轻合金这一重要合金材料体系，构建了首个轻合金领域大语言模型推理能力评测基准LightAlloy-Bench，系统评估了当前主流大语言模型在轻合金材料知识理解、性能推理与科学决策方面的能力边界，并进一步提出了基于思维链（CoT）和强化学习（RL）的模型优化策略。

相关成果以“LightAlloy-Bench: Benchmarking Reasoning Abilities of Large Language Models in Light Alloys”为题被《Journal of Magnesium and Alloys

》期刊发表。2025级博士生谢浩洋为论文第一作者，梁诗宇副教授、饶梓元副教授和曾小勤教授为通讯作者，共同作者包括美国AiMaterials Research LLC公司Turab Lookman教授，上海交大郭相东副教授和南洋理工大学Suzhou Li教授。

论文链接：

https://www.sciencedirect.com/science/article/pii/S2213956726001489

研究背景与内容

轻合金因其低密度、高比强度和优异的资源利用效率，被广泛应用于航空航天、交通运输、能源装备等关键领域。然而，轻合金设计涉及成分、加工工艺、微观组织与服役性能之间复杂的非线性耦合关系，传统研发高度依赖经验积累和大量实验验证，使得研发周期长、成本高。近年来，大语言模型（LLMs）在材料文献解析、数据挖掘和辅助设计等方面展现出巨大潜力，但其是否真正具备材料科学知识理解与科学推理能力，仍缺乏系统性的评测标准。针对这一问题，研究团队开发了基于大语言模型的自动化文献数据提取框架，从8000余篇轻合金相关文献中构建高质量结构化数据库，并进一步建立了面向轻合金领域的推理能力评测基准LightAlloy-Bench。该基准涵盖基础知识测试和力学性能推理测试两个层面，可系统评估大语言模型对轻合金“成分—工艺—性能”关系的理解与推理能力。

研究结果与展望

研究结果表明，当前主流大语言模型在材料基础知识问答任务中已展现出较好的专业知识储备，但在涉及复杂材料机制和性能预测的推理任务中仍存在明显不足，特别是在数值敏感性、因果关系建模以及多尺度机制理解等方面面临挑战。为进一步提升模型的科学推理能力，研究团队引入思维链推理和强化学习优化策略，引导模型按照材料科学研究者的思维路径开展分析。结果表明，两种方法均能够显著提升模型在性能预测任务中的准确性和解释性，实现从知识记忆向机制驱动科学推理的转变。该研究不仅为材料大模型的评测与优化提供了重要工具，也为人工智能驱动轻合金智能设计、材料发现及自主科研提供了新的技术路径和理论基础。

图1：LightAlloy-Bench评测基准框架示意图

图2：不同大语言模型在不同类型基础知识试题上的准确率热图

图3：不同大语言模型在不同轻合金体系及其力学性能上的推理准确率

图4：不同大语言模型在力学性能推理测试中优化前后的准确率对比。（a）不同大语言模型在思维链优化前后力学性能推理测试准确率的比较；（b）不同大语言模型在不同轻合金体系及力学性能上的准确率在思维链优化前后的对比

本研究构建了首个面向轻合金领域的大语言模型推理能力评测基准LightAlloy-Bench，系统揭示了当前大语言模型在材料科学知识理解与科学推理方面的能力边界，并验证了思维链推理和强化学习等优化策略的有效性。该研究为材料大模型的评测与优化提供了重要基础。未来，相关框架有望进一步拓展至更多材料体系，并与实验数据和智能实验平台深度融合，为人工智能驱动材料设计、新材料发现以及自主科研提供重要支撑。

/*本文部分内容（图片）来源于网络，若牵涉版权请联系删除。

——欢迎登陆www.zhuzaotoutiao.com发表您的作品