OpenAI 补上冷门语言短板:COBOL 迁移 5.4%→86.6%,20 种语言建库 87.4%

OpenAI 10 月 19 日发布《Advancing coding in low-resource programming languages》,公开两套针对冷门语言的评测。MultiLangBench 要求模型在 20 种编程语言里从零写出一个兼容 SQLite 的数据库引擎:以数据库文件作为跨语言的统一接口,用 SQLite 官方测试套件判分,衡量一次长会话里能搭出多少可用功能。另一套 COBOL 迁移评测要求模型把已有程序迁移到别的语言、同时保持原有行为不变。两套评测分别测「造新软件」与「守住老软件的行为」。
数字上:MultiLangBench 最高推理档下 GPT-6 Astra 在 20 种语言的平均通过率 87.4%(GPT-5.6 Sol 为 26.8%),20 种语言全部提升、19 种超过 83%,最难的 COBOL 也从 10.9% 升到 72.1%,OCaml 25.6%→85.8%、Fortran 21.4%→83.5%、Visual Basic 27.5%→89.4%;更便宜的 GPT-6 Luna 以约低 78% 的 API 成本做到 40.3%。COBOL 迁移评测里,GPT-6.1 Sol 在低推理档就有 86.6% 准确率(GPT-5.6 Sol 仅 5.4%)且成本低 39%,高推理档 97.9%,接近刷满。
意义在存量系统而不是新模型:官方引 IBM 与 NRC 的数据称,COBOL 支撑超过 40% 的在线银行系统、80% 的面对面信用卡交易与 95% 的 ATM 交易,Fortran 用在天气预报与核反应堆安全分析上——这类代码文档常缺失、原开发者已离职、业务规则只活在代码里。需要标注两点:所有数字都是 OpenAI 自建评测的自测结果,MultiLangBench 与 COBOL 迁移评测的题面与判分脚本没有开源;本条公告不涉及新模型,GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna 都是已发布模型。
原文链接:OpenAI 官方页面