AI 资讯聚合 · 榜单评测

OpenAI 补上冷门语言短板:COBOL 迁移 5.4%→86.6%,20 种语言建库 87.4%

海外榜单评测代码生成评测基准OpenAI · 2026-10-19 · 约2分钟 · 来源:OpenAI 官方页面
OpenAI 补上冷门语言短板:COBOL 迁移 5.4%→86.6%,20 种语言建库 87.4%

OpenAI 10 月 19 日发布《Advancing coding in low-resource programming languages》,公开两套针对冷门语言的评测。MultiLangBench 要求模型在 20 种编程语言里从零写出一个兼容 SQLite 的数据库引擎:以数据库文件作为跨语言的统一接口,用 SQLite 官方测试套件判分,衡量一次长会话里能搭出多少可用功能。另一套 COBOL 迁移评测要求模型把已有程序迁移到别的语言、同时保持原有行为不变。两套评测分别测「造新软件」与「守住老软件的行为」。

数字上:MultiLangBench 最高推理档下 GPT-6 Astra 在 20 种语言的平均通过率 87.4%(GPT-5.6 Sol 为 26.8%),20 种语言全部提升、19 种超过 83%,最难的 COBOL 也从 10.9% 升到 72.1%,OCaml 25.6%→85.8%、Fortran 21.4%→83.5%、Visual Basic 27.5%→89.4%;更便宜的 GPT-6 Luna 以约低 78% 的 API 成本做到 40.3%。COBOL 迁移评测里,GPT-6.1 Sol 在低推理档就有 86.6% 准确率(GPT-5.6 Sol 仅 5.4%)且成本低 39%,高推理档 97.9%,接近刷满。

意义在存量系统而不是新模型:官方引 IBM 与 NRC 的数据称,COBOL 支撑超过 40% 的在线银行系统、80% 的面对面信用卡交易与 95% 的 ATM 交易,Fortran 用在天气预报与核反应堆安全分析上——这类代码文档常缺失、原开发者已离职、业务规则只活在代码里。需要标注两点:所有数字都是 OpenAI 自建评测的自测结果,MultiLangBench 与 COBOL 迁移评测的题面与判分脚本没有开源;本条公告不涉及新模型,GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna 都是已发布模型。

原文链接:OpenAI 官方页面

核验记录
本机三通路直读 openai.com 均 403(直连 / r.jina.ai / Wayback 直取),日期与正文取自 Wayback 精确快照 web.archive.org/web/20261019223622id_/(1,135,366 字节):页内可见 October 19, 2026,同页 CMS 载荷 publicationDateText 亦为 October 19, 2026,与官方 RSS 该条 pubDate Mon, 19 Oct 2026 12:00:00 GMT 同日。正文数字另经 r.jina.ai 渲染全文逐句核对(MultiLangBench 87.4%/26.8%、COBOL 10.9%→72.1%、迁移 5.4%→86.6%→97.9%、Luna 40.3% 与约低 78% 成本)。配图 og:image 为官方 ctfassets 社交图,裸请求与带站内 Referer 双 200 / PNG 1600x900。量子位 10-20 09:09 同题报道并引同一官方链接。