UltraBERT 发布：32K 上下文的双向编码器，分类与检索同时登顶
高丽大学 DMIS 实验室发布 UltraBERT：一个英文双向编码器家族，含 150M（768 维）与 380M（1024 维）两个预训练基座，外加基于前者的 UltraBERT-Embed-150M 文本嵌入模型，权重以 Apache 2.0 开放。
它的定位是同时吃下分类与检索两类任务：论文表格里 152M 档 GLUE 89.5、SQuAD 2.0 89.2、BEIR 45.2，380M 档 GLUE 91.0、SQuAD 2.0 90.9、BEIR 47.7，均高于同参数量级的 ModernBERT 与 Ettin Encoder；此前编码器通常只在一类任务上领先。
上下文从常规编码器的 512 到 8K 扩到原生 32K：模型先在 2K 上训练再扩到 32K，LongEmbed 的 passkey 检索在 32K 以内各长度都保持 99% 准确率，而 8K 上下文的基线在超出后开始掉分。除 MultiCoNER v2 外，两个档位在表内其余基准上均为最好成绩；这些分数均为论文自测，本轮未见第三方复现。
核验记录
日期双证：arXiv 2610.15028 的 citation_date 与 citation_online_date 均为 2026/10/10；Hugging Face 三个权重仓（UltraBERT-150M / 380M / Embed-150M）createdAt 为 10-10T10:52–10:54Z，一分钟内同批互证。官方没有独立发布博文，故日期取论文字段与权重仓一致，而非厂商公告日。配图取 HF 官方社交缩略图：两向 200、PNG 1200×648。