NVIDIA 发 PixelUMM：不要视觉编码器，16×16 像素块直接进 Transformer
NVIDIA 发布 PixelUMM（arXiv 2609.38597，2026-09-29 21:59 UTC 投出），一个「无编码器」的统一多模态模型：图像不再先过独立的视觉编码器变成嵌入，而是切成 16×16 的 RGB 像素块直接当 token 送进 Transformer，让理解与生成共享同一套表示。总参数 15,199,672,064（约 15.2B），语言底座是 Qwen3-8B（固定 revision），生成侧用迭代去噪的图像/视频生成头；推理环境要求 Linux、NVIDIA GPU、CUDA 版 PyTorch 与 FlashAttention。
能力上覆盖四条路：文本生图、图像条件下的文本生成、视频条件下的理解、视频生成；输入输出都是文本、RGB 图像与视频帧。权重随后在 Hugging Face 的 nvidia 组织下开放（该仓库 createdAt 为 2026-10-01T21:40Z，即北京时间 10 月 2 日凌晨），按「NVIDIA 单向非商业许可」放出，模型卡明确限定非商业研究与评估用途。
它改变的是多模态架构里那条被当作理所当然的分界线：主流做法是视觉编码器加语言模型，编码器决定了模型看到什么，也限定了生成侧的表达空间；PixelUMM 把编码器整个拿掉，换成像素块直接进同一套注意力。这次放出的是研究口径的权重而不是可商用产品——模型卡全文 3,881 字符，只有架构、参数与用法，没有公布任何公开基准成绩。
原文链接：NVIDIA 模型卡 / arXiv
核验记录
arXiv 条目经 export API 直读（第 4 次尝试才通，此前连续 429）：id 2609.38597v1、标题「PixelUMM: Encoder-Free Unified Image and Video Understanding and Generation」、published 2026-09-29T21:59:07Z（= 北京时间 9/30 05:59，date 按北京时间记 9-30）。HF 侧 nvidia/PixelUMM 的 API 直读：createdAt 2026-10-01T21:40:34Z、likes 4、downloads 0、tags 含 base_model:Qwen/Qwen3-8B 与 license:other。模型卡 README 全文 3,881 字符，参数 15,199,672,064、16×16 像素块、四条任务能力与「released for non-commercial research or evaluation purposes only」逐字取自该文件；「没公布任何公开基准成绩」的依据是全文 3,881 字符内 Benchmark 检索命中 0。未检索到 NVIDIA 官方研究页（research.nvidia.com/labs/dir 直读无 pixelumm 命中，未做进一步路径挖掘，未写「官方页不存在」）。配图用 HF 社交缩略图，裸请求与带站内 Referer 各一次均 200 / 409,046 字节 PNG。
← 上一篇Hugging Face 上线开源 TTS 榜：八千个语音模型，只有 16 个挤进主流竞技榜下一篇 →原点星辉开源决策模型 StartLux-Decision：六档 0.8B–35B-A3B，27B 的 DI 反超 Jev 1.13