Kandinsky 6.0 Video:3B/29B 单模型同步出画与 44kHz 人声
Kandinsky 团队 10 月 4 日公开 Kandinsky 6.0 Video 技术报告:一个扩散模型家族同时做视频与音频生成,Lite 3B、Pro 29B 两档,都能直接生成 5 秒片段并带同步的 44kHz 音轨(含口型同步),支持文生音视频与图生音视频两种模式,内置超分模型把输出抬到 1920×1080。它改变的是配音的位置——音轨不再是画面生成完之后的另一道工序,而是与画面在同一次生成里对齐出来的。
做法是双流 CrossDiT:一条是已预训练的视频流,另一条是全新训练的音频流,两条流用双向交叉注意力做时间与语义对齐。训练上先让音频流在大规模音频语料上从零学起,再在配对音视频数据上联合训练以保住单模态质量,随后接监督微调、强化学习后训练与蒸馏。团队称在并排人工评测中 Pro 明显优于上一代 Kandinsky 5.0 Video Pro,在语音质量上与领先的音视频生成模型接近,但这些评价均为团队自评,尚无第三方复现。
报告同时声明以 MIT 许可放出代码、模型权重与 diffusers 集成。对开源阵营来说,这补的是「有声视频」这块短板:在开源模型里,把音轨与画面放进同一次生成、并做到口型级别的同步仍属少数,而音画同步恰好是后处理最难对齐的部分。
原文链接:Kandinsky Lab 官方技术报告
核验记录
一手:arXiv abs 2610.05608 直读 200(57,565 字节),citation_date 与 citation_online_date 均为 2026/10/04,PDF v1 提交时间 2026-10-04 23:19:20 UTC(88 位作者,Team Kandinsky);HF papers 接口 publishedAt 同为 2026-10-04(submittedOnDailyAt 2026-10-06),两处官方字段同日互证。报告声明释放代码/权重/diffusers 集成(MIT),但截至本轮实测均不可公开取用:GitHub kandinskylab/kandinsky-6 的 API 与网页双双 404,该 org 公开仓仅 5 个(最新 kandinsky-wm,2026-07-22);HF kandinskylab/kandinsky-6 与 kandinskylab/kandinsky-60-diffusers 均返回 401(受限或私有),HF 全站检索 kandinsky 30 条内无 6.0 Video 权重仓 —— 故本条只写报告陈述,不写「权重已可下载」。配图取 HF 论文社交缩略图(1200×648 PNG),裸请求与带站内 Referer 均 200,且经视觉核对确为该论文卡片(含标题与 cs.CV 4 Oct 2026)。