商汤发布Seko2.0智能体:实现国产化芯片准实时生成,解决角色一致性与多人对口型难题

商汤发布Seko2.0智能体:实现国产化芯片准实时生成,解决角色一致性与多人对口型难题
2025年12月15日 19:40 看点资讯

12月15日,商汤科技在“产品发布周”首日正式发布多剧集生成智能体Seko2.0。

通过在扩散模型的高噪阶段引入“负参考图”,SekoIDX实现多剧集、跨分镜中的角色一致性,同时可避免内容与参考图过度相似,并在响应不同表情、姿态、场景等指令时保持高度稳定。同时,支持超过2人对口型的解决方案SekoTalk,实现了从单人口型到多人互动的高精度声形同步。

商汤还提出了Phased DMD蒸馏技术,将分阶段蒸馏与专家混合模型(MoE)结合,让不同模型专精于生成流程的不同阶段,在不增加推理成本的前提下提升了模型整体能力与效率上限。

商汤还开源了能实时视频生成的推理框架LightX2V,通过DiT蒸馏加速、轻量化VAE、稀疏注意力等优化,实现低成本、强实时视频生成,在消费级显卡上能以不到5秒的时间生成5秒视频,优于Sora 2。

此外,Seko系列目前已支持寒武纪、沐曦等多款国产芯片。(澎湃新闻记者 秦盛)

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部