从一行文字到一段影像:文生视频到底经历了什么
一、先有图,后有影
很多人以为文生视频是一步到位的魔法,其实它更像一场接力赛。第一棒是文生图模型——你输入"雨夜的东京街头",它先在脑海里"画"出若干关键帧,确定画面的构图、色调、主体位置。这一步决定了短片的"颜值底子",如果关键帧崩了,后面再怎么补都救不回来。
第二棒才是视频生成模型。它拿到这些关键帧后,要做的事情是"脑补中间发生了什么"。比如第一帧是一个人站在路口,第三帧是这个人走到了马路对面,模型需要自己推导出第二帧里他抬了哪条腿、雨伞往哪边倾斜。这个过程叫帧插值,也是目前AI视频最容易露馅的地方——手指突然多了一根、头发穿模而过,都是插值没算好的痕迹。
二、为什么有的短片一眼假
普通观众说不上来哪里不对,但就是觉得"看着别扭",问题往往出在物理一致性上。真实世界里,光从左边打过来,影子就该落在右边;杯子掉在地上,碎片飞溅的方向有规律。早期AI模型对这些物理规则没有概念,生成的画面经常出现"茶壶自己飘起来""水往高处流"的诡异场景。
这两年的模型开始把物理引擎的思路融进去,生成前先做一版"物理模拟草稿",再在这个约束下渲染画面。你现在看到的高分AI短片,大多是用了带物理约束的新模型,或者创作者手动用关键帧把关键动作一帧帧锁死,AI只负责填充过渡。
三、数字人为什么越来越像真人
数字人短片是另一条技术路线。它不是从零生成画面,而是先扫描或建模一个三维人脸,再用语音驱动嘴型和表情。嘴型同步靠的是音素到口型的映射表——发"啊"的时候嘴张多大、发"呜"的时候嘴唇收多紧,这些都有数据可依。表情则靠微表情数据库,把几十种基础肌肉运动组合起来,就能拼出"苦笑""惊讶""强忍泪水"这些复杂情绪。
你在我们平台看到的数字人播报短片,很多已经能做到口型和中文发音精确对齐,连说话时的眨眼频率都模仿了真人的平均间隔。当然凑近了看还是有破绽,比如眼神聚焦不够自然、皮肤缺少毛孔细节——这些是下一代模型要啃的硬骨头。
四、作为观众,怎么判断一支AI短片的成色
教你三个土办法:看手、看头发、看文字。AI生成的手经常六指或关节反折,头发在运动时容易和衣服穿模,画面里如果出现招牌、书本上的文字,多半是乱码。一支能把这三处都处理干净的短片,技术水准已经超过了90%的同类作品。下次刷片的时候,不妨用这三点给片子打个分。