本地大模型:数字人案例实测教程
你一定有这样的烦恼:
想拍口播,觉得自己人也不好看,声音也不好听,鼓起勇气去化妆、打光、半天整了一条视频出去0 个赞。
于是就想偷懒用数字人:
视频是出来了,发现一条视频花了几十块,效果差强人意,重试一下又是几十块,发出去还没流量。
有没有低成本效果又逼真的方法?
不知道,试试就知道了。
本地显卡实测:
11 月 11 日
一不小心学会了 10 种语言,我可以全球带货了。
1. 先看结论
1.1. 案例一:
只有一张照片,能让它开口吗?
能。
给它一张我的半身照、一段 10 秒的配音,它会从零开始把整段视频画出来,人会眨眼、点头、比手势,嘴跟着声音动。
在Dgx Spark 上,10 秒的视频大约等 8 分半钟。
第一次跑出来效果还行,但很快就翻车了:人物动不动把两只大手怼到镜头前,挡住半个画面。
问题出在提示词:我写了"近距离自拍、双手做各种自然手势",AI 就真的把手往镜头上举。 改成"镜头不动、保持照片原来的距离、手放低"以后,这个问题就没了。
下图是同一张照片、同一句话,旧描述和新描述的对比:
这里有个小白很容易忽略的点: AI 很听话,你写什么它就放大什么。
我还试过写"一步一步讲解教程",结果人物全程只用一根手指点来点去;
改成"像跟朋友聊天,摊开手掌、偶尔把手放下",动作马上自然了。
还有两件事要提前知道:
第一,偶尔嘴会噘成一个"O"形,换句子、改描述都压不下去,我到现在也没找到原因。
第二,同样的设置跑两次,结果可能完全不同,我跑过 3 次,有一次整个场景莫名其妙从晚上变成了白天。
AI 生成带运气成分,正式出片最好多跑几条,挑最好的一条,并且从头到尾看一遍再发。
1.2. 案例二:手上有自己说话的视频,效果能更好吗
能,有两种用法。
第一种,给 AI 当参考。
照片之外,再给 H3 一段十几秒的自己说话的视频,让它更认识你。
我用人脸识别软件给成片打"像不像本人"的分,满分 1:只给照片是 0.900,加了参考视频变成 0.948,低头的角度也和真人一样了。代价是慢,10 秒要等 23 分钟左右,差不多是只用照片的 3 倍。
第二种,只换嘴。
这就是"对口型":原视频一帧不动,只把嘴巴那一小块重新画,让它跟着新的声音动。我用的是字节开源的 LatentSync。
除了嘴全是真的,所以它是几种里最真实的,也最快,10 秒只要 3 分半。
缺点是动作全是原视频里的,你原来在搓手,成片里还在搓手。
下图是同一段素材用四种跑法生成的截图。
给小白的建议:
如果你本来就有一段对着镜头说话的视频,先试对口型,最容易出效果。
拍的时候注意正脸、嘴别被挡、头别大幅转动,视频最好比要说的话长一点。
1.3. 案例三:美团新出的模型,比 H3 强吗
11 月 15 日,美团开源了数字人模型 LongCat,也是照片加声音出视频。
我用同一张照片、同一段声音,和 H3 正面比了一次;
怕只拿我一个人不公平,又用 AI 生成了一张虚构女性的照片(现实中没有这个人),配上合成女声再比一组。
结果是长相打平。像本人的分数两边只差 0.005 到 0.02,画面都很稳,衣服和背景全程没有变形。
H3 表情更活泼,嘴张得更大;LongCat 动作收一点,会自然眨眼。
差距在速度。同样 10 秒,H3 要 8 分半;
LongCat 低清版要 26 分钟,清晰度接近 H3 的版本要 71 分钟。
为什么差这么多?
主要是"步数"不一样。LongCat 每段要算 8 遍,10 秒还得分 3 段接着生成,一共算 24 遍;H3 我优化过一次出完,只要 4 遍。
那 LongCat 有什么用?它能一段接一段往后生成,官方说能做 10 分钟以上的长视频;H3 一次最多十几秒,长了得自己拼接。
想做一镜到底的长口播,可以考虑LongCat。
18小时
左边,h3 模型,右边,美团模型。 告诉我哪个效果好? 两个都是本地模型渲染
1.4. 科普一:想在自己电脑上跑,需要什么硬件
先记住一条最朴素的规律:模型要整个装进"工作台"才能干活。
这个工作台,普通电脑上是显卡自带的内存,叫显存;
DGX Spark 这类机器上是 CPU 和显卡共用的一大块内存,叫统一内存。
模型文件有多大,工作台至少就得有多大,真正算起来还要再多占一大块。
工作台放不下,程序会直接报错退出,大家管这个叫"爆显存"。
那为什么一个数字人要下载好几个模型文件?
因为它是好几个小模型一起干活。
主模型负责画画面,是最大的那个;
文本编码器负责读懂你写的描述;
VAE 负责把画面压缩成 AI 好处理的小数据,最后再还原成正常的图片;还有专门处理声音的部分,让嘴型跟上声音。
H3 要下载的五个文件,就是主模型、加速补丁、文本编码器、画面 VAE 和声音 VAE。
下面是我实测的三个模型的"体重":
对照这张表,常见的几档机器大概是这样:
16 GB 显存的游戏显卡,比如 RTX 5070 Ti。
我实测 H3 做 6 秒以内的短片能跑,开了加速以后,一个 6 秒左右的任务只要 492 秒,比 Spark 的 807 秒还快。但做到 12 秒就爆显存。
24 到 32 GB 显存的高端显卡,比如 RTX 4090、5090。
这一档我手上没有,没实测。按文件大小看,H3 主模型 34 GB 就已经比显存大了,能不能跑、能跑多长,要看软件能不能把模型分批搬进显卡,我没验证过,买之前最好先找有这张卡的人实测。
**大内存一体机,比如我用的 NVIDIA DGX Spark,121 GB 统一内存。**三个模型都能跑,H3 能做到 15 秒,LongCat 能跑 720p。
缺点有两个:它是 ARM 芯片,很多 AI 软件是按x86 架构写的,我装对口型就踩了十来个坑;而且单论短片段的速度,它还比不过 5070 Ti。
选型建议:先想清楚要做什么。只想体验一下,做 5 秒左右的短片段,16 GB 显卡就够;想做 10 到 15 秒的正式口播,或者想试美团这类新模型,得有 100 GB 以上的显存或统一内存。
另外,我测的这几个模型都是cuda 生态的,其他牌子的显卡我没试过。如果一个月只做几条,用云端算力显卡按分钟付费可能更划算。
8 月 22 日
2. 科普二:看懂渲染设置里的那些词
打开 ComfyUI 这类工具,会看到一堆设置项,了解下基础概念:
**步数(steps):**擦雪花的遍数,就是"4 步"“8 步”"20 步"里说的步。有点像画画,先打草稿,再一遍遍修细节。每多一步,就要把整段视频从头到尾再算一遍,所以耗时基本跟步数成正比。
**种子(seed):**那屏雪花点最开始长什么样,由一个编号决定,这个编号就是种子。其他设置都不变时,种子一样,结果就一样;
换个种子,相当于重新抽一次签。我用同样的设置换了 3 个种子,有一条整个场景从晚上变成了白天。所以正式出片多换几个种子,挑最好的一条。
**LoRA:**给主模型挂的小补丁。主模型动辄几十 GB,重新训练一遍成本很高;LoRA 只有几个 GB,挂上去就能让模型多一项本事,取下来模型还是原样。H3 的主模型 34 GB,我挂的加速 LoRA 只有 1.96 GB。
LoRA 一般有个"强度"设置,1.0 是满强度,数字越小影响越弱。我还试过一个让画面更锐利的 LoRA,开到 0.3,像本人的分数没涨反而掉了一点,所以补丁不是挂得越多越好。
**turbo、蒸馏、加速版:**这类模型原本要二三十步甚至更多才能画清楚。有人专门把它训练成"几步就能画完"的快速版,这个过程叫蒸馏,名字里常带 turbo、distill 这类词,通常以 LoRA 的形式发布。
H3 挂上 turbo LoRA 后只要 4 步;美团 LongCat 自带两个这样的加速 LoRA,把步数压到 8 步。
**采样器(sampler):**决定每一步具体怎么擦的算法,名字五花八门,比如我用的 res_multistep。新手直接用模板里的默认值就行,一般不用动。
**提示词和负面提示词:**提示词写你想要什么,比如"镜头不动、手放低";负面提示词写你不想要什么,比如"字幕、模糊、多余的手指"。
美团 LongCat 的代码里就内置了一长串负面提示词。前面案例一已经说过,AI 很听话,你写什么它就放大什么。
**分辨率、帧数、帧率:**分辨率是画面有多少个像素点,768×1344 就是宽 768、高 1344;480p、720p 说的是画面短的那条边大约 480、720 个点。帧率是每秒放多少张图,H3 是每秒 24 张,所以 10 秒要 243 帧。H3 对帧数还有个硬要求,必须是 17 的倍数再加 5。分辨率越高越慢,H3 做 1088×1920 的 10 秒视频要 128 分钟,是 768×1344 的 5 倍多。
**精度:BF16、INT8 和量化。**模型里存着几十亿个数字。BF16 每个数字记得更精细,文件也大;INT8 记得粗一点,文件小一半左右,效果通常差不多。把模型压成 INT8 这类小版本,就叫量化。显存不够时,先找量化版。我用的 H3 就是 INT8 版;还试过 66 GB 的 BF16 版,反而出了金色悬浮字、唇色发紫这些问题。
**注意力加速:Sage、flash-attn。**模型画画时,画面的每个部分都要和其他部分对一对,这一步叫"注意力",是最费时间的环节。Sage 和 flash-attn 都是专门让这一步算得更快的插件。
我给 H3 开了 Sage,快了 22% 到 35%,画面肉眼看不出差别。美团 LongCat 官方用的是 flash-attn,但它在 Spark 的 ARM 芯片上装不上,我只好换成 PyTorch 自带的算法,结果一样,就是慢。
3. 费用怎么算:
要花多少钱?
在自己机器上跑,电费几乎可以忽略,我估算一条 10 秒视频 1 分钱左右(按整机 100 瓦估算,没有用插座实测)。
作为对比,火山引擎即梦的数字人接口官方价是每秒 1 元,10 秒就是 10 元。本地跑真正的成本是机器本身和你等待的时间。
能用别人的照片吗?
破甲模型可以,不然我那么多换脸视频咋做的,当然注意侵权。
4. 你该怎么使用?
方案我老早就开源了,就是用的换脸工作流里那一套模型,你只需要让 codex 帮你安装完,把自己的照片丢进去换脸就完事了。
10 月 20 日
物料包,skill 均开源,文中自取,拿去卖课吧
当然要做足真人感,还要有些小技巧:
11 月 16 日
践行试试就知道了理论,找了 200 个推友帮我进行了一天测试。 数字人方案和结果见视频。 群不用加了,测试结束。
喜欢折腾的自己去玩吧,当然还是建议真人出镜,在 ai 能复制一切的当下,你的活人感是你为数不多的不可替代性了。