AI 制作科普动画没有旁白？我用Ming-3.0给它配了张嘴
1. AI 制作科普动画没有旁白？我用 Ming-3.0 给它配了张嘴
[!abstract] 速览
- 起因：AI 科普动画的画面、节奏、动效都不错，却普遍没有配音。
- 方案：用 Ming-3.0 里 0.5B 的 TTS，一句音色描述定声，整篇文本一次合成。
- 效果：498 字生成 86 秒音频，耗时 30.9 秒，未修音直接上片。
- 关键：先出声音再做画面，字幕与动效都卡在识别出的时间轴上。
花 20 分钟，我给一支 AI 科普动画配上了嘴。498 字旁白，一次合成，86 秒的音频，30.9 秒就出来了。没修音，直接上片。
事情是这样的：
最近 AI 做科普动画很火，画面、节奏、动效都挺能打，但大家有没有发现一个问题：
全是哑巴。
刚好蚂蚁百灵开源了 Ming-3.0 语音模型，里面有个 0.5B 的 TTS，用一句大白话就能描述你想要的声音。
那我就想：AI 画的动画，再让 AI 配上嘴，能不能直接发？于是搓了一支讲「大模型是怎么训练出来的」的片子，成片在这，大家自己听：
1.1. 我是怎么搓出来的
[!tip] 核心结论
先出声音，再做画面。反过来做，语速要么被硬压，要么画面对不上（虽然动画角色也没有嘴）。
-
让 AI 写脚本。「模型怎么训练」拆成 10 段，一段一个知识点，全文 498 字。
-
定音色，整篇一次合成。只给一句音色描述，498 字一次生成，不用一段段拼。
-
按声音做动画，最后合成。用语音识别拿到每个字在第几秒，画面和字幕都卡在这个时间轴上，再用
ffmpeg合成。
音色我是这么写的：
三十岁左右的男声，干净有精神，像科技区的科普博主；语速中等偏快，像跟朋友聊天，亲切但不端着。
1.2. 脚本
左边是喂给模型的文本，右边是对应的画面。
| 段 | 旁白文本 | 画面 |
|---|---|---|
| 1 开场 | 你每天问 AI 问题，它几秒就答上来。可它到底是怎么学会说话的？今天用两分钟，从零训练一个大模型。 | 聊天框秒回答案，镜头拉远，变成一张空白的神经网络 |
| 2 数据 | 第一步，喂数据。网页、书籍、代码、论文，清洗干净，攒出上万亿个词。注意，是清洗过的，垃圾进，垃圾出。 | 各种文本汇入漏斗，杂质被筛掉，下方堆成数据山 |
| 3 分词 | 可模型不认识字，只认识数字。所以先把文字切成小块，叫词元，也就是 token，每一块编一个号。 | 一句话被切成彩色小方块，每块翻转成一个数字 |
| 4 预训练 | 接下来是最核心的游戏：遮住下一个词，让模型猜。床前明月……光。猜错了，就算出错了多少，这叫损失；再顺着让损失变小的方向，把上千亿个参数各调一点点。这叫梯度下降。 | 文字逐个出现，最后一格是问号；猜错时红色误差条，参数旋钮整体轻微转动 |
| 5 规模 | 这个游戏要重复几万亿次，用成千上万张 GPU，连着跑几周到几个月。 | 一张显卡复制成一整片机房，计数器飞速滚动 |
| 6 续写高手 | 训练完，你得到一个续写高手：读遍了互联网，却还不会好好回答问题。你问它番茄炒蛋怎么做，它可能接着写出一串别的问题。 | 用户提问，模型吐出一长串新问题，用户扶额 |
| 7 监督微调 | 所以还要后训练。先拿大量写好的问答示范，教它照着指令回答，这叫监督微调。 | 老师递上一叠示范卡片，模型照着学 |
| 8 人类反馈 | 再让人给模型的不同回答打分，好的奖励，差的扣分，让它学会更有用、更诚实、更安全。这就是基于人类反馈的强化学习。 | 两个回答并排，人点赞和点踩，模型逐步偏向好回答 |
| 9 评测 | 最后是考试：数学、代码、常识、安全，几百套题跑一遍，过关才上线。 | 考卷翻页，分数条逐个变绿，盖上「上线」印章 |
| 10 结尾 | 所以下次 AI 秒回你的时候，记得：它背后是上万亿个词，成千上万张卡，和数不清的猜错。 | 回到开头的聊天框，镜头拉远，露出背后的数据山和机房 |
[!warning] 别把量级当精确值
表里的「上万亿词元」「上千亿参数」「成千上万张 GPU」都是量级说法，不同模型差别很大，别当成某个模型的精确数据，免得评论区的大佬来纠错。
1.3. 实测数据
光说没用，直接上数据：
| 测试项 | 怎么测 | 结果 |
|---|---|---|
| 整篇合成 | 498 字一次合成，只给上面那句音色描述 | 86 秒，成片用的就是这版 |
| 速度 | 从发请求到拿到音频 | 86 秒的音频，30.9 秒出来 |
| 停顿 | 「床前明月……光」会不会自己停一下 | 会，没加任何指令，它自己在「床前明月」后面停了一下才揭晓「光」 |
| 中英混读 | 第 3 段「token」，第 5 段「GPU」 | token、GPU 都按英文念，和中文衔接自然 |
| 数字与术语 | 「上万亿」「梯度下降」「监督微调」 | 都读对了，没有断错 |
[!note] 测试口径
文本 498 字一次性合成，只给一句音色描述；耗时按「发请求到拿到音频」计算；整篇未做修音，成片直接使用这版音频。
1.4. 说点真实感受
1.4.1. 好的地方
- 「床前明月……光」：我啥指令都没加，它自己停了一下才揭晓「光」。
- 快：86 秒的音频，30.9 秒就出来了，0.5B 的小模型确实不磨叽。
- token、GPU 这种中英混读，和中文接得很顺；「梯度下降」「监督微调」这些术语也没读错。
- 整篇一次合成直接能用，成片就是它，没有修音。
1.4.2. 适合谁
- 做科普、口播、播客开场，不想自己录音的个人创作者（比如我）。
以上只是我做这一支片子的体验，样本只有一个，不一定准确。
1.5. 顺便科普一下 Ming-3.0
一句话：蚂蚁百灵 10 月开源的一套语音模型，能听、能懂、能说。
一共三个模型，MIT 协议，权重在 Hugging Face 和 ModelScope 上都能下。这次我只用了配音那个，另外两条线也列在这：
| 模型 | 用途 | 规模与成绩 |
|---|---|---|
| Ming-3.0-tts（0.5B、tiny） | 语音合成：音色设计、导演模式、副语言标签 | 0.5B 版在 Artificial Analysis 发音鲁棒性 93.2%，并列第一；Controlled Voice 1069 Elo，开放权重第一 |
| Ming-3.0-audio-flash（另有 tiny） | 音频理解与对话：长录音转写、总结、观点分析 | MMAU 82.00，VoiceBench 86.74，BigBenchAudio（S2T）99.40 |
| Ming-3.0-asr-tiny | 语音识别：热词注入、方言识别 | 8.6B 总参数、约 2B 激活；四类评测平均错误率 4.41% |
API：Ling Studio 开放平台的语音合成接口，兼容 OpenAI 的格式。
1.6. 最后
以前做科普，配音要么自己硬着头皮录，要么忍着机器腔。这次是第一次觉得，AI 配的音可以直接发了。