12个AI做视频GitHub项目
1. 12个AI做视频GitHub项目
[!abstract] 速览
整理了 12 个 GitHub 项目,按实际用途分类,链接全部放出来。它和「输入一句提示词,等模型吐出一段画面」是两条完全不同的路:让 AI 写代码,让程序负责动画,让渲染引擎输出视频,每个数字、每条曲线、每帧字幕都能精确控制。对于做 AI 教程、产品介绍、行情科普的人来说,这条路线值得研究。先收藏,别急着全部安装。
🔥我发现,AI 做视频最容易踩的坑就是工具一大堆,看起来个个都能起飞。
结果折腾半天,视频没做出来,倒是收获了 30 个 GitHub 收藏夹。😂
以前总觉得,AI 视频就是输入一句提示词,等模型吐出一段画面。
后来才明白,还有一条完全不同的路:
让 AI 写代码,让程序负责动画,让渲染引擎输出视频。
最妙的是,画面里一个数字什么时候出现、一条曲线怎么运动、字幕在哪一帧弹出,都可以精确控制。
| 项目 | 仓库 | 主要用途 |
|---|---|---|
| HyperFrames | heygen-com/hyperframes | 用 HTML、CSS 和动画代码描述视频,再渲染成 MP4 |
| Remotion | remotion-dev/remotion | 用 React 组件制作视频,适合标准化、批量化生产 |
| Remotion Skills | remotion-dev/skills | 官方维护的 Agent Skills,帮 Codex、Claude Code 理解 Remotion 的项目结构 |
| GSAP | greensock/GSAP | 文字动效、SVG 动画、数字变化、曲线运动、元素入场退场 |
| Three.js | mrdoob/three.js | 在网页环境中创建和渲染 3D 场景 |
| Blender | blender/blender | 建模、材质、灯光、相机、动画、渲染 |
| MCP for Blender | ahujasid/mcp-for-blender | 第三方 MCP 集成,把 AI 编程助手与 Blender 连接起来 |
| ComfyUI | Comfy-Org/ComfyUI | 视觉生成工作流引擎,制作背景、插图、视频片段等素材 |
| faster-whisper | SYSTRAN/faster-whisper | 语音识别,输出字幕时间信息 |
| FFmpeg | FFmpeg/FFmpeg | 编码、格式转换、音视频合成、剪切、滤镜、字幕处理 |
| Hallmark | Nutlope/hallmark | 给 AI 编程助手使用的网页设计 Skill |
| Impeccable | pbakaus/impeccable | 改进和审查产品界面设计 |
1.1. 先解决最核心的问题:视频怎么做出来?
1.1.1. HyperFrames|把网页变成视频
GitHub:heygen-com/hyperframes
用 HTML、CSS 和动画代码描述视频,再渲染成 MP4。
比如让 AI 写一个 20 秒的 BTC 价格机制讲解:
标题从左边滑入,图表逐步展开,数字跟着时间变化,最后出现总结。
它的优势是画面可以按时间轴逐帧渲染,特别适合需要精确控制的动态图表、文字动画和科普视频。
1.1.2. Remotion|用 React 制作视频
GitHub:remotion-dev/remotion
这个我觉得做知识分享的人一定要了解。
它把视频做成 React 组件。
标题、字幕、转场、数据图表,都能写成可以重复使用的代码。
比如你每天做一条行情复盘,只需要更换数据、文案和音频,不必每次重新从零剪辑。
做标准化、批量化的视频,思路一下就打开了。
1.1.3. Remotion Skills|给 AI 补一套视频制作知识
GitHub:remotion-dev/skills
注意,这个不是另一个视频生成器。
它是官方维护的 Agent Skills,帮助 Codex、Claude Code 等工具理解 Remotion 的项目结构、动画、字幕和渲染方式。
安装命令:
npx skills add remotion-dev/skills
[!note] Remotion 是工具箱,Skills 更像使用说明和工作规范
光给 AI 一把锤子,它未必知道该往哪儿敲。
1.2. 让画面别再像十年前的 PPT
1.2.1. GSAP|专业动画控制
GitHub:greensock/GSAP
特别适合文字动效、SVG 动画、数字变化、曲线运动、元素入场和退场。
例如讲解 BTC 爆仓机制:
价格线下跌,保证金区域缩小,警戒线亮起,最后弹出强平提示。
这些效果可以用明确的动画时间轴来实现。
比起让 AI 随机生成一段“差不多”的画面,代码动画的可控性要高得多。
1.2.2. Three.js|网页里的 3D 世界
GitHub:mrdoob/three.js
想做旋转的数据球、3D 芯片、科技感空间、立体信息流?
Three.js 就是干这个的。
它负责在网页环境中创建和渲染 3D 场景。
适合给金融数据、科技产品、AI 教程增加一些空间层次。
[!warning] 别为了炫技硬上 3D
一个简单的资金流向图,做清楚比做成宇宙飞船重要。
1.2.3. Blender|真正的 3D 制作工具
GitHub:blender/blender
建模、材质、灯光、相机、动画、渲染,都能做。
如果你的内容需要复杂场景、真实光影或者产品结构展示,可以考虑它。
当然,渲染时间也可能非常诚实地提醒你:
显卡不是许愿池。
1.2.4. MCP for Blender|让 AI 操作 Blender
GitHub:ahujasid/mcp-for-blender
这是一个第三方 MCP 集成项目,不是 Blender 官方出品。
它可以把 AI 编程助手与 Blender 连接起来,辅助创建、修改和操作 3D 场景。
原来需要手动处理的一些建模和场景操作,可以尝试交给 Agent 执行。
不过它需要正确安装和配置,涉及外部模型及服务时也可能产生费用。
别把“能控制 Blender”理解成“发一句话自动做出电影级动画”。
1.3. 素材、字幕、视频导出怎么解决?
1.3.1. ComfyUI|可组合的 AI 素材生产线
GitHub:Comfy-Org/ComfyUI
很多人把 ComfyUI 当成一个绘图软件,其实它更像视觉生成工作流引擎。
图片、视频、音频、局部修改、放大、插帧等任务,都可以根据支持的模型和节点组织成流程。
适合为动画制作背景、插图、视频片段和其他素材。
它不是一个模型,也不是装完就能免费使用所有模型。
本地运行要看显卡,云端和部分第三方服务可能收费。
1.3.2. faster-whisper|语音识别与字幕时间戳
GitHub:SYSTRAN/faster-whisper
这东西对知识类视频特别实用。
把录好的配音交给它,可以识别语音内容,并输出时间信息。
支持词级时间戳选项,方便后续制作字幕。
但有两件事一定记住:
它不负责生成配音。
识别结果也不是百分百准确,专业词汇、人名、币种名称仍然需要校对。
否则 BTC 被字幕识别成什么奇怪东西,观众可能比你还懵。
1.3.3. FFmpeg|视频生产线的最后一道工序
GitHub:FFmpeg/FFmpeg
音视频处理领域的老熟人。
编码、格式转换、音视频合成、剪切、滤镜、字幕处理,都能用到它。
前面做出来的动画、配音、字幕、背景音乐,最终可以通过 FFmpeg 完成整合和导出。
别看它没有花里胡哨的界面。
很多自动化视频工作流,最后都绕不开它。
1.4. 最后两个工具,别被名字骗了
1.4.1. Hallmark|改善网页设计的 AI 味
GitHub:Nutlope/hallmark
它主要是给 AI 编程助手使用的网页设计 Skill。
帮助改善页面布局、视觉风格和那些一眼就能看出来的 AI 模板化设计。
如果你的视频涉及网页展示、产品页面或者数据看板,它可以提供帮助。
但它不是视频滤镜,更不能一键把 AI 视频变成真人拍摄。
1.4.2. Impeccable|给界面设计做体检
GitHub:pbakaus/impeccable
主要用于改进和审查产品界面设计。
可以帮助 AI 检查布局、字体、可读性、交互和整体视觉问题。
适合网页、仪表盘、产品演示页面的设计优化。
如果动画需要展示这些界面,它很有参考价值。
但它同样不是专门的视频画质增强工具。
1.5. 重点来了:12 个工具到底怎么搭配?
千万别把 12 个仓库一股脑丢给 AI,说:
“给我做个高级视频。”
这跟看完 12 个交易指标就直接满仓,本质上没什么区别。😂
如果你做的是 AI 教程、金融科普、知识分享,我更推荐先跑通这条小流程:
- 先写清楚脚本,确定每一幕讲什么。
- 用 Remotion + Remotion Skills 制作主要动画。
- 需要复杂文字动效,再加入 GSAP。
- 有特殊画面需求,再用 ComfyUI 制作素材。
- 配好真人录音或合规的 TTS 配音。
- 用 faster-whisper 获取字幕及时间戳。
- 用 FFmpeg 处理最终视频。
- 导出前检查画面、文字、音画同步和错误数据。
这条流程跑通以后,再考虑接入 3D、批量生产和自动化。
不需要为了用工具而用工具。
1.6. 给 Codex / Claude Code 的一段指令
想入门的,可以先拿这个练习:
[!quote] 可直接复制使用的练习指令
帮我制作一条 30 秒、1080×1920 的中文科普动画,主题是《为什么合约交易会爆仓》。优先使用 Remotion,并参考其官方 Agent Skills。视频分为 4 个场景:开场问题、保证金原理、模拟价格下跌、风险总结。用可编辑的代码制作价格曲线、保证金变化和字幕动画。所有价格与仓位数据必须标注为模拟示例,不得冒充实时行情。整体风格为黑色背景、简洁金融仪表盘、克制的数字动效。统一字体、间距和运动节奏,不要无意义的炫光或乱飞的文字。预留配音轨道,根据实际配音生成字幕时间戳。输出 MP4,并检查字幕重叠、文字裁切、画面闪烁、首尾黑帧和音画同步问题。完成后保留项目源码、素材及最终成片。未经验证的效果不要宣称已经实现。
最后说句大实话。
[!warning] 开源,不等于零成本
模型调用、显卡算力、渲染时间、商用许可、第三方素材,都可能产生费用。
比如 Remotion 对个人和符合条件的小团队免费,但更大规模的商业使用需要看官方许可。
真正有价值的,也不是攒齐 12 个工具。
而是先跑通一条能重复生产、方便修改、输出稳定的视频制作流程。
一条跑通,比收藏一百条“AI 自动出大片”的教程都有用。
做内容和做交易一样。
系统比情绪重要,执行比幻想值钱。
你们现在用 AI 做视频,最头疼的是哪一步?
- A. 画面太土
- B. 字幕对不上
- C. 动画不流畅
- D. 渲染慢得想砸电脑
评论区聊聊,看看大家都卡在哪儿。😂