12个AI做视频GitHub项目

1. 12个AI做视频GitHub项目

[!abstract] 速览
整理了 12 个 GitHub 项目,按实际用途分类,链接全部放出来。它和「输入一句提示词,等模型吐出一段画面」是两条完全不同的路:让 AI 写代码,让程序负责动画,让渲染引擎输出视频,每个数字、每条曲线、每帧字幕都能精确控制。对于做 AI 教程、产品介绍、行情科普的人来说,这条路线值得研究。先收藏,别急着全部安装。

🔥我发现,AI 做视频最容易踩的坑就是工具一大堆,看起来个个都能起飞。

结果折腾半天,视频没做出来,倒是收获了 30 个 GitHub 收藏夹。😂

以前总觉得,AI 视频就是输入一句提示词,等模型吐出一段画面。

后来才明白,还有一条完全不同的路:

让 AI 写代码,让程序负责动画,让渲染引擎输出视频。

最妙的是,画面里一个数字什么时候出现、一条曲线怎么运动、字幕在哪一帧弹出,都可以精确控制。

项目 仓库 主要用途
HyperFrames heygen-com/hyperframes 用 HTML、CSS 和动画代码描述视频,再渲染成 MP4
Remotion remotion-dev/remotion 用 React 组件制作视频,适合标准化、批量化生产
Remotion Skills remotion-dev/skills 官方维护的 Agent Skills,帮 Codex、Claude Code 理解 Remotion 的项目结构
GSAP greensock/GSAP 文字动效、SVG 动画、数字变化、曲线运动、元素入场退场
Three.js mrdoob/three.js 在网页环境中创建和渲染 3D 场景
Blender blender/blender 建模、材质、灯光、相机、动画、渲染
MCP for Blender ahujasid/mcp-for-blender 第三方 MCP 集成,把 AI 编程助手与 Blender 连接起来
ComfyUI Comfy-Org/ComfyUI 视觉生成工作流引擎,制作背景、插图、视频片段等素材
faster-whisper SYSTRAN/faster-whisper 语音识别,输出字幕时间信息
FFmpeg FFmpeg/FFmpeg 编码、格式转换、音视频合成、剪切、滤镜、字幕处理
Hallmark Nutlope/hallmark 给 AI 编程助手使用的网页设计 Skill
Impeccable pbakaus/impeccable 改进和审查产品界面设计

1.1. 先解决最核心的问题:视频怎么做出来?

1.1.1. HyperFrames|把网页变成视频

GitHub:heygen-com/hyperframes

用 HTML、CSS 和动画代码描述视频,再渲染成 MP4。

比如让 AI 写一个 20 秒的 BTC 价格机制讲解:

标题从左边滑入,图表逐步展开,数字跟着时间变化,最后出现总结。

它的优势是画面可以按时间轴逐帧渲染,特别适合需要精确控制的动态图表、文字动画和科普视频。

1.1.2. Remotion|用 React 制作视频

GitHub:remotion-dev/remotion

这个我觉得做知识分享的人一定要了解。

它把视频做成 React 组件。

标题、字幕、转场、数据图表,都能写成可以重复使用的代码。

比如你每天做一条行情复盘,只需要更换数据、文案和音频,不必每次重新从零剪辑。

做标准化、批量化的视频,思路一下就打开了。

1.1.3. Remotion Skills|给 AI 补一套视频制作知识

GitHub:remotion-dev/skills

注意,这个不是另一个视频生成器。

它是官方维护的 Agent Skills,帮助 Codex、Claude Code 等工具理解 Remotion 的项目结构、动画、字幕和渲染方式。

安装命令:

npx skills add remotion-dev/skills

[!note] Remotion 是工具箱,Skills 更像使用说明和工作规范
光给 AI 一把锤子,它未必知道该往哪儿敲。

1.2. 让画面别再像十年前的 PPT

1.2.1. GSAP|专业动画控制

GitHub:greensock/GSAP

特别适合文字动效、SVG 动画、数字变化、曲线运动、元素入场和退场。

例如讲解 BTC 爆仓机制:

价格线下跌,保证金区域缩小,警戒线亮起,最后弹出强平提示。

这些效果可以用明确的动画时间轴来实现。

比起让 AI 随机生成一段“差不多”的画面,代码动画的可控性要高得多。

1.2.2. Three.js|网页里的 3D 世界

GitHub:mrdoob/three.js

想做旋转的数据球、3D 芯片、科技感空间、立体信息流?

Three.js 就是干这个的。

它负责在网页环境中创建和渲染 3D 场景。

适合给金融数据、科技产品、AI 教程增加一些空间层次。

[!warning] 别为了炫技硬上 3D
一个简单的资金流向图,做清楚比做成宇宙飞船重要。

1.2.3. Blender|真正的 3D 制作工具

GitHub:blender/blender

建模、材质、灯光、相机、动画、渲染,都能做。

如果你的内容需要复杂场景、真实光影或者产品结构展示,可以考虑它。

当然,渲染时间也可能非常诚实地提醒你:

显卡不是许愿池。

1.2.4. MCP for Blender|让 AI 操作 Blender

GitHub:ahujasid/mcp-for-blender

这是一个第三方 MCP 集成项目,不是 Blender 官方出品。

它可以把 AI 编程助手与 Blender 连接起来,辅助创建、修改和操作 3D 场景。

原来需要手动处理的一些建模和场景操作,可以尝试交给 Agent 执行。

不过它需要正确安装和配置,涉及外部模型及服务时也可能产生费用。

别把“能控制 Blender”理解成“发一句话自动做出电影级动画”。

1.3. 素材、字幕、视频导出怎么解决?

1.3.1. ComfyUI|可组合的 AI 素材生产线

GitHub:Comfy-Org/ComfyUI

很多人把 ComfyUI 当成一个绘图软件,其实它更像视觉生成工作流引擎。

图片、视频、音频、局部修改、放大、插帧等任务,都可以根据支持的模型和节点组织成流程。

适合为动画制作背景、插图、视频片段和其他素材。

它不是一个模型,也不是装完就能免费使用所有模型。

本地运行要看显卡,云端和部分第三方服务可能收费。

1.3.2. faster-whisper|语音识别与字幕时间戳

GitHub:SYSTRAN/faster-whisper

这东西对知识类视频特别实用。

把录好的配音交给它,可以识别语音内容,并输出时间信息。

支持词级时间戳选项,方便后续制作字幕。

但有两件事一定记住:

它不负责生成配音。

识别结果也不是百分百准确,专业词汇、人名、币种名称仍然需要校对。

否则 BTC 被字幕识别成什么奇怪东西,观众可能比你还懵。

1.3.3. FFmpeg|视频生产线的最后一道工序

GitHub:FFmpeg/FFmpeg

音视频处理领域的老熟人。

编码、格式转换、音视频合成、剪切、滤镜、字幕处理,都能用到它。

前面做出来的动画、配音、字幕、背景音乐,最终可以通过 FFmpeg 完成整合和导出。

别看它没有花里胡哨的界面。

很多自动化视频工作流,最后都绕不开它。

1.4. 最后两个工具,别被名字骗了

1.4.1. Hallmark|改善网页设计的 AI 味

GitHub:Nutlope/hallmark

它主要是给 AI 编程助手使用的网页设计 Skill。

帮助改善页面布局、视觉风格和那些一眼就能看出来的 AI 模板化设计。

如果你的视频涉及网页展示、产品页面或者数据看板,它可以提供帮助。

但它不是视频滤镜,更不能一键把 AI 视频变成真人拍摄。

1.4.2. Impeccable|给界面设计做体检

GitHub:pbakaus/impeccable

主要用于改进和审查产品界面设计。

可以帮助 AI 检查布局、字体、可读性、交互和整体视觉问题。

适合网页、仪表盘、产品演示页面的设计优化。

如果动画需要展示这些界面,它很有参考价值。

但它同样不是专门的视频画质增强工具。

1.5. 重点来了:12 个工具到底怎么搭配?

千万别把 12 个仓库一股脑丢给 AI,说:

“给我做个高级视频。”

这跟看完 12 个交易指标就直接满仓,本质上没什么区别。😂

如果你做的是 AI 教程、金融科普、知识分享,我更推荐先跑通这条小流程:

  1. 先写清楚脚本,确定每一幕讲什么。
  2. 用 Remotion + Remotion Skills 制作主要动画。
  3. 需要复杂文字动效,再加入 GSAP。
  4. 有特殊画面需求,再用 ComfyUI 制作素材。
  5. 配好真人录音或合规的 TTS 配音。
  6. 用 faster-whisper 获取字幕及时间戳。
  7. 用 FFmpeg 处理最终视频。
  8. 导出前检查画面、文字、音画同步和错误数据。

这条流程跑通以后,再考虑接入 3D、批量生产和自动化。

不需要为了用工具而用工具。

1.6. 给 Codex / Claude Code 的一段指令

想入门的,可以先拿这个练习:

[!quote] 可直接复制使用的练习指令
帮我制作一条 30 秒、1080×1920 的中文科普动画,主题是《为什么合约交易会爆仓》。优先使用 Remotion,并参考其官方 Agent Skills。视频分为 4 个场景:开场问题、保证金原理、模拟价格下跌、风险总结。用可编辑的代码制作价格曲线、保证金变化和字幕动画。所有价格与仓位数据必须标注为模拟示例,不得冒充实时行情。整体风格为黑色背景、简洁金融仪表盘、克制的数字动效。统一字体、间距和运动节奏,不要无意义的炫光或乱飞的文字。预留配音轨道,根据实际配音生成字幕时间戳。输出 MP4,并检查字幕重叠、文字裁切、画面闪烁、首尾黑帧和音画同步问题。完成后保留项目源码、素材及最终成片。未经验证的效果不要宣称已经实现。

最后说句大实话。

[!warning] 开源,不等于零成本
模型调用、显卡算力、渲染时间、商用许可、第三方素材,都可能产生费用。

比如 Remotion 对个人和符合条件的小团队免费,但更大规模的商业使用需要看官方许可。

真正有价值的,也不是攒齐 12 个工具。

而是先跑通一条能重复生产、方便修改、输出稳定的视频制作流程。

一条跑通,比收藏一百条“AI 自动出大片”的教程都有用。

做内容和做交易一样。

系统比情绪重要,执行比幻想值钱。

你们现在用 AI 做视频,最头疼的是哪一步?

  • A. 画面太土
  • B. 字幕对不上
  • C. 动画不流畅
  • D. 渲染慢得想砸电脑

评论区聊聊,看看大家都卡在哪儿。😂

深色科技风封面图:金色胶片环与发光播放按钮,背景为代码窗口和蓝色网格地球,标题为「AI 视频制作 12 个 GitHub 开源工具」