分享一个开源 AI 神器:生图、生视频、配音全齐了,一分钱不用花

1. 分享一个开源 AI 神器:生图、生视频、配音全齐了,一分钱不用花

[!abstract] 速览

  • 它干的事情特别直接:把 Google Colab 的云端显卡(最高 96G 显存 + 177G 内存)和 30TB Google 云盘,通过加密 SSH 隧道直接接到你的 Mac 桌面上。
  • 吃算力的生图、生视频、3D 渲染全在云端跑,留给你自己的,是一个干净顺手的 Mac 原生个人创作工作台 💻⚡。
  • ✅ 生图不按张收费 💰。✅ 生视频不按条买积分 💰。✅ AI 配音和 3D 世界生成也放进了同一个工作台 🎯🏆。
  • 显卡专心画图跑视频,内存顺手把配音干了,互不抢资源。
  • 声音、图片、视频、3D 世界全在一个桌面工作台里搞定。
WorldForge 宣传图:左侧写着「生图、生视频,一分钱不用花」,右侧是 Mac 客户端界面里四宫格排布的生成图片

炸了,分享一个刚搓出来的开源 AI 神器 🔥🔥🔥🔥🔥

前两天算了一笔账。做 AI 图片和视频,最贵的其实不是软件,是废片 😭。

生图开个 Midjourney,一个月 60 美元。生视频再去开 Runway,或者给可灵、海螺充积分。平时出片勤一点,一个月光买积分又是小一千 😮‍💨。

最肉疼的是抽卡机制:提示词没写准,扣钱;人物手指崩了,扣钱;视频镜头跑偏了,还是照样扣钱 🫠💀。真要自己配一台不爆显存的大显存机器,预算直接奔着三四万去了。

干脆自己动手搓了个开源项目:WorldForge(世界工坊) 🚀🚀🚀。

[!info] 开源仓库
📌 开源仓库 🔗:https://github.com/designfuchen/worldforge

它干的事情特别直接:把 Google Colab 的云端显卡(最高 96G 显存 + 177G 内存)和 30TB Google 云盘,通过加密 SSH 隧道直接接到你的 Mac 桌面上。吃算力的生图、生视频、3D 渲染全在云端跑,留给你自己的,是一个干净顺手的 Mac 原生个人创作工作台 💻⚡。

✅ 生图不按张收费 💰。✅ 生视频不按条买积分 💰。✅ AI 配音和 3D 世界生成也放进了同一个工作台 🎯🏆。

[!warning] 「不用花钱」的口径
这里的「不用花钱」指 WorldForge 不按张或按条收费。我用的是已有的 Google AI Ultra 订阅。生成仍会消耗 Colab 算力,能分到哪块 GPU、能跑多久,要看账号额度和当时的资源。

WorldForge 宣传图:标语「炸了,这个开源神器 生图生视频,统统不要钱」,配 2K 电影生图 ¥0、1080p 视频 ¥0、AI 语音合成 ¥0 三个标签,以及 ARRI Alexa 65 · 85mm f/1.2、Cooke 40mm 变形宽银幕、Lyra 2.0 · 3D 世界生成、Breeze-TTS-2 零显存云盘配音四个示例格

1.1. 我最想省掉的,是来回折腾 😮‍💨

以前做一条完整的视频,工具全是散的。生图开一个网页,图生视频换另一个网页,配音再去开第三个网站。生成完挨个下载,最后回剪辑软件里满文件夹找文件 🙃。

[!warning] 传统网页版 Colab 的代价
如果用传统网页版 Colab 自己跑开源模型,体验更折磨:浏览器切个后台就断连,每次重启会话,几十个 G 的模型权重又得重新拉一遍,光等下载就要二十多分钟 😭。

WorldForge 直接把这套流程改成了单线闭环。你坐在 Mac 前点按钮,后台通过 SSH 隧道直连云端显卡,生成的图片、视频、音频自动回传到桌面 ⚡⚡⚡。

1.2. 左边只填三步,中间看大图,右边管素材 🎯

WorldForge 工作台全窗口截图:左侧是生图模型选择与预设面板,中间叠着 Colab 显存监控、4 级存储金字塔和实时终端日志,右侧是素材库缩略图网格

我很讨厌满屏幕参数和面条连线的界面 😅。所以 WorldForge 整个窗口就分成了左、中、右三栏。左边负责生成,操作收成了固定三步:

1.2.1. 选模型

内置了 Qwen-Image 2.1 Turbo、FLUX.1、Wan 2.1 14B、MiniMax-H3 等生图和视频模型,点一下就能切换。想加 HuggingFace 上的新模型,点右上角「+ 添加模型」,输入名字就能直接拉进云盘 🆕。

1.2.2. 写一句大白话

不用背几百个英文权重词。比如你只写一句「一位绝美少女回眸」,点一下旁边的「电影级扩写」,系统会自动补全光线、景深和胶片细节。下面还直接放好了 8 个经典电影场景预设:《情书》樱花逆光、《花样年华》暗夜雨窗、《沙丘》丁达尔丝绸、《千与千寻》万灯水乡、《天空之城》浮空古树。点一下就能直接拿来出图 💯。

《情书》樱花逆光预设生成的剧照:逆光下的少女站在樱花与木质站台之间,背景有黄色电车与落日光斑

1.2.3. 选一台电影摄影机

很多人觉得开源模型出的图有塑料感,其实差在光学镜头描述上。我在第三步直接内置了 6 套专业电影摄影机预设,下面挑 5 套举例 🏆:

预设 摄影机与镜头
岩井俊二·黄金逆光柔焦 ARRI Alexa 65 + Canon FD 85mm f/1.2L + Black Pro-Mist 1/4 黑柔滤镜
王家卫·暗夜霓虹变形宽银幕 ARRI Alexa Mini LF + Cooke Anamorphic 40mm T2.0
迪金斯·丁达尔黄金史诗 IMAX MSM 65mm + Panavision Sphero 65
徕卡夜神·f/0.95 刀锐奶化 Sony Venice 2 8K + Leica Noctilux-M 50mm f/0.95
新海诚·暮光云海星芒镜头 Panavision DXL2 8K + Ultra Panatar 1.3x

点选摄影机之后,按左下角的「立即生成」,几秒钟就能直出带胶片高光溢出和真实光学散景的 2K 剧照 🔥🔥🔥。

王家卫暗夜霓虹预设生成的剧照:黑发女子倚在雨夜霓虹窗前,前景是暖色台灯,青绿霓虹在玻璃上晕开

生成好的图直接显示在正中间的大画布上。看中哪张图,点底部按钮就能直接「用此图生视频」,或者调用英伟达 Lyra 2.0「用此图生 3D 世界」 🤯。

用此图生 3D 世界的分帧预览:8 帧浮空古城与石拱门画面依次排列,每帧标有 Frame 编号与 16:9 比例

最右边一整列是常驻的「素材库」。不管是图片、视频还是配音,生成完自动归档到这里,最新生成的永远排在最前面,再也不用去文件夹里翻半天了 ✅。

1.3. 30TB 云盘 + 177G 内存 + 0 显存配音是怎么配合的 💥💥💥

如果你手里有 Google AI Ultra账号,这套工具能把你的隐藏权益彻底榨干。我们把云端硬件分成了四层来用 📈:

云端资源 规格 用途
Google Drive 云盘 最高 30TB 当永久模型金库。几百 GB 的生图和视频大模型只用下载一次,以后永久保存在云盘里,断连重启也不用重下。
主机内存 最高 177GB DDR5 当热备缓存池。暂时不用的模型退到内存里,再切回来时就不用从云盘重新加载 ⚡。
/dev/shm 内存盘 88GB 视频合成和高速读写全部走内存盘,不卡磁盘 IO。
GPU 显存 最高 96GB 100% 留给当前正在跑的生图或视频大模型 🔥。

[!tip] 0 显存配音
至于配音,项目里集成了 Breeze-TTS-2 中文语音模型。它的 7.16GB 权重直接放在 Google 云盘上,运行时加载到 177GB 主机内存里用 CPU 推理。GPU 显存占用是 0 MB 🎯。 显卡专心画图跑视频,内存顺手把配音干了,互不抢资源。

1.4. 三步把工作台跑起来 🚀🚀🚀

打开 Mac 终端,执行下面三行命令就能启动 👇:

git clone https://github.com/designfuchen/worldforge.git

cd worldforge

python3 -m forge --port 7788

服务启动后,在浏览器打开 http://127.0.0.1:7788 即可进入工作台。想用原生客户端的话,在 Apple 芯片 Mac 上准备好 Swift 编译工具,再打开一个终端,进入同一个 worldforge 目录,执行下面两行:

bash macos_app/build_macos_app.sh

open dist/WorldForge.app

云端生成还需要在工作台连接可用的 Colab GPU 会话。

生图不用再按张买会员,生视频不用再心疼废片扣积分 💰。声音、图片、视频、3D 世界全在一个桌面工作台里搞定。

代码已经全部开源,觉得有用的话欢迎去 GitHub 点个 Star ⭐⭐⭐ 支持一下 🫡🙏❤️‍🔥🤝

📌 开源仓库地址 🔗⬇️:https://github.com/designfuchen/worldforge