分享一个开源 AI 神器:生图、生视频、配音全齐了,一分钱不用花
1. 分享一个开源 AI 神器:生图、生视频、配音全齐了,一分钱不用花
[!abstract] 速览
- 它干的事情特别直接:把 Google Colab 的云端显卡(最高 96G 显存 + 177G 内存)和 30TB Google 云盘,通过加密 SSH 隧道直接接到你的 Mac 桌面上。
- 吃算力的生图、生视频、3D 渲染全在云端跑,留给你自己的,是一个干净顺手的 Mac 原生个人创作工作台 💻⚡。
- ✅ 生图不按张收费 💰。✅ 生视频不按条买积分 💰。✅ AI 配音和 3D 世界生成也放进了同一个工作台 🎯🏆。
- 显卡专心画图跑视频,内存顺手把配音干了,互不抢资源。
- 声音、图片、视频、3D 世界全在一个桌面工作台里搞定。
炸了,分享一个刚搓出来的开源 AI 神器 🔥🔥🔥🔥🔥
前两天算了一笔账。做 AI 图片和视频,最贵的其实不是软件,是废片 😭。
生图开个 Midjourney,一个月 60 美元。生视频再去开 Runway,或者给可灵、海螺充积分。平时出片勤一点,一个月光买积分又是小一千 😮💨。
最肉疼的是抽卡机制:提示词没写准,扣钱;人物手指崩了,扣钱;视频镜头跑偏了,还是照样扣钱 🫠💀。真要自己配一台不爆显存的大显存机器,预算直接奔着三四万去了。
干脆自己动手搓了个开源项目:WorldForge(世界工坊) 🚀🚀🚀。
[!info] 开源仓库
📌 开源仓库 🔗:https://github.com/designfuchen/worldforge
它干的事情特别直接:把 Google Colab 的云端显卡(最高 96G 显存 + 177G 内存)和 30TB Google 云盘,通过加密 SSH 隧道直接接到你的 Mac 桌面上。吃算力的生图、生视频、3D 渲染全在云端跑,留给你自己的,是一个干净顺手的 Mac 原生个人创作工作台 💻⚡。
✅ 生图不按张收费 💰。✅ 生视频不按条买积分 💰。✅ AI 配音和 3D 世界生成也放进了同一个工作台 🎯🏆。
[!warning] 「不用花钱」的口径
这里的「不用花钱」指 WorldForge 不按张或按条收费。我用的是已有的 Google AI Ultra 订阅。生成仍会消耗 Colab 算力,能分到哪块 GPU、能跑多久,要看账号额度和当时的资源。
1.1. 我最想省掉的,是来回折腾 😮💨
以前做一条完整的视频,工具全是散的。生图开一个网页,图生视频换另一个网页,配音再去开第三个网站。生成完挨个下载,最后回剪辑软件里满文件夹找文件 🙃。
[!warning] 传统网页版 Colab 的代价
如果用传统网页版 Colab 自己跑开源模型,体验更折磨:浏览器切个后台就断连,每次重启会话,几十个 G 的模型权重又得重新拉一遍,光等下载就要二十多分钟 😭。
WorldForge 直接把这套流程改成了单线闭环。你坐在 Mac 前点按钮,后台通过 SSH 隧道直连云端显卡,生成的图片、视频、音频自动回传到桌面 ⚡⚡⚡。
1.2. 左边只填三步,中间看大图,右边管素材 🎯
我很讨厌满屏幕参数和面条连线的界面 😅。所以 WorldForge 整个窗口就分成了左、中、右三栏。左边负责生成,操作收成了固定三步:
1.2.1. 选模型
内置了 Qwen-Image 2.1 Turbo、FLUX.1、Wan 2.1 14B、MiniMax-H3 等生图和视频模型,点一下就能切换。想加 HuggingFace 上的新模型,点右上角「+ 添加模型」,输入名字就能直接拉进云盘 🆕。
1.2.2. 写一句大白话
不用背几百个英文权重词。比如你只写一句「一位绝美少女回眸」,点一下旁边的「电影级扩写」,系统会自动补全光线、景深和胶片细节。下面还直接放好了 8 个经典电影场景预设:《情书》樱花逆光、《花样年华》暗夜雨窗、《沙丘》丁达尔丝绸、《千与千寻》万灯水乡、《天空之城》浮空古树。点一下就能直接拿来出图 💯。
1.2.3. 选一台电影摄影机
很多人觉得开源模型出的图有塑料感,其实差在光学镜头描述上。我在第三步直接内置了 6 套专业电影摄影机预设,下面挑 5 套举例 🏆:
| 预设 | 摄影机与镜头 |
|---|---|
| 岩井俊二·黄金逆光柔焦 | ARRI Alexa 65 + Canon FD 85mm f/1.2L + Black Pro-Mist 1/4 黑柔滤镜 |
| 王家卫·暗夜霓虹变形宽银幕 | ARRI Alexa Mini LF + Cooke Anamorphic 40mm T2.0 |
| 迪金斯·丁达尔黄金史诗 | IMAX MSM 65mm + Panavision Sphero 65 |
| 徕卡夜神·f/0.95 刀锐奶化 | Sony Venice 2 8K + Leica Noctilux-M 50mm f/0.95 |
| 新海诚·暮光云海星芒镜头 | Panavision DXL2 8K + Ultra Panatar 1.3x |
点选摄影机之后,按左下角的「立即生成」,几秒钟就能直出带胶片高光溢出和真实光学散景的 2K 剧照 🔥🔥🔥。
生成好的图直接显示在正中间的大画布上。看中哪张图,点底部按钮就能直接「用此图生视频」,或者调用英伟达 Lyra 2.0「用此图生 3D 世界」 🤯。
最右边一整列是常驻的「素材库」。不管是图片、视频还是配音,生成完自动归档到这里,最新生成的永远排在最前面,再也不用去文件夹里翻半天了 ✅。
1.3. 30TB 云盘 + 177G 内存 + 0 显存配音是怎么配合的 💥💥💥
如果你手里有 Google AI Ultra账号,这套工具能把你的隐藏权益彻底榨干。我们把云端硬件分成了四层来用 📈:
| 云端资源 | 规格 | 用途 |
|---|---|---|
| Google Drive 云盘 | 最高 30TB | 当永久模型金库。几百 GB 的生图和视频大模型只用下载一次,以后永久保存在云盘里,断连重启也不用重下。 |
| 主机内存 | 最高 177GB DDR5 | 当热备缓存池。暂时不用的模型退到内存里,再切回来时就不用从云盘重新加载 ⚡。 |
| /dev/shm 内存盘 | 88GB | 视频合成和高速读写全部走内存盘,不卡磁盘 IO。 |
| GPU 显存 | 最高 96GB | 100% 留给当前正在跑的生图或视频大模型 🔥。 |
[!tip] 0 显存配音
至于配音,项目里集成了 Breeze-TTS-2 中文语音模型。它的 7.16GB 权重直接放在 Google 云盘上,运行时加载到 177GB 主机内存里用 CPU 推理。GPU 显存占用是 0 MB 🎯。 显卡专心画图跑视频,内存顺手把配音干了,互不抢资源。
1.4. 三步把工作台跑起来 🚀🚀🚀
打开 Mac 终端,执行下面三行命令就能启动 👇:
git clone https://github.com/designfuchen/worldforge.git
cd worldforge
python3 -m forge --port 7788
服务启动后,在浏览器打开 http://127.0.0.1:7788 即可进入工作台。想用原生客户端的话,在 Apple 芯片 Mac 上准备好 Swift 编译工具,再打开一个终端,进入同一个 worldforge 目录,执行下面两行:
bash macos_app/build_macos_app.sh
open dist/WorldForge.app
云端生成还需要在工作台连接可用的 Colab GPU 会话。
生图不用再按张买会员,生视频不用再心疼废片扣积分 💰。声音、图片、视频、3D 世界全在一个桌面工作台里搞定。
代码已经全部开源,觉得有用的话欢迎去 GitHub 点个 Star ⭐⭐⭐ 支持一下 🫡🙏❤️🔥🤝
📌 开源仓库地址 🔗⬇️:https://github.com/designfuchen/worldforge