半自动化生成AI视频:我决定把自己做的工作流网站开源了
1. 半自动化生成AI视频:我决定把自己做的工作流网站开源了
[!abstract] 速览
- 这个网站是我之前为了做视频,用AI一点点开发出来的。
- 故事类短视频、剧情带货视频,以及口播长视频。
- 8月份我们有条视频跑了一亿多播放,就是这个工作流网站出的。
- 现在,我的业务重心主要在中长剧上。
- 这次准备开源的,是一个来自我过去业务实践、目前没有持续维护的项目。
- 这个情况,我觉得应该先说清楚。
这个网站是我之前为了做视频,用AI一点点开发出来的。
只是,现在我的业务重心已经转到了中长剧上。工作流程改变了,原来的就用不上,代码也已经相当长一段时间没有维护过。
所以,前几天发帖,看到还有人感兴趣,我就想,那把它开源出来吧。
这件事的起因就这么简单。
不过,在开放之前,我想先讲讲它是怎么来的,能做些什么,以及它现在的情况。
1.1. 最开始,只是想让自己少折腾一点
做过AI视频的人,应该都能理解一种感觉:
[!quote] 当时的感受
工具用了不少,事情也没少做。
文案生成了,要拆成分镜。分镜有了,要去生成画面。画面出来了,还要挑选、整理,接着生成视频,再放到剪辑软件里处理。
每一步都有工具可以帮忙,可步骤之间那些来回搬运、复制和整理的工作,还是得自己做。
只做一条视频的时候,这些事不太显眼。一旦每天都要做,重复劳动就会变得很具体。
我当时在做YouTube Shorts视频,也做剧情带货。会去开发这个网站,首先是因为自己有这样的需要。
我想把那些反复出现的步骤串起来,让自己少折腾一点。
至于开发网站这件事,其实我一开始也没什么底。我就是个代码小白,根本不懂什么编程。
去年用AI做微信小程序,算是第一次发现,自己也有可能把脑子里的想法做出来。后来做工作流网站,也是类似的过程。
我描述需求,AI写代码。做出来以后,我自己看、自己试,哪里不对,再继续改。
[!quote] 一个代码小白的底气
代码我未必看得懂,可工作里的问题,我是知道的。
什么步骤每天都得做一遍,哪些东西应该放在一起,生成出来的结果能不能接着用,这些都有实际工作可以对照。
所以,这个网站最早的需求,基本就来自我自己的视频生产过程。它慢慢有了文案、分镜、图片、视频生成,以及导出剪辑草稿等环节。
回头看,我觉得这也是普通人用AI做工具比较容易开始的地方:先找一件自己已经做过很多遍、又确实觉得麻烦的事。
至少,你知道它到底麻烦在哪里,也知道改完以后有没有变好。
1.2. 这个网站,主要用来做三类视频
具体来说,原来的网站主要用来做三类内容:
故事类短视频、剧情带货视频,以及口播长视频。
| 视频类型 | 主要环节 |
|---|---|
| 故事类短视频 | 复刻或改编对标视频 → 生成故事选题、大纲和剧本 → 配置人物、环境、语言 → 生成分镜、角色图、场景图 → 视频 |
| 剧情带货视频 | 商品、角色、脚本、爆款元素组合 → 生成剧情带货内容;支持输入完整剧本进行转换 → 约束商品出场、品牌表达和购买引导 |
| 口播长视频 | 生成选题与文案,结合文风创作 → 生成或上传音频,获取 ASR 时间码 → 按标点或智能时长切分分镜 → 对应画面 |
1.2.1. 故事类短视频
主要功能模块是复刻或改编对标视频,生成故事选题、大纲和剧本;配置人物、环境、语言等;继续生成分镜、角色图、场景图和视频。
8月份我们有条视频跑了一亿多播放,就是这个工作流网站出的。
1.2.2. 剧情带货视频
我之前做过视频号剧情带货,所以后面也将该类视频接入工作流里。
把商品、角色、脚本、爆款元素组合起来,生成剧情带货内容;也支持输入完整剧本进行转换;约束商品出场、品牌表达和购买引导。
1.2.3. 口播长视频
主要功能是生成选题与文案,结合文风创作;生成或上传音频,获取ASR时间码;按标点或智能时长切分分镜,生成对应画面。
这三类工作流,对应的是不同的内容需求。共同的思路是,把反复要做的步骤尽量接好,让人少花一点时间搬运和整理。
以上讲的是原网站的主要用途;开源之后,哪些能用,哪些有帮助,结合你们自身的业务判断。
至于内容本身,也是得自己看。
文案能生成,不代表故事好看。画面能生成,不代表适合这个镜头。素材齐了,也不代表剪出来的节奏就对。
故事讲得清不清楚,人物前后有没有变化,这个镜头该留多久,哪些地方需要重新做,最后还是得有人看。
[!warning] 流程跑得快,不等于内容好看
如果故事本身就没意思,流程跑得再快,也只是更快地做出一条没意思的视频。
我希望工具能省下重复操作的时间。省下来的时间,恰好可以拿来处理这些更需要判断的地方。
这也是为什么,我不会把这套工作流说成一套拿过去就能赚钱的方法。
它解决的是生产中的一部分问题。选什么内容、做给谁看、观众为什么愿意看下去,以及发布以后效果怎么样,这些问题仍然需要自己回答。
如果你刚好在做类似的视频,它里面的一些流程,可能有参考价值。
如果你想用AI编程做自己的工具,也可以看看,一个具体的业务需求是怎样被拆开,再放进网站里的。
至于到底适不适合你,还是要回到自己的工作里试。
1.3. 我现在用不上了,也有人想接着看看
现在,我的业务重心主要在中长剧上。
同样是做AI视频,内容的长度、画面的要求、故事的组织方式变了,对工作流的需求也会跟着变。
原来的那套流程,是围绕当时的业务做的。换了方向以后,我就逐渐用不上了,代码也没有继续维护。
这个情况,我觉得应该先说清楚。
这次准备开源的,是一个来自我过去业务实践、目前没有持续维护的项目。
不能因为我准备把它开放出来,就把它写成一套一直在更新的工具。
[!danger] 这是一个没有持续维护的项目
尤其是AI相关的东西,接口、模型和使用方式都可能变化。旧代码里哪些还能直接使用,哪些需要调整,要以实际测试为准。
当然,感兴趣和真正用得上,是两回事。
它能帮到什么人,能解决多少问题,现在没必要提前说得太满。
对我自己来说,做这个网站的经历倒是实实在在留下来了。
我以前不会开发网站,却通过 AI,把工作里反复遇到的问题,一点点做成了可以操作的东西。这个过程让我知道,以后再遇到类似的问题,我可以试着自己解决。
有些工具会随着业务变化慢慢不用了,做工具时练出来的能力,还会在下一次派上用场。
有相关需求的朋友,可以试试看。
[!info] 开源地址
https://github.com/zhangjiuyue/workflow-studio
如果对你有帮助,欢迎来评论反馈。