半自动化生成AI视频:我决定把自己做的工作流网站开源了

1. 半自动化生成AI视频:我决定把自己做的工作流网站开源了

[!abstract] 速览

  • 这个网站是我之前为了做视频,用AI一点点开发出来的。
  • 故事类短视频、剧情带货视频,以及口播长视频。
  • 8月份我们有条视频跑了一亿多播放,就是这个工作流网站出的。
  • 现在,我的业务重心主要在中长剧上。
  • 这次准备开源的,是一个来自我过去业务实践、目前没有持续维护的项目。
  • 这个情况,我觉得应该先说清楚。
手绘风标题图:左侧毛笔字写着我把 AI 视频工作流开源了,右侧是分镜纸、样片和胶片卷的线稿

这个网站是我之前为了做视频,用AI一点点开发出来的。

只是,现在我的业务重心已经转到了中长剧上。工作流程改变了,原来的就用不上,代码也已经相当长一段时间没有维护过。

所以,前几天发帖,看到还有人感兴趣,我就想,那把它开源出来吧。

这件事的起因就这么简单。

不过,在开放之前,我想先讲讲它是怎么来的,能做些什么,以及它现在的情况。

Workflow Studio 深色登录页:背景是分层的时间轴画面,右侧浮层为 PRIVATE BETA 登录框,含 Email、Password 输入框、青色 Sign In 按钮和 Request Access 链接

1.1. 最开始,只是想让自己少折腾一点

做过AI视频的人,应该都能理解一种感觉:

[!quote] 当时的感受
工具用了不少,事情也没少做。

文案生成了,要拆成分镜。分镜有了,要去生成画面。画面出来了,还要挑选、整理,接着生成视频,再放到剪辑软件里处理。

每一步都有工具可以帮忙,可步骤之间那些来回搬运、复制和整理的工作,还是得自己做。

只做一条视频的时候,这些事不太显眼。一旦每天都要做,重复劳动就会变得很具体。

我当时在做YouTube Shorts视频,也做剧情带货。会去开发这个网站,首先是因为自己有这样的需要。

我想把那些反复出现的步骤串起来,让自己少折腾一点。

手绘流程图:由左至右依次是选题、脚本、分镜、画面、视频、成片,末端画着剪刀和胶片盘

至于开发网站这件事,其实我一开始也没什么底。我就是个代码小白,根本不懂什么编程。

去年用AI做微信小程序,算是第一次发现,自己也有可能把脑子里的想法做出来。后来做工作流网站,也是类似的过程。

我描述需求,AI写代码。做出来以后,我自己看、自己试,哪里不对,再继续改。

[!quote] 一个代码小白的底气
代码我未必看得懂,可工作里的问题,我是知道的。

什么步骤每天都得做一遍,哪些东西应该放在一起,生成出来的结果能不能接着用,这些都有实际工作可以对照。

所以,这个网站最早的需求,基本就来自我自己的视频生产过程。它慢慢有了文案、分镜、图片、视频生成,以及导出剪辑草稿等环节。

回头看,我觉得这也是普通人用AI做工具比较容易开始的地方:先找一件自己已经做过很多遍、又确实觉得麻烦的事。

至少,你知道它到底麻烦在哪里,也知道改完以后有没有变好。

1.2. 这个网站,主要用来做三类视频

具体来说,原来的网站主要用来做三类内容:

故事类短视频、剧情带货视频,以及口播长视频。

手绘对比图:故事类短视频、剧情带货视频、口播长视频三条流程,每条各画三个环节的图标与标注
视频类型 主要环节
故事类短视频 复刻或改编对标视频 → 生成故事选题、大纲和剧本 → 配置人物、环境、语言 → 生成分镜、角色图、场景图 → 视频
剧情带货视频 商品、角色、脚本、爆款元素组合 → 生成剧情带货内容;支持输入完整剧本进行转换 → 约束商品出场、品牌表达和购买引导
口播长视频 生成选题与文案,结合文风创作 → 生成或上传音频,获取 ASR 时间码 → 按标点或智能时长切分分镜 → 对应画面

1.2.1. 故事类短视频

主要功能模块是复刻或改编对标视频,生成故事选题、大纲和剧本;配置人物、环境、语言等;继续生成分镜、角色图、场景图和视频。

8月份我们有条视频跑了一亿多播放,就是这个工作流网站出的。

YouTube Shorts 页面截图:紫发主角面露惊讶,画面叠着绿色描边字幕 NO,下方显示 1亿次观看

1.2.2. 剧情带货视频

我之前做过视频号剧情带货,所以后面也将该类视频接入工作流里。

把商品、角色、脚本、爆款元素组合起来,生成剧情带货内容;也支持输入完整剧本进行转换;约束商品出场、品牌表达和购买引导。

1.2.3. 口播长视频

主要功能是生成选题与文案,结合文风创作;生成或上传音频,获取ASR时间码;按标点或智能时长切分分镜,生成对应画面。

深蓝色工作流界面:镜头 01 至 04 四张关键帧卡片均标注已生成,卡片下方各有一段英文分镜描述,底部是四张黑白漫画风镜头缩略图

这三类工作流,对应的是不同的内容需求。共同的思路是,把反复要做的步骤尽量接好,让人少花一点时间搬运和整理。

以上讲的是原网站的主要用途;开源之后,哪些能用,哪些有帮助,结合你们自身的业务判断。

至于内容本身,也是得自己看。

文案能生成,不代表故事好看。画面能生成,不代表适合这个镜头。素材齐了,也不代表剪出来的节奏就对。

故事讲得清不清楚,人物前后有没有变化,这个镜头该留多久,哪些地方需要重新做,最后还是得有人看。

[!warning] 流程跑得快,不等于内容好看
如果故事本身就没意思,流程跑得再快,也只是更快地做出一条没意思的视频。

我希望工具能省下重复操作的时间。省下来的时间,恰好可以拿来处理这些更需要判断的地方。

这也是为什么,我不会把这套工作流说成一套拿过去就能赚钱的方法。

它解决的是生产中的一部分问题。选什么内容、做给谁看、观众为什么愿意看下去,以及发布以后效果怎么样,这些问题仍然需要自己回答。

如果你刚好在做类似的视频,它里面的一些流程,可能有参考价值。

如果你想用AI编程做自己的工具,也可以看看,一个具体的业务需求是怎样被拆开,再放进网站里的。

至于到底适不适合你,还是要回到自己的工作里试。

手绘卡通小人抱着黄色场记板向前走,旁边小桌上放着一只打开的黄色工具箱

1.3. 我现在用不上了,也有人想接着看看

现在,我的业务重心主要在中长剧上。

同样是做AI视频,内容的长度、画面的要求、故事的组织方式变了,对工作流的需求也会跟着变。

原来的那套流程,是围绕当时的业务做的。换了方向以后,我就逐渐用不上了,代码也没有继续维护。

这个情况,我觉得应该先说清楚。

这次准备开源的,是一个来自我过去业务实践、目前没有持续维护的项目。

不能因为我准备把它开放出来,就把它写成一套一直在更新的工具。

[!danger] 这是一个没有持续维护的项目
尤其是AI相关的东西,接口、模型和使用方式都可能变化。旧代码里哪些还能直接使用,哪些需要调整,要以实际测试为准。

GitHub README 截图:表格列出六个模块及具体内容,包括视频工作流、分阶段制作、创意资产库、独立创作工具、管理功能和草稿相关能力

当然,感兴趣和真正用得上,是两回事。

它能帮到什么人,能解决多少问题,现在没必要提前说得太满。

对我自己来说,做这个网站的经历倒是实实在在留下来了。

我以前不会开发网站,却通过 AI,把工作里反复遇到的问题,一点点做成了可以操作的东西。这个过程让我知道,以后再遇到类似的问题,我可以试着自己解决。

有些工具会随着业务变化慢慢不用了,做工具时练出来的能力,还会在下一次派上用场。

有相关需求的朋友,可以试试看。

[!info] 开源地址
https://github.com/zhangjiuyue/workflow-studio

如果对你有帮助,欢迎来评论反馈。