Muse+无限画布实操,从角色图到视频成片(保姆级教程)

图像

之前我就发过 Muse 生成的视频。当时让我意外的是,它已经能做出挺像样的视频,而且账号还有免费额度可以用!!!

10月1日

Muse 文生视频效果挺惊艳的,关键是免费啊!!!

所以这次,我想再往前试一步,让 Codex帮我把 Muse 接进无限画布,从搭建工具、写剧本和分镜,到生成图片、视频,看看最后能做出什么。

图像

一、先看这次做出了什么

这段《别开门》,就是这次折腾出来的结果。两位角色,一个雨夜破庙的场景,三个镜头,最后拼成了一段带剧情字幕的小样。角色图、分镜首帧和对应的视频,也都保留在了同一个画布工程里。

图像

说实话,虽然有瑕疵,但Muse给出的结果已经很惊艳了。

我这次想验证的事情也很具体。一个没有视频制作经验的人,能不能通过给 Agent 提需求、看结果、继续反馈,把几种工具组合起来,完成这样一次创作。

二、我、Codex、Muse 和画布,各负责什么

先把分工讲清楚,后面的过程就容易理解了。

我负责提出目标、看效果、纠正方向,以及确认哪些任务需要重试。

Codex 负责安装和接入工具,编写剧情、角色设定与分镜提示词,搭建画布节点,再编排生成任务。

Muse 负责生成图片和视频。生成任务在 Muse 网页里也能找到对应记录。

无限画布负责保存素材和参考关系,组织工程与时间线。这次我用的是 BeefTV。

图像

中间还用了一个叫 muse2api 的第三方桥接项目,把 Muse 网页端的生成能力接到本机工作流。它是连接工具,生成仍然使用我的 Muse 账号。

比如,画布中有一个生图或视频任务,muse2api 会把提示词、参考图片等请求转交给 Muse,等待生成完成,再把结果返回给画布。这样,任务可以由 Codex 编排,生成交给 Muse,产物继续留在画布工程里。

muse2api 本身负责连接和转交,图片、视频仍由 Muse 生成,消耗的也是我自己账号的可用额度。它是第三方接入方式,不是 Muse 官方提供的免费 API。

项目地址:https://github.com/czg86389-hub/muse2api

图像

三、我是怎样让 Codex 做出来第一步

1️⃣.完成工具搭建:

我最初是看到别人演示 Muse+无限画布,想在自己的电脑上试一遍。我告诉 Codex,画布参考 BeefTV,我已经有 Muse 账号。

随后选择了“直接安装 BeefTV,接入 Muse”。后面的安装、接口检查和视频接入适配,都由 Codex 处理。

我按它的提示配合完成工作区连接配置,账号接入也在本机处理。这次视频接口的请求格式并不直接匹配,Codex 还做了适配。这也是我让 Agent 协助搭建的原因,具体的技术问题可以交给它检查和处理。

如果你也想试,可以把下面这段按本次过程整理的指令交给 Agent:

“我有 Muse 账号,想把它的图片和视频生成能力接进本地无限画布,画布先用 BeefTV。请读取 BeefTV 和 muse2api 的当前文档,检查我的电脑环境和接口兼容情况,告诉我需要配合哪些步骤,再帮我完成接入。保留已有项目与配置,先验证一张图片,再验证一个视频任务。生成会使用我的账号额度,提交前让我确认,失败后先排查原因。”

BeefTV 项目:https://github.com/glanderness/BeefTV

软件版本和账号状态会变化,接入时要让 Agent 检查当前情况。这段指令是复用起点,具体步骤以它读到的文档和你的电脑环境为准。

2️⃣. 让它自动建画布,做一次实际测试:

接通以后,我让 Codex 自动建一个画布,先跑文生图、图生视频,全程使用 Muse 的模型。第一轮,它做了一组咖啡广告测试,包括产品图、海报和一段视频。提示词、参考素材与结果都留在了画布中。

看完以后,我发现还没到自己想展示的方向,于是继续给它反馈。“我希望要的是真人漫剧型的那种。”我还补充,希望有真实的画布工作流,方便录视频展示。

图像

这里我做的就是看结果,再把要求说得更具体。想做什么内容、准备怎么展示,这些仍然需要我来决定。

3️⃣.让 Codex 把新要求做成工程:

收到反馈以后,Codex 创建了《别开门》的画布。剧情、角色文字设定和分镜提示词由它编写,再通过 Muse 生成两位角色的定妆图、一张场景图、三张分镜首帧和三段视频。过程可以顺着这张真实画布看。

图像

左侧是角色和场景,中间是三个镜头的首帧,右侧是对应的视频和成片预览。角色图与场景图参与分镜首帧生成,首帧再作为视频的参考输入。这里的连线对应实际传递的参考素材。

这一步对我有用的地方是,生成过程和结果都保留在一个工程里。某个镜头不满意,可以回到它使用的参考图、提示词和任务记录,找到要改的部分。这次双人镜头的首帧第一次超时。Codex 询问后,我确认只重跑这一张,另外两个已成功镜头的素材继续保留。

4️⃣.去 Muse 页面核对生成记录:

我后来查看了 BeefTV 和 Muse 上的记录,发现这些任务确实都在 Muse 上生成,对应的图片、视频记录都能找到。下面是当时的真实页面。

图像

页面中能看到上传的双人参考图、动作要求和返回的视频,可以和画布中的结果对照起来。

我当时还问了 Codex,脚本、人物和分镜是不是它创建的。核对后的分工就是前面说的那样,Codex 做编排,Muse 做生成,画布管理素材并组织成片。

5️⃣.整理镜头,得到成片:

最后,三个镜头进入本地时间线,加上剧情字幕,拼成了开头那段 18 秒小样。工程里也保留了可编辑时间线和对应素材。

整个过程中,我没有自己编写剧本,也没有手工逐个设计分镜。我主要通过提出目标和反馈,推动 Codex 把这次尝试做完。

四、这次用下来,我觉得它的价值在哪里最直接的感受

没有视频制作经验,也可以先提出一个具体目标,让 Agent 帮忙搭建工具、准备内容,再通过看结果和持续反馈推进。

Muse 在这次任务里同时完成了图片和视频生成,分镜首帧可以继续用于视频。账号当时的可用额度,也让我愿意多做一些尝试。画布则让我能同时看到角色、分镜和视频之间的关系。

除了播放最终结果,我还可以回到工程,检查某个镜头是怎样生成的。这次使用的是 BeefTV。换其他画布时,需要分别检查素材导入、参考关系、模型接入和剪辑能力,具体接法不能直接照搬。

图像

当然,这段小样还有局限。人物的小痣、疤痕和门窗位置存在漂移,也没有制作配音口型。生成任务可能失败,返回的结果仍然需要检查和挑选。

文中说的免费,限定为我自己 Muse 账号当时可用的额度。它不代表无限次生成,也不能直接把 token 数换算成能做多少段视频。

如果你也想试,先让 Agent 帮你跑通一个镜头。确认图片能生成、首帧能用于视频任务、结果能回到画布,再让它继续扩成多镜头工程。

接下来我还想试试更长的剧情、配音和口型,看看这套流程能走多远。你最想用它做什么样的内容?可以在评论区告诉我,呼声高的我优先折腾出来。

如果这篇对你有帮助,欢迎点赞、转发、收藏,也可以关注我,后面会继续分享 Muse 和 Agent 的实战玩法。

好了,这就是本期所有内容。如果你对 Muse 的其他玩法感兴趣,可以看看这篇:

10月8日