教你用WorkBuddy写代码生成动画视频
今天要给大家介绍的方法,不是常规的采用AI生视频模型,去生成动画视频。而WorkBuddy也有内置的VideoGen视频生成能力,这就是调用AI生成视频模型的,需要消耗更多的积分。
对于很多场景下的视频生成,比如科普、教育、软件功能演示、动画讲解、产品广告等,可以不需要用到AI视频模型去生成视频。
目前市面上已经有使用代码去生成React动画场景,再一帧帧渲染成MP4视频。你可以这么去理解,就是写一堆网页代码,每一个网页就是一页画面。然后由无头浏览器逐帧截图,再用ffmpeg合成视频。
说到这里有小伙伴就会有疑问了,按这种方式不是最终只合成了视频画面,但没有视频声音啊?是的,你理解得没错,声音包括背景BGM,以及人声说话的配音。
这两种声音还是得依靠声音模型去生成,比如生成音乐的模型,TTS生成人声说话的配音,这点老马待会在演示实操的时候,会具体提到怎么去解决。
那么接下来请出今天的主角:Remotion,跟它一样的网页代码生成视频框架还有HyperFrames,由HeyGen出品,目前市面上主流的就这两家。
Remotion的技术原理,前面老马已经给大家介绍了个大概,就不再深入了,深入了其实也没意义,你又不是开发者的情况下,只管用好工具就行了。
01 · INSTALL & CREATE
在WorkBuddy上要使用Remotion来生成动画视频,我们可以去安装一些现成的Skill。
打开WorkBuddy上专家技能连接器,切换到技能,在右上角直接输入Remotion进行搜索即可:
从搜索结果中可以看到,推荐的Remotion的Skill技能只有一个,叫Remotion视频创作。但是在SkillHub里面,还有非常多Remotion相关的Skill,或者是细分的Skill。
它们的底层技术都是一样的,老马建议你就直接安装Remotion视频创作这个Skill就行了。当然,老马接下来演示的Skill是叫Remotion Video Generator,它更偏向于广告视频的创作。
无所谓的,这些Remotion的Skill用法与作用都差不多的。安装好Skill之后,你就在WorkBuddy里面新建个任务,可以创建个工作空间来保存生成的文件,模型可以选择GLM-5.3-Flash,老马一直推荐这个。
然后在对话框左下角点击+号按钮,切换到技能,找到你安装的Remotion的Skill,点击使用,接着输入你要生成的视频要求或者提示词即可。比如老马这里是要求它做一个宣传咖啡的广告短片:
第一版的咖啡广告宣传动画视频做出来,是没有任何视频声音的。Remotion只是先把画面效果呈现出来。当然也没有字幕,你可以进一步调整好画面:
等画面调整完毕了,文字动效啥的都符合你的要求。下一步你再发送要求,让WorkBuddy去给视频配上BGM背景音乐,以及配上真人感人声说话的配音:
重点说一下TTS(文字生成语音)的真人感配音,这方面WorkBuddy它其实会自动去搜索可用的配音工具,比如微软的Edge TTS,但好像是说微软今年关掉了匿名生成的通道。
微软没法用之后,WorkBuddy又切换到了TTSMaker的网页合成,以及喜马拉雅音剪AI。前者需要打开浏览器,后者需要注册账号登录后获取API Token。
所以你可以按照WorkBuddy的指示去操作,最好的方式当然是接入API的形式,像喜马拉雅音剪AI一样。真人感的配音,基本上都得用到第三方的模型API接入,这样配音出来的效果,才没有那种机器人说话的机械感。
02 · API INTEGRATION
除了WorkBuddy推荐的方式,我们其实还可以去火山引擎这样的AI模型服务平台。
注册一个账号,充点钱,然后开通豆包的语音合成2.0服务,然后把API地址和API Key发给WorkBuddy进行配置接入:
这样就能调用豆包的语音合成,选择自己喜欢的音色,去合成生成真人感的配音了。同样的,除了火山引擎,类似的模型服务平台还有阿里云百炼、腾讯云等,你可以参考价格之后再决定选择哪一家。
由于这些模型服务平台的网站设计千差万别,里面的菜单导航更是相对复杂。如果你实在不知道从哪里去获取API地址和API Key这些信息,可以直接在平台上找文档,把产品文档的网址链接丢给WorkBuddy。
让WorkBuddy去访问读取了解产品文档,最后告诉你具体的获取操作路径。老马有时候就是这么干的,懒得去网站上找来找去,翻来看去的,就直接把文档丢给Agent,让Agent给出答案。
∞ · POSTSCRIPT
记住了,这只是动画视频,适合使用的场景文章开头已经讲过了。而且生成这种动画视频,只消耗WorkBuddy的积分,也就是只消耗token,并不像AI视频生成模型那样,需要消耗视频生成的算力或额度。
因此,最终的视频效果,请别跟什么Seedance2.5生成的视频效果进行对比,那是纯属不讲道理。两码事,不能相提并论,你得搞清楚自己的应用场景。
别想着说,我要用Remotion来制作AI短剧漫剧,制作真人视频,特效视频啥的。你不是在搞笑,就是还没理解清楚Remotion的技术原理,以及应用场景。老马再废话,就有点讨人厌了。
好了,以上就是今天的分享。欢迎关注、点赞、转发一键三连。有任何问题和需求,请在评论区留言,回见!


