会说方言,情感表演能力强,豆包上线Seedance 1.5 Pro
这阿里的Wan2.6还没玩熟络,小豆包昨天又发布了最新的AI视频生成模型。
名字叫Seedance 1.5 Pro,技术细节就不跟大家扯了,网上一搜就有。
了解技术细节也没啥用处,毕竟对于大多数人来讲,能不能创作出好内容才最重要。
目前可以丝滑体验到Seedance 1.5 Pro的途径有两个,一个是即梦,一个是豆包APP。
打开即梦官网:
https://jimeng.jianying.com,在输入框的位置选择视频生成,然后模型选择视频3.5Pro即可,如图:
豆包APP则在底部菜单点AI创作,然后下面的照片动起来和视频生成,都可以看到模型1.5Pro的选择,如图:
还有一种体验方式是通过火山方舟平台,不过里面的指引很不明确,老马之前因为误操作无辜被扣费,就不推荐了。
Seedance 1.5 Pro的核心能力有以下三点:
1.音画高精同步:模型在唇形同步、多角色对话、分镜切换及音效匹配上表现优秀,支持生成影视级别的视频内容,能直接产出接近成片的素材。
2.中文及方言能力:支持多种语言(如英语、日语等),尤其在方言生成(如粤语、四川话、东北话等)上表现突出,是目前唯一能自然输出方言的模型。
3.情感表现力:能根据提示词精准演绎复杂情绪(如哭笑交替、愤怒等),声线、微表情和运镜细节丰富,适合短剧或广告创作。
下面通过实际的体验来看看生成的案例效果如何。
音画高精同步
蜡笔小新深情地唱歌,歌曲名称是《千年等一回》,歌词是:千年等一回等一回啊,千年等一回我无悔啊。是谁在耳边说,爱我永不变。只为这一句,啊哈断肠也无怨。歌曲节奏抒情悠扬
https://www.majiabin.com/AI/Seedance1.5pro/qianniandengyihui.mp4
需要注意的是,如果你想生成唱歌的视频,提示词中得写清楚歌词。包括多人对话也一样,每个角色说的台词都得写清楚。
不然的话,模型就会自由发挥,给你一通乱来了,最终导致唱的词不对,调调也不对,说话的人乱说。
左边的蜡笔小新说:海绵宝宝,中午我们去吃汉堡好不好?中间的海绵宝宝回答:好呀,我最喜欢吃汉堡了。右边的柯南说:能不能不吃汉堡,只吃薯条。
https://www.majiabin.com/AI/Seedance1.5pro/sanrenduihua.mp4
卡通形象可能大家对于音唇同步感受不是太深,在此有幸邀请到郭老师跟罗老师,给大家表演一段相声。
左边的郭德纲问:你觉得我俩谁能说得过谁?右边的罗永浩答:那肯定是我。左边的郭德纲疑惑地问:为啥呀?右边的罗永浩答:我做过锤子,一句话就能锤死你。
https://www.majiabin.com/AI/Seedance1.5pro/xiangsheng.mp4
分镜切换和音效匹配上,再次有幸邀请到了马保国老师,通过一段荡气回肠的太极拳为大家展示。
马保国老师正在打太极拳,中景、特写、远景丝滑切换,一气呵成
https://www.majiabin.com/AI/Seedance1.5pro/mabaoguo.mp4
中文及方言能力
老马对Seedance 1.5 Pro的方言能力很感兴趣,接下来主要演示粤语、东北话、四川话、陕西话四种方言。
都由同一个人物来发言,然后剪辑在一起,提示词的话大家就得注意了,你不能直接输入普通话文字。
而是需要先翻译成对应方言说话习惯的文字,比如这一句话:人生和电影不同,人生辛苦多了。如果你不出去走走,你就会以为这就是全世界。
翻译成粤语说话习惯后,就变成这样:人生同电影唔同,人生辛苦多咗。如果你唔出去行下,你就会以为呢就系全世界。
这就是为什么有些时候,用自己老家方言打字聊天,不懂我们方言的人看不懂。这里推荐大家用豆包翻译一下,如图:
你如果不翻译去生成视频,那出来的配音绝对是有普通话的成分,所以下面的提示词只是标准模板,使用时需要对应翻译:
美女用粤语说:人生和电影不同,人生辛苦多了。如果你不出去走走,你就会以为这就是全世界。
https://www.majiabin.com/AI/Seedance1.5pro/fangyan.mp4
瞧瞧,翻译后,那叫一个地道,妥妥的方言味这就对了。不得不说,Seedance 1.5 Pro挺能来活的。
情感表现力
影视级别的情感表现力,老马之前只在Gaga上体验过,不过人家的训练数据都是来自于影视剧,自然专业一些。
Seedance 1.5 Pro究竟能有什么程度的体现,我们从最基本的人类情绪表达上去测试看看就知道,所以先来四段表演,分别是喜怒哀乐。
喜
写实风格,专业女演员,面对镜头,眼睛弯成月牙,嘴角上扬露齿笑,双手轻捂脸颊,眼神明亮充满喜悦,背景干净明亮,无多余元素,镜头固定,全程正面特写。
怒
写实风格,专业女演员,正面特写,眉头紧锁,双目圆睁,牙关紧咬,双拳紧握,脖颈青筋微露,眼神凌厉带怒火,背景简洁,镜头固定,情绪饱满有张力。
哀
写实风格,专业女演员,正面近景,眼眶泛红,鼻尖微酸,嘴唇轻抿,眼泪在眼眶打转,眼神低垂带落寞,缓慢眨眼后泪水滑落,背景昏暗柔和,镜头固定。
乐
写实风格,专业女演员,正面特写,仰头爽朗大笑,眼角挤出笑纹,双手拍大腿,身体微微晃动,眼神轻松愉悦,背景明亮,镜头固定,笑容感染力强。
https://www.majiabin.com/AI/Seedance1.5pro/qinggan.mp4
奈何没文化,一句挖槽总结一下,无论是微表情,还是声音,基本都生成到位了,这以后都可以拿去拍短剧了。
通过对Seedance 1.5 Pro一通体验下来,老马的感受是国产模型越卷越强,虽然离王者还有点距离,但也不远了,值得期待未来的AI视频时代。
好了,以上就是今天的分享,欢迎关注、点赞、转发一键三连。有任何问题和需求,请在评论区留言,回见!


