字节上新Seedance2.0视频模型,一觉醒来AI又变天了
靠北啦,字节又搞事情了,一觉醒来发现最新的Seedance2.0视频模型悄咪咪上了。
目前即梦平台仅部分灰度测试的用户可以体验到,但旗下的小可爱小云雀APP却是直接支持抢先内测了呀。
还等什么铁子们,老马火速更新了一下手机上的小云雀APP,一重启就看到了醒目的“沉浸式短片 Seedance2.0”提示,如图:
原汁原味应该错不了,是字节刚上新的Seedance2.0视频模型了,没下载过小云雀APP,或者没更新到最新版的小伙伴,可以去下载更新一下。
早有传闻,字节在春节前后会更新一系列模型,包括语言模型Seed2.0,图片模型Seedream5.0,以及视频模型Seedance2.0。
没想到来得这么快,昨晚已经有社群的小伙伴们提前测了一波,直呼天又塌了,Seedance2.0的视频生成能力提升很明显。
老马是睡醒后才发现这AI又变天了,AI博主圈子里的都是变态来的,都不睡觉的,卷死一个算一个。
到底Seedance2.0这波能不能打,老马将从几个维度替各位小伙伴先测试一波,大家也可以跟上玩一玩。
对了,Seedance2.0后期正式开放之后,像即梦所有的用户,以及豆包的用户肯定都能用上,就是生成一条视频价格不便宜,大约消耗30积分,约莫3块钱。
但是实际用下来,老马发现小云雀的积分消耗有点魔幻,有时候甚至一条10秒的视频,会扣掉80积分,搞不懂。
豆包没记错一个普通用户每天是送100积分,换算下来就能用Seedance2.0生成三条视频。
复杂动作与镜头生成
老马之前复刻过一个抖音网红陶阿狗君的短视频,是一段在地铁扔手机的特效变换,尝试过使用首尾帧的方式,效果不是很好。
就是背身奋力朝着镜头丢过去一部手机的动作很难复刻,还有手机屏幕上显示手掌张开旋转的镜头同样实现不了,原视频如下:
视频预览地址:
https://www.majiabin.com/AI/Seedance2.0/taoagou.mp4
现在老马就尝试一下,使用小云雀上的Seedance2.0模型看看复刻效果如何。首先在小云雀点击进入“沉浸式短片 Seedance2.0”,页面如图:
有3次免费试用Seedance2.0模型的机会,试用后就需要消耗积分使用了。它这里底部菜单就有一个抖音的复刻功能,你只需要复制一下你想复刻的抖音视频链接,填入进去解析链接就能实现一键复刻了,如图:
解析抖音的视频链接后,默认会生成一段提示词,然后进入视频生成流程。视频生成的速度不算太快,需要等待5分钟,最终复刻效果如下:
视频预览地址:
https://www.majiabin.com/AI/Seedance2.0/taoagoufuke.mp4
卧槽,惊呆了,可以说复刻还原程度9成以上,先不说人物、场景参考原视频生成得还不错,那个扔手机的动作就搞定了,虽然手掌旋转没一比一复刻,但也换了另外一种镜头实现了场景的转换。
Seedance2.0在打斗、运镜等复杂场景中,能生成具有合理节奏、连续动作、专业镜头调度(推、拉、绕等)和打击感的视频,如同“有导演在调度”,再来生成一个90年代香港邵氏电影风格的武打视频试试:
视频预览地址:
https://www.majiabin.com/AI/Seedance2.0/90wushu.mp4
夭寿了,实在找不到词语形容这个效果,这不比Sora2强多了,Sora2很大一个问题是模型不太理解物理世界,导致一些打斗的动作生成比较生硬,不是很自然。
而Seedance2.0明显拉开了一个层次,视频场景、人物、配音抛开不说,整套武打动作行云流水,打击真实感十足,最后那一个拉近人物眼睛的运镜,堪称点睛之笔。
跨风格写实动漫混合生成
Seedance2.0能稳定生成并混合写实、动漫、短视频滤镜等多种风格,并能准确传达画面情绪与氛围。
比如老马生成一个真人人类小孩,跟一只卡通风格的小熊,一起去郊游的视频:
视频预览地址:
https://www.majiabin.com/AI/Seedance2.0/jiaoyou.mp4
这以后孩子教育类的动画片,卡通片都能自己用AI手搓了,写真跟动漫都能完美融合,还需要CG动画设计师干嘛。
漫剧的生成同样很令人惊喜,只能说以后AI生成的漫剧,基本上已经很难分辨出来是由AI生成的了。除了目前字幕的中文文字不大行之外,画面配音都很到位:
视频预览地址:
https://www.majiabin.com/AI/Seedance2.0/anheimanhua.mp4
就这效果,你只要把分镜图跟提示词弄好,控制好一致性,整部AI漫剧的质量是要翻番的节奏。
实测下来还发现个小问题,小云雀是有违禁词跟IP过滤的,也就是一些知名的动漫角色IP不让生成,比如什么钢铁侠、蜡笔小新啥的,这点就跟Sora学了,好的不学坏的学,哼!
音画情绪分镜脚本生成
不仅是漫剧,涉及到真人情感表演,Seedance2.0也能将台词、字幕、声音情绪与画面进行整体性交付,声音更具表演性,字幕节奏更贴近短视频,减少了音画割裂感。
有一说一,字幕是生成了,节奏也是对的,唯一的缺陷还是中文文字渲染的问题,存在错别字或扭曲乱码的情况,这块要是解决了,那简直就是完美。
所以,AI生成短剧的质量也将迎来翻番的提升,比如下面老马简单做了一个片段,讲述霸道总裁爱上绝经的我:
视频预览地址:
https://www.majiabin.com/AI/Seedance2.0/badaozongcai.mp4
上面视频中人物的情绪表达、动作表情、声音画面都很难让你想到,这是AI生成的,倒更像是我们在抖音上刷到某部短剧的切片视频。
为了进一步拷打Seedance2.0对于情绪表演的掌控,老马增加了点难度,让一个女人在十几秒的时间内同时演绎出喜怒哀乐的情绪变化:
视频预览地址:
https://www.majiabin.com/AI/Seedance2.0/nvrenkuqi.mp4
真实感拉满了吧,不知道你以为又在看什么泡沫言情剧了吧。这效果比专注于表演视频AI生成的Gaga要好一点,主要是有运镜,配音配乐也到位。
Seedance2.0还支持上传分镜头脚本或九宫格分镜图,直接生成符合导演意图的完整视频,极大降低了专业视频制作的门槛。
老马准备了一张动漫的九宫格分镜图,加上每个镜头的描述提示词,创作了一个短剧的片段,描述女人得知丈夫出轨后的反应,九宫格分镜图如图:
将九宫格分镜图作为参考图,生成后的视频如下:
视频预览地址:
https://www.majiabin.com/AI/Seedance2.0/hanguodongman.mp4
阿西吧,这配音好像是韩语吧,反正听不懂,画面都参考到了,保持一致了就行。
现实真人内容生成
在美女变装、跳舞、女团MV等对细节要求极高的短视频领域,Seedance2.0生成的内容在观感和镜头语言上已非常接近真人作品,容易让观众误认为是真人拍摄。
老马上传了一张自己的真人写真形象照,加上一段跟韩国女团美女一起跳舞的提示词,生成后视频如下:
视频预览地址:
https://www.majiabin.com/AI/Seedance2.0/zhenrentiaowu.mp4
怎么说,效果个人很满意,发朋友圈又能装到一波,又够朋友们想半年,这小子啥时候混上韩圈了。
说到现实的场景,监控画面是大家最常见的了,但最近有一家便利店就发生了一件诡异的事情,居然有只小狗过来买烟,不信你看:
视频预览地址:
https://www.majiabin.com/AI/Seedance2.0/xiaogoumaiyan.mp4
Seedance2.0总体而言,应该说已经赶上了Sora2和Grok的视频生成效果,甚至在动作方面表现更好,没有前者那么生硬和违背物理常识。
豆包这回又站起来了,不对,是字节系又站起来了。大模型的圈子是真的卷,今年春节又有不少热闹可以看了,值得欣喜的是,国产模型越来越强,咱们就不用一直看老外的脸色了。
好了,以上就是今天的分享,欢迎关注、点赞、转发一键三连。有任何问题和需求,请在评论区留言,回见!
对了,老马最近刚创建了一个AI学习交流群,有兴趣进群的小伙伴可以添加老马微信号:immajiabin,添加好友时备注:进群。


