OpenAI令人惊艳的文本生视频Sora究竟会带来哪些冲击?

来源:36氪 更新时间2024-02-18 12:32:12 点击数:

不约而同,同日出招。两个AI巨头在同一天各自放出了自己的AI新核武器,OpenAI的文生视频模型Sora又一次赢得了满堂彩。Sora的惊艳亮相,不仅碾压了诸多AGI视频同行,更有可能改变电影电视广告游戏行业的未来游戏规则。

谷歌新模式性能完胜

周四,谷歌突然发布了新一代多模态大模型Gemini 1.5 Pro,在与OpenAI的大模型之战中加速超越。这是业界迄今最强的大语言模型,最高可支持10,000K Token上下文,直接将性能提升到了百万级别,在性能上完全秒杀了OpenAI的GPT-4 Turbo。

百万级别Token意味着什么?谷歌AI项目负责人杰夫·迪恩(Jeff Dean)解释说,在Gemini 1.5 Pro百万级别上下文窗口支持能力下,用户可以完成复杂的内容交互,轻松解析整本图书、电影、播客,理解非常长的文档,甚至是数百个文件数十万行的代码库。

Gemini 1.5 Pro的发布,意味着谷歌在和OpenAI的军备竞赛中占据了强大的性能优势。相比之下,OpenAI的GPT-4 Turbo只能处理128k Token,而且近期更是出现了性能下滑的不利状况,直到上个月发布更新之后才有所改善。

然而,OpenAI并没有让谷歌独美。就在同一天,他们发布了文本生成视频的AI模型Sora,只需文本就能自动生成视频;继文本模型ChatGPT和图片模型Dall-E之后,OpenAI又开始颠覆视频领域。

相比谷歌Gemini 1.5 Pro基于数据性能的硬实力优势,Sora基于视觉美学的惊艳表现,显然更容易让人印象深刻,迅速成为了社交网站上的热点。

以假乱真细节惊艳

Sora到底惊艳在哪里?OpenAI展示了多段Sora制作的视频内容,光是这些片段,就已经足够让人大跌眼镜。OpenAI在官方博客中写道,Sora不仅可以理解用户的需求,还知道这些事物在现实世界如何存在。

只需要输入一段文本,Sora就能自动生成最长一分钟的高清视频。令人难以置信的是,Sora不仅可以准确把握用户文本中的复杂意思,并且还能分拆出不同的元素,将其转换为有具体创意构思的视频内容,看起来就像是专业导演、摄像和剪辑的作品。

一位戴着墨镜、穿着皮衣的时尚女子走在雨后夜晚的东京市区街道上,抹了鲜艳唇彩的唇角微微翘起,即便带着墨镜也能看到她的微笑,地面的积水映出了她的身影和灯红酒绿的霓虹灯;热闹非凡的唐人街正在进行舞龙表演,熙熙攘攘的人群目光都聚焦在跃动的彩龙身上,整个环境的喜庆氛围仿佛令人身临其境。

与此前的AI视频存在明显塑料感不同,此次Sora制作的视频在逼真度和艺术感方面有着显著差别:微微卷曲的人物头发,女人脸上的黑痣粉刺,地面积水倒映的霓虹光影,街头商贩摆卖的诸多食品,天空飘落的樱花细雪,细节的精细度几乎已经做到了以假乱真。

更令人惊讶的是,Sora视频在构图、色彩、创意和运镜方面,都呈现出明显的电影风格,无论是一镜到底还是多机位都可以无缝切换,甚至还有“演员”的表情神态,这是此前的文生视频产品所不具备的。OpenAI一出手就将整个AI视频行业提升了一个级别。

虽然Sora制作的视频还没有到完美的地步,仔细看还能看出“穿帮”之处,人物吃过的饼干甚至会完好无损,但在影像画质上已经较此前的AI视频有了质的飞跃,甚至有了电影的质感。而且,仅仅根据一段抽象的文字就能制作类电影的多镜头视频,这种语义理解和镜头运用能力更是接近了人类导演、摄像与剪辑的水平。显然,视频领域的ChatGPT时刻已经到来。

AI进化速度令人震惊

Sora发布之后,网络一片惊叹,几乎抢尽了Gemini的风头。AI的进化速度实在令人震惊。要知道,此时距离OpenAI推出ChatGPT,开启生成式AI时代,仅仅过去了14个月时间。直到去年,我们才刚刚熟悉文本生成图片的产品,而仅仅半年前,MidJourney创作的AI图片里还会出现六指人物。而现在,Sora的视频就已经让所有人开始感受到现实和虚拟的界限模糊。

虽然OpenAI的GPT-4 Turbo此前出现了性能下滑和速度变慢的状况,令人担心生成式AI的增长遭遇了瓶颈;但Sora的发布无疑打消了所有人的担忧。云计算公司Box创始人兼CEO列维(Aaron Levie)在Sora发布之后感慨说,“如果有人还担心AI进化速度会变慢的话,我们又一次看到了完全相反的典范。”

目前Sora只面向邀请的制作者和安全专家开放测试,发现和解决可能的安全问题,还没有宣布正式的公测时间表。毕竟在虚假信息充斥的互联网,DeepFake的道德问题也已经成为了关注焦点,像Sora这样以假乱真的视频一旦被滥用,可能会引发灾难性后果。

在发布Sora的几乎同一时间,OpenAI还完成了一项要约售股交易,并不是融资用于公司用途,而是允许员工向以Thrive Capital牵头的风投机构出售现有股份套现。值得一提的是,作为OpenAI董事会成员,奥特曼自己并不持有公司股票,估值飙升并不能给他带来巨额财富。

此次交易对OpenAI的整体估值达到了800亿美元,较之去年年初的300亿美元飙升了两倍多。按照投融资市场调研公司CB Insights统计,OpenAI已经成为全球估值最高的创业公司之一,仅次于字节跳动和SpaceX。

实际上,此次交易本应在去年11月完成,只是因为奥特曼与董事会的冲突风波才被迫搁置。随着奥特曼重新回到OpenAI CEO职位,投资者再次给这家AI巨头投出了信任票。显然,在Sora正式发布之后,OpenAI的估值还会进一步飙升。

巨头出手碾压AGI同行

那么,令人惊艳的文本生视频Sora究竟会带来哪些冲击?

AGI视频同行无疑是遭受最直接冲击的。Sora发布之后,AI视频创业公司Runway CEO瓦伦祖拉(Cristóbal Valenzuela)在X平台(此前的推特)上简单发布了两个字,“Game On.”(竞争开始了)。几个月前,Runway刚刚发布了Gen-2视频模型。而另一家AI视频公司Stability的CEO莫斯塔克(Emad Mostaque)则直接感慨,“奥特曼真是个魔术师。”

Runway创办已有五年时间,在AI视频领域占据着先发优势,已经得到了好莱坞主流片场的使用。去年拿到七项奥斯卡大奖的年度影片《瞬息全宇宙》就使用了Runway来制作AI视频。在《瞬息全宇宙》大获成功之后,Runway新一轮融资估值也水涨船高,达到了15亿美元,是一年之前估值的三倍。

文生视频领域是目前最热的创业领域。过去几个月时间,随着生成式AI热潮涌动,也涌现出了不少文本生视频和图片生视频的创业公司。A16z的AI投资合伙人摩尔(Justin Moore)列出了他所跟踪的20多家文生视频创业团队,其中不乏Pika、Zeroscope这样一度引发网络惊叹的创业新贵。

去年年底,斯坦福华人毕业生创办的Pika视频一度引发了中美互联网的惊叹。得益于AI视频的惊艳表现,这家仅有四人的创业公司,在不到半年时间就完成了超过5500万美元的三轮融资,估值飙升到了2.5亿美元。

但现在,AI巨头OpenAI直接抛出了Sora。无论是视频时长,还是画面精细度,还是细节完整性,或是多镜头拍摄,Sora都远远超越了这些小创业公司的视频,用碾压来形容也并不为过。虽然AI视频领域还有着巨大的提升和增长空间,但这些小公司的未来是否有能力与OpenAI竞争依然是个巨大的疑问。

左右好莱坞劳资谈判

不过,Sora影响的不仅是其他AGI视频创业公司的生存空间,更会改变整个好莱坞以及电影、电视、广告、游戏行业的未来游戏规则。

好莱坞使用AI制作图片和视频,并不是什么新鲜事,从CG(电脑动画)、VR到AI,影视娱乐行业一直是高新技术的最先采用者。然而,与其他技术不同,AI工具始终是扎在好莱坞从业人员心中的一根刺。

除了《瞬息全宇宙》使用了Runway的AI视频工具,去年21世纪福克斯已经与IBM沃森合作,用AI工具为关于AI主题的恐怖片《摩根》制作预告片;迪士尼旗下的漫威更完全用AI制作了《秘密入侵》的开头动画。

当时正值好莱坞演员和编剧工会大罢工期间。而生成式AI在影视行业的应用也是双方的争议焦点之一。就在双方谈判的过程中,演员编剧们得知迪士尼漫威新一季的《秘密入侵》已经完全使用AI技术打造开场场景。这一消息让双方的谈判再次搁浅。

为什么影视行业使用AI工具引发这么多的争议?业内人士主要是担心制片方使用现有素材进行AI训练,未来频繁使用AI工具生成内容,这不仅侵犯到了创作者已有作品的版权,没有给他们足够的回报,更会影响到创作者未来的工作机会和空间。

虽然去年编剧和演员们不惜让行业停摆和自己失业,换来了制片方们的暂时让步,对AI工具的使用制定更多的规范。但三年后的下一次劳资谈判,面对性能必然大升级的AI,演员编剧们的处境可能会更加艰难。

电影电视TikTok化

随着文生视频模型Sora的惊艳亮相,或许整个好莱坞从业人员都会面临着一个巨大的疑问:按照AI的指数级进化速度,或许不需要再等待多久,AI就可以生成一部完整剧情的短片甚至电影,从剧本到拍摄到表演到后期都可以完全搞定,那么好莱坞的未来会变成什么样子?

拍摄《当她醒来》恐怖电影的好莱坞导演戴夫·克拉克(Dave Clark)已经在使用AI工具制作电影。在他看来,Sora等AI技术带来的并不是威胁,创作者需要去拥抱AI技术,打造此前无法实现或是想象的内容。“这是改变游戏规则的技术。你不应该去担心自己的工作,而应该担心是谁在使用这些工具。”

行业调查公司CVL Economics上个月发布的一项对300位好莱坞行业领袖的调查显示,担忧情绪弥漫在整个好莱坞。36%的受访者表示生成式AI已经减少了他们公司的日常工作技能需求,72%的受访公司都是生成式AI工具的最早采用者。

更为残酷的现实是,75%的受访者承认,生成式AI(工具、软件、模型)已经促使他们业务部门削减与合并工作岗位。这些掌控着好莱坞行业秩序的人们预计,未来三年好莱坞总计会有超过20万人的工作岗位会遭受AI冲击,尤其是视觉特效、音效师、画图师等后期工作岗位。

电影《Shovel Buddies》的编剧海勒曼(Jason Hellerman)认为,随着AI工具的逐渐完善,未来制片方当然可能会通过Sora这样的工具生成视频,而不再需要给一个制作团队支付薪酬。AI生成的内容也可能会创造一个全新的类型,但如果任何人都可以用AI制作视频和电影,成为“内容创作者”,这也不可避免会带来专业水准的降低。

他预测,未来每个人都可以生成自己视频,就像是现在每个人都在手机上拍摄和观看TikTok短视频。习惯了短视频的Z世代年轻人未来会逐渐摒弃电影和电视这样的长内容。也许在AI生成视频的未来,电影和电视也会变成类似TikTok短视频这样的形式。


Tag: Sora OpenAI AI视频
首页 AI对话 资讯 我的