生数科技与猫眼索尼合作案例:多模态技术赋能《熊猫计划》影视制作

2025-06-30| 4920 阅读

? 生数科技与猫眼索尼合作案例:多模态技术赋能《熊猫计划》影视制作


在影视行业快速发展的当下,技术的革新往往能带来意想不到的惊喜。生数科技与猫眼索尼的合作,就是一次技术与艺术的完美碰撞,通过多模态技术为《熊猫计划》这部电影注入了新的活力。

生数科技是一家专注于多模态大模型研发的公司,其自研的 Vidu 大模型在多模态生成任务上表现出色。早在 2022 年 9 月,生数科技的创始人朱军教授带领核心团队就首发了第一个融合架构,将 Transformer 和扩散模型相融合,为多模态技术的发展奠定了基础。2024 年,Vidu 大模型在北京中关村论坛成功发布,成为中国首个长时长、高一致性、高动态性的视频生成模型,并在 6 月进一步突破时长限制,实现了视频和音频两种模态的融合。

猫眼娱乐和索尼(中国)作为知名的 IP 持有方,在影视、动漫和文化娱乐领域拥有丰富的资源。双方的合作旨在利用生数科技的多模态技术,为《熊猫计划》提供创新的影视制作解决方案。在《熊猫计划》项目中,Vidu 作为首个院线电影提供 AIGC 视频生成技术的支持单位,与索尼(中国)合作打造了国内大模型与国际知名 IP 的首个商业合作项目,这也是全球首个获得知名 IP 授权、全链路艺术家授权的 AIGC 生成式短片。

多模态技术在《熊猫计划》中的应用,主要体现在以下几个方面。首先是高效的素材生成。传统的影视制作需要大量的人力和时间来制作素材,而 Vidu 大模型可以通过 1.5 个人在 2 天之内生成原本需要 30 人团队 3 个月才能完成的素材,并在 3 天内完成剪辑。这种高效的生产方式大大缩短了制作周期,降低了成本。

其次是角色和场景的精准控制。在动漫生成方面,Vidu 被用户评为是唯一一个能够支持情感细腻的主体转换、场景转换和镜头转换幅度极大的动漫风格的生成。例如,在《毒液:最后一舞》的水墨风宣传片制作中,索尼曾派人到生数科技,用一张 2018 年出圈的水墨风海报去检验 Vidu 的能力。现场演示的数个版本效果得到了索尼的认可,合作得以继续推进。Vidu 能够清晰理解白虎和烟雾两个主体,确保单主体形象的高度一致,同时实现多主体之间的无缝融合和自然交互。

再者是合规性和创意的平衡。为了确保合作的合规性,索尼直接购买了艺术家与制作团队所使用的 200 余张水墨风原稿,然后再授权给制作团队基于 Vidu 创作。这种模式既保证了 IP 的合法使用,又为创作者提供了实际操作的空间和自由度。Vidu 相当于摄影机、手机、PS 或者 Premiere,是创意实现的高效生产力工具。根据策划和原稿,Vidu 仅用半个工作日就生成了上千支视频,供给艺术家挑选和优化,再从中选出最优质的作品。

多模态技术的应用不仅提升了《熊猫计划》的制作效率和质量,也为影视行业带来了新的发展机遇。对于专业创作者来说,多模态技术可以节省大量的时间和成本,让他们能够更加专注于创意的表达。例如,一个人可以利用 Vidu 大模型完成过去需要多人团队才能完成的工作,实现 “一人工作室” 的梦想。

对于普通用户和 C 端消费者来说,多模态技术也带来了更多的娱乐和创作可能性。社交媒体上兴起的 AI 特效玩法,就是多模态技术在大众娱乐领域的应用之一。用户只需上传两张图片,就能生成有趣的特效视频,这种低成本、高互动性的内容制作方式受到了广泛欢迎。

在广告营销和内容营销领域,多模态技术同样具有巨大的潜力。电商平台可以利用存量的营销图片,结合大模型生成人物、物体的运镜转场和趣味动态海报,满足用户对视频内容的需求。Vidu 大模型能够根据用户画像生成千人千面的创意视频,提升广告的精准度和效果。

然而,多模态技术的发展也面临着一些挑战。其中一个重要的问题就是可控生成。虽然 Vidu 大模型在一致性和动态性方面取得了显著的进展,但在一些复杂的场景中,仍然需要进一步优化。例如,在生成包含多个角色和复杂环境的视频时,如何确保每个角色的动作和表情都符合预期,还需要不断地调整和改进。

另外,艺术家与 AI 技术人员在创作逻辑、主观审美和工作方式等方面的理解差异,也是合作过程中需要克服的问题。在《毒液:最后一舞》的宣传片制作中,导演杨晟和生数科技产品总监张旭东就担任了转译工作的角色,将艺术家的需求和标准转化为相应的指令输入给模型。通过深入沟通和理解,双方逐渐找到了平衡点,提高了工作效率和产出效率。

未来,随着多模态技术的不断发展和完善,我们可以预见它将在更多领域发挥重要作用。生数科技表示,Vidu 大模型将继续沿着上下文能力这一主线进行迭代,未来将实现参考拍摄技巧、运镜、调度等更多因素,为用户带来更大的想象空间。例如,通过输入电影切片,可以生成具有相似摄影技巧的视频片段;通过输入经典打斗动作的视频,可以生成打斗技巧精妙、画面精良的视频。

同时,多模态技术也将催生全新的内容平台。当多模态可以做到实时可控、可交互的时候,它可以是完全个性化的,为用户提供全新的体验。这种技术未来将应用在社交、游戏、VR、AR 等多个领域,对所有行业产生深远的影响。

总的来说,生数科技与猫眼索尼的合作案例,展示了多模态技术在影视制作中的巨大潜力。通过高效的素材生成、精准的角色和场景控制以及合规性和创意的平衡,多模态技术为《熊猫计划》带来了创新的制作解决方案,也为影视行业的发展提供了新的思路。随着技术的不断进步和应用的不断拓展,我们有理由相信,多模态技术将在未来的影视制作中发挥更加重要的作用,为观众带来更多精彩的作品。

该文章由dudu123.com嘟嘟 ai 导航整理,嘟嘟 AI 导航汇集全网优质网址资源和最新优质 AI 工具。

分享到:

相关文章

创作资讯2025-02-14

如何选择靠谱 AI 检测器?移动端免费使用生成内容检测工具推荐

🧐 如何选择靠谱 AI 检测器?移动端免费使用生成内容检测工具推荐 在 AI 生成内容泛滥的当下,靠谱的 AI 检测器就像照妖镜,能帮我们辨别内容真伪。可市面上工具那么多,怎么选呢?咱们得先搞清楚几

第五AI
创作资讯2025-02-28

提高新媒体运营效率的AI工具:不止排版,更是内容创作的伙伴

📝 提高新媒体运营效率的 AI 工具:不止排版,更是内容创作的伙伴 在新媒体运营领域,效率往往决定了竞争力。随着 AI 技术的发展,越来越多的工具不仅能帮助我们节省时间,还能提升内容质量。今天就来聊

第五AI
创作资讯2025-01-20

汽车后市场公众号赛道还有机会吗?深度分析与运营建议

汽车后市场公众号赛道还有机会吗?深度分析与运营建议 🚗 行业现状:万亿市场下的机遇与挑战 中国汽车后市场规模持续扩大,公安部数据显示,截至 2025 年 6 月底,全国汽车保有量达 3.45 亿辆,

第五AI
创作资讯2025-04-23

提升公众号完读率的“AIDA”模型,你学会了吗?

现在做公众号的同行都在抱怨,打开率越来越低,好不容易有人点开,完读率更是惨不忍睹。后台数据里,那些 30% 以下的完读率像根刺,扎得人难受。其实不是用户变浮躁了,是我们没摸透他们的阅读心理。今天就拆解

第五AI
推荐2025-08-07

AI内容检测免费工具有哪些?为什么我最终选择了付费的第五AI? - AI创作资讯

🔍CopyLeaks:看似全能的免费选手​CopyLeaks算是免费AI检测工具里名气不小的。它支持Word、PDF这些常见文件格式,甚至连图片里的文字都能提取出来检测。语言方面也挺厉害,中英日韩这些主流语言都能hold住。​但免费版真的不够用,单篇检测最多就500字,稍微长点的文章就得切好几段。而且它的检测报告有点简单,就给个AI概率,具体哪里像AI写的根本标不出来,改的时候全靠瞎猜。上次我一篇公众号文章,明明自己写了大半天,它硬是判定70%是AI生成,申诉了也没下文,后来发现是里面引用了一段行业报告,可能被误判了。​🔍Originality.ai:精度还行但限制死​Originality.

第五AI
推荐2025-08-07

AI写作如何进行事实核查?确保头条文章信息准确,避免误导读者 - AI创作资讯

上周帮同事核查一篇AI写的行业报告,发现里面把2023年的用户增长率写成了2025年的预测数据。更离谱的是,引用的政策文件号都是错的。现在AI生成内容速度快是快,但这种硬伤要是直接发出去,读者信了才真叫坑人。今天就掰开揉碎了说,AI写作怎么做好事实核查,别让你的头条文章变成 误导重灾区 。​📌AI写作中事实错误的4种典型表现​AI最容易在这几个地方出岔子,你核查时得重点盯紧。​数据类错误简直是重灾区。前阵子看到一篇讲新能源汽车销量的文章,AI写 2024年比亚迪全球销量突破500万辆 ,实际查工信部数据才380多万。更绝的是把特斯拉的欧洲市场份额安到了蔚来头上,这种张冠李戴的错误,懂行的读者一

第五AI
推荐2025-08-07

10w+阅读量爆文案例拆解分析:高手都从这5个维度入手 - AI创作资讯

🎯维度一:选题像打靶,靶心必须是「用户情绪储蓄罐」做内容的都清楚,10w+爆文的第一步不是写,是选。选题选不对,后面写得再好都是白搭。高手选选题,就像往用户的「情绪储蓄罐」里投硬币,投对了立刻就能听到回响。怎么判断选题有没有击中情绪?看三个指标:是不是高频讨论的「街头话题」?是不是藏在心里没说的「抽屉秘密」?是不是能引发站队的「餐桌争议」。去年那篇《凌晨3点的医院,藏着多少成年人的崩溃》能爆,就是因为它把「成年人隐忍」这个抽屉秘密,摊在了街头话题的阳光下。你去翻评论区,全是「我也是这样」的共鸣,这种选题自带传播基因。还有种选题叫「时间锚点型」,比如高考季写《高考失利的人,后来都怎么样了》,春节

第五AI
推荐2025-08-07

现在做公众号是不是太晚了?2025年依然值得投入的3个理由与运营策略 - AI创作资讯

现在做公众号是不是太晚了?2025年依然值得投入的3个理由与运营策略一、用户粘性与私域流量的核心价值微信生态经过多年沉淀,公众号作为私域流量的核心载体,依然拥有不可替代的用户粘性。根据2025年最新数据,微信月活跃用户数稳定在13亿以上,而公众号的日均阅读量虽有所波动,但深度用户的留存率高达78%。即使在短视频盛行的今天,仍有超过1亿用户每天主动打开公众号阅读长图文,这部分用户普遍具有较高的消费能力和信息获取需求。公众号的私域属性体现在用户主动订阅的行为上。用户关注一个公众号,本质是对其内容价值的认可,这种信任关系是其他平台难以复制的。例如,某财经类公众号通过深度行业分析文章,吸引了大量高净值

第五AI
推荐2025-08-07

AI写小说能赚钱?普通人如何利用AI生成器开启副业之路 - AI创作资讯

现在很多人都在琢磨,AI写小说到底能不能赚钱?其实,只要掌握了方法,普通人用AI生成器开启副业之路,真不是啥难事。一、AI写小说赚钱的可行性分析很多人对AI写小说赚钱这事心里没底,总觉得AI生成的东西不够好。但实际情况是,AI写小说确实能赚钱。像DeepSeek这种AI写作工具,能快速生成小说框架、人物设定甚至章节内容,尤其是在玄幻、言情这类套路化、模式化的小说类型上,效率特别高。华东师范大学王峰团队用AI生成的百万字小说《天命使徒》,就是很好的例子。不过,AI写小说也不是十全十美的。AI生成的内容缺乏情感深度和原创性,同质化也很严重,而且一些小说平台对AI生成的内容审核很严格,一旦被发现,作

第五AI
推荐2025-08-07

情感故事公众号的涨粉核心:持续输出能引发共鸣的价值观 - AI创作资讯

做情感故事号的人太多了。每天打开公众号后台,刷到的不是出轨反转就是原生家庭痛诉,读者早就看疲了。但为什么有的号能在半年内从0做到10万粉,有的号写了两年还在三位数徘徊?​差别不在故事有多曲折,而在你有没有想明白——读者关注一个情感号,本质是在找一个能替自己说话的“情绪代言人”。他们要的不是猎奇,是**“原来有人和我想的一样”的认同感**。这种认同感的背后,就是你持续输出的、能引发共鸣的价值观。​🔍共鸣价值观不是猜出来的——用用户画像锚定情感锚点​别总想着“我觉得读者会喜欢什么”,要去看“读者正在为什么吵架”。打开微博热搜的情感话题评论区,去翻小红书里“有没有人和我一样”的帖子,那些被反复讨论的

第五AI
推荐2025-08-07

ChatGPT Prompt指令模板库|专为高原创度文章设计|DeepSeek用户也能用 - AI创作资讯

📚什么是Prompt指令模板库?​可能有人还在纠结,为什么写个指令还要搞模板库?其实道理很简单——就像厨师做菜需要菜谱,写Prompt也得有章法。尤其是想让AI写出高原创度的内容,不是随便敲几句就行的。​Prompt指令模板库,简单说就是把经过验证的有效指令结构整理成可复用的框架。里面包含了针对不同场景(比如写自媒体文章、产品文案、学术论文)的固定模块,你只需要根据具体需求填充细节。这样做的好处很明显:一是减少重复思考,二是保证输出质量稳定,三是更容易避开AI检测工具的识别。​现在很多人用ChatGPT写东西被判定为AI生成,问题往往出在指令太简单。比如只说“写一篇关于健身的文章”,AI自然会

第五AI
推荐2025-08-07

朱雀 AI 检测抗绕过方法:2025 最新技术解析与实测对比 - AI创作资讯

🔍朱雀AI检测抗绕过方法:2025最新技术解析与实测对比🔍在AI生成内容泛滥的今天,腾讯朱雀AI检测系统凭借其多模态分析技术和百万级数据训练,成为行业标杆。但道高一尺魔高一丈,对抗者们正通过各种技术手段挑战其检测边界。本文将深入解析2025年最新的抗绕过方法,并结合实测数据对比效果。🛠️技术架构解析:朱雀AI检测的核心防线朱雀AI检测系统采用四层对抗引擎架构,包括频域伪影定位技术和不可见内容溯源标记。其核心检测原理包括困惑度分析和突发性检测,通过分析文本的预测难度和句式规律性判断生成来源。2025年升级后,系统引入动态进化机制,每日更新10万条生成样本训练数据,模型迭代周期大幅缩短,显著提升了

第五AI
推荐2025-08-07

2025 公众号运营趋势:私域流量下的写作工具选择 - AI创作资讯

🔍2025公众号运营趋势:私域流量下的写作工具选择这几年做公众号运营,最大的感受就是平台规则变得越来越快。以前靠标题党和搬运内容就能轻松获得流量的日子已经一去不复返了。特别是2025年,微信公众号正式迈入「下沉市场」,个性化算法推荐成为主流,这对运营者的内容创作能力提出了更高的要求。在私域流量越来越重要的今天,选择合适的写作工具,不仅能提高效率,还能让你的内容在海量信息中脱颖而出。📈私域流量运营的核心趋势私域流量的本质是什么?简单来说,就是把用户「圈」在自己的地盘里,通过持续的价值输出,建立信任,最终实现转化。2025年的私域运营,有几个明显的趋势值得关注。全渠道融合已经成为标配。现在的用户不

第五AI
推荐2025-08-07

免费又好用的论文AI检测软件|和知网AI查重结果对比分析 - AI创作资讯

🔍免费又好用的论文AI检测软件|和知网AI查重结果对比分析写论文的时候,查重是躲不过的坎儿。知网虽然权威,但价格高,对学生党来说,多查几次钱包就扛不住了。好在现在有不少免费的论文AI检测软件,既能帮我们初步筛查重复率,还能省点钱。不过这些免费工具和知网的结果差距有多大呢?今天咱们就来好好唠唠。🔍主流免费论文AI检测软件大盘点现在市面上的免费论文检测工具可不少,像PaperPass、PaperFree、PaperYY、超星大雅、FreeCheck这些都挺火的。它们各有特点,咱们一个一个看。PaperPass这是很多学生的首选。它的免费版每天能查5篇论文,支持多终端使用,上传文件后系统会自动加密,

第五AI