昆仑万维发布首个集成视频大模型与3D大模型的AI短剧平台SkyReels
8月19日,昆仑万维发布首个集成视频大模型与3D大模型的AI短剧平台SkyReels。SkyReels平台集剧本生成、角色定制、分镜、剧情、对白/BGM及影片合成于一体,让创作者“一键成剧”,轻松制作高质量AI视频。
SkyReels平台集成了昆仑万维自研剧本大模型SkyScript、自研分镜大模型StoryboardGen、自研3D生成大模型Sky3DGen、以及业界首个将AI3D引擎与视频大模型深度融合的创新平台WorldEngine。
SkyReels能够通过AI一键生成完整剧本、分镜、人物对白与BGM,支持角色形象、音色与分镜的自定义调整,并能够自动将内容转换为1080P60帧的高清视频,单次可生成视频长度达180秒,相比Sora单次可生成60秒视频、可灵单次可生成10秒视频,有显著突破。一键整合所有创作成果,极大提高视频的创作效率,降低创作成本,推动“一人一剧”时代加速来临。
同时,WorldEngine结合了引擎的精确可控能力(如光照模拟、物理模拟、3D空间、实时交互等)以及AI视频大模型的幻想生成能力,提供了全新的线上混合视频创作模式,让视频创作从模糊生成迈向更加精确可控。
SkyReels的AI剧本生成功能基于昆仑万维自研剧本大模型SkyScript打造。为了让AI生成的剧本具备短剧的高密集爽点剧情,昆仑万维首先构建了亿级的高质量短剧结构化数据集SkyScript-100M,该数据集针对海量精彩短剧的剧情节奏、爽点、情绪变化进行了高质量标注;其次算法团队设计了渐进式生成的剧本生成框架,实现了模型能够输出高度结构化的精彩剧本,无论是新手作者还是资深剧作家,都能通过它激发创意,轻松创作出引人入胜的短剧剧本。
短剧创作的另一重要环节——分镜生成,则由昆仑万维自研分镜生成大模型StoryboardGen提供底层技术。StoryboardGen是昆仑万维首创的的基于DiT-MoE架构(基于Diffusion Transformer技术的Mixed-of-Experts混合专家架构)的分镜生成模型,能够实现高密度分镜信息生成,大幅增强视觉叙事表达能力。
输入剧本后,StoryboardGen模型会将剧本拆解成全局与主体两部分,全局部分包括场景、景别、构图等对分镜的整体描述,主体部分包括角色形象、动作人物角色的定制,最终汇集至故事板(Storyboard)智能体生成完整分镜。StoryboardGen的专项多智能体架构,能够有效保证人物与场景的可控性和一致性,创造出高质量的工业级分镜。
在最终的影像生成环节,WorldEngine是业界首个将AI3D引擎与视频大模型深度融合的创新平台。这是一项划时代的技术创新,WorldEngine以图层融合技术为桥梁,打造出前所未有的3D与视频混合创作模式。
用户使用SkyReels生成AI视频时,可以对任意元素自由选择使用3D AI引擎生成或者视频大模型生成,该创新模式突破了当前AI视频大模型时常出现的“穿模”、“反地心引力”等反物理规律现象,最大程度实现了物理模拟的精细度与视频大模型的幻想创造力的完美融合。自此,AI视频生成大模型将从“模糊控制”时代走向“精确可控”时代。
在3D AI引擎方面,昆仑万维自研的Sky3DGen大模型能够生成多样化的3D元素和场景,从自然景观到未来都市,从静态物体到动态角色,并提供了实时的3D场景交互能力,使得用户可以即时看到调整和编辑的效果,加快创作流程。在WorldEngine的加持下,用户还可以轻松构建3D虚拟影棚,实现虚拟拍摄的梦幻体验。
昆仑万维AI短剧平台SkyReels的推出,标志着全球AI短剧创作的一次技术飞跃,它将对视频内容创作流程进行全面颠覆,让创作者从繁琐、复杂的制作流程中解放出来,专注于创意实现与灵感表达,让“一人一剧”的梦想成为现实。
SkyReels AI短剧平台不仅为专业内容创作者提供了强大的创作工具,更极大地降低了AI短剧创作的门槛,使得非专业用户也能轻松上手。这一革命性的工具有望带来AI短剧用户生成内容(UGC)与专业用户生成内容(PUGC)的爆发式增长,为短剧内容生态注入前所未有的活力,推动短剧内容创作与消费市场的进一步快速增长。
- 最近发表
-
- 随机阅读
-
- 今年来江西审批建设项目环评1402个 涉及总投资3441亿元
- 立春节气强雨雪持续“霸屏”长三角
- 605KM续航、激光雷达,睿蓝7正式上市
- 河北首次开展超高压输电线路“无人机+机器人”带电作业
- 异地就医免备案,报销比例不降低
- 中国东极北极间首次实现直飞
- 妇科医生谈“鸭嘴钳”:比起器械更新,医生的态度更能消除恐惧
- 端午假期福建沿海水路运送旅客近39万人次
- 国家能源局:坚决守住不发生大面积停电事故、不发生大面积拉闸限电的底线
- 加沙停火协议今生效:上千人将获释,以总理多次提及特朗普
- 蔡骏新作《一千万人的密室》推出:悬疑推理之现实主义
- QQ音乐会员价上调引关注
- 贵州2023年网络零售额同比增长40.8%
- 中国贸促会:7月全球经贸摩擦指数为110 比上年同期下降66个点
- 专访汇丰银行首席亚洲经济学家:以中国为中心的全球生产体系具有强韧性
- 探索中华文化的世界表达 艺术家可以做什么?
- 当良渚古城遇见雅典卫城 中希文明对话将于杭州举行
- 以色列总理拒绝结束冲突换取人质获释
- 中新真探:久躺比久坐更伤身体吗?
- 广东启动Ⅲ级防风应急响应防范台风“苏拉”
- 热门推荐
-
- 黑龙江正是丰收季 农作物已收7596.7万亩
- 巴西央行预测2024年该国通胀率为3.9%
- 戏润中轴,2023北京中轴线国际艺术周将带来戏剧、夜话和Citywalk
- 近22吨 江西今年首批进口冰鲜三文鱼运抵南昌
- 内蒙古鄂尔多斯展出重量级国宝圆明园兽首原件
- 4月23日人民币对美元中间价报7.1059元 下调16个基点
- 我国拟立学位法 AI代写论文或被撤销学位
- 云南省一院实施全省首例高难度手术救治32岁难治性室速患者
- 妙纸生花添“龙韵” 海外游子巧手剪出中国年
- 拥抱大湾区
- 我国首批碳纤维重载铁路货车即将下线
- 传统评弹相遇现代话题 浦东戏曲戏剧节展演季在沪开幕
- 记者观察:共建“一带一路”促进东盟互联互通
- 1月LPR报价出炉:1年期LPR为3.45%,5年期以上LPR为4.2%
- 基辛格:中国劝和促谈,乌克兰危机或接近转折点丨世界观
- 来西安过年,这篇攻略就够了!
- “热血家庭”为爱挽袖23年 爱心接力累计献血63000毫升
- 5月6日央行开展20亿元7天期逆回购操作
- 韩国首尔地铁两轨道检修车相撞 已致2死1伤
- 少儿图书售价问题引关注