昆仑万维发布首个集成视频大模型与3D大模型的AI短剧平台SkyReels
8月19日,昆仑万维发布首个集成视频大模型与3D大模型的AI短剧平台SkyReels。SkyReels平台集剧本生成、角色定制、分镜、剧情、对白/BGM及影片合成于一体,让创作者“一键成剧”,轻松制作高质量AI视频。
SkyReels平台集成了昆仑万维自研剧本大模型SkyScript、自研分镜大模型StoryboardGen、自研3D生成大模型Sky3DGen、以及业界首个将AI3D引擎与视频大模型深度融合的创新平台WorldEngine。
SkyReels能够通过AI一键生成完整剧本、分镜、人物对白与BGM,支持角色形象、音色与分镜的自定义调整,并能够自动将内容转换为1080P60帧的高清视频,单次可生成视频长度达180秒,相比Sora单次可生成60秒视频、可灵单次可生成10秒视频,有显著突破。一键整合所有创作成果,极大提高视频的创作效率,降低创作成本,推动“一人一剧”时代加速来临。
同时,WorldEngine结合了引擎的精确可控能力(如光照模拟、物理模拟、3D空间、实时交互等)以及AI视频大模型的幻想生成能力,提供了全新的线上混合视频创作模式,让视频创作从模糊生成迈向更加精确可控。
SkyReels的AI剧本生成功能基于昆仑万维自研剧本大模型SkyScript打造。为了让AI生成的剧本具备短剧的高密集爽点剧情,昆仑万维首先构建了亿级的高质量短剧结构化数据集SkyScript-100M,该数据集针对海量精彩短剧的剧情节奏、爽点、情绪变化进行了高质量标注;其次算法团队设计了渐进式生成的剧本生成框架,实现了模型能够输出高度结构化的精彩剧本,无论是新手作者还是资深剧作家,都能通过它激发创意,轻松创作出引人入胜的短剧剧本。
短剧创作的另一重要环节——分镜生成,则由昆仑万维自研分镜生成大模型StoryboardGen提供底层技术。StoryboardGen是昆仑万维首创的的基于DiT-MoE架构(基于Diffusion Transformer技术的Mixed-of-Experts混合专家架构)的分镜生成模型,能够实现高密度分镜信息生成,大幅增强视觉叙事表达能力。
输入剧本后,StoryboardGen模型会将剧本拆解成全局与主体两部分,全局部分包括场景、景别、构图等对分镜的整体描述,主体部分包括角色形象、动作人物角色的定制,最终汇集至故事板(Storyboard)智能体生成完整分镜。StoryboardGen的专项多智能体架构,能够有效保证人物与场景的可控性和一致性,创造出高质量的工业级分镜。
在最终的影像生成环节,WorldEngine是业界首个将AI3D引擎与视频大模型深度融合的创新平台。这是一项划时代的技术创新,WorldEngine以图层融合技术为桥梁,打造出前所未有的3D与视频混合创作模式。
用户使用SkyReels生成AI视频时,可以对任意元素自由选择使用3D AI引擎生成或者视频大模型生成,该创新模式突破了当前AI视频大模型时常出现的“穿模”、“反地心引力”等反物理规律现象,最大程度实现了物理模拟的精细度与视频大模型的幻想创造力的完美融合。自此,AI视频生成大模型将从“模糊控制”时代走向“精确可控”时代。
在3D AI引擎方面,昆仑万维自研的Sky3DGen大模型能够生成多样化的3D元素和场景,从自然景观到未来都市,从静态物体到动态角色,并提供了实时的3D场景交互能力,使得用户可以即时看到调整和编辑的效果,加快创作流程。在WorldEngine的加持下,用户还可以轻松构建3D虚拟影棚,实现虚拟拍摄的梦幻体验。
昆仑万维AI短剧平台SkyReels的推出,标志着全球AI短剧创作的一次技术飞跃,它将对视频内容创作流程进行全面颠覆,让创作者从繁琐、复杂的制作流程中解放出来,专注于创意实现与灵感表达,让“一人一剧”的梦想成为现实。
SkyReels AI短剧平台不仅为专业内容创作者提供了强大的创作工具,更极大地降低了AI短剧创作的门槛,使得非专业用户也能轻松上手。这一革命性的工具有望带来AI短剧用户生成内容(UGC)与专业用户生成内容(PUGC)的爆发式增长,为短剧内容生态注入前所未有的活力,推动短剧内容创作与消费市场的进一步快速增长。
- 最近发表
-
- 随机阅读
-
- 作家齐一民谈感悟:我写书,要有自己的特色
- 海关总署:允许符合相关要求的缅甸鲜食菠萝进口
- 话·龙|古建筑中的龙元素 除了吉祥的含义 还可卖萌
- “献血点亮生命之光”主题活动在深圳启动
- 和评理 |排污入海危害世界 日本必将付出代价
- 中国科大提出幽门螺旋杆菌感染超声动力治疗方案
- 新能源车市呈现“三国杀”格局,传统车企、新势力与“手机帮”角逐市场
- 杭州鼓励老年食堂转型 面向全体市民开放
- 重庆钓鱼城遗址考古新发现一批高规格建筑遗存
- 俄罗斯总统普京与以色列总理内塔尼亚胡通电话
- 在内蒙古无障碍影院 视障者通过“读”电影感受光明
- 云南昭通大关县发生一起火灾 6人遇难
- 湖南江永推广机械化育秧 激发农民种粮积极性
- 好医生连续12年蝉联工信部“中国医药工业百强”
- 中消协:健康功能电冰箱保鲜功能存较大差异
- 儿童驾驶电动游艺车伤人谁担责
- 泰国“素可泰”号护卫舰打捞行动结束 失踪者仍未找到
- 与上海电气携手,以科技赋能未来
- 长江技术经济学会专家委员会在鄂成立
- 成都直飞河内国际航线复航
- 热门推荐
-
- 看电视还是看手机,这是个问题!
- 点赞鄂尔多斯 韩磊、腾格尔等为家乡赋能
- 陕西榆林一男子因散布“天然气爆炸”谣言被处罚
- 国际锐评|中洪建交再次证明坚持一个中国原则是国际大义
- 浙江乡村解锁“新技能”换假日高人气
- 《媒体眼中的徽州》樊成柱:“光影非遗”放光彩
- 截至今年4月底宁夏个体工商户累计总量达58.3万户
- 广州市新型研发机构协同创新联盟成立
- 日本东电公司:福岛第一核电站1号机组反应堆压力容器的底座已熔化
- “海丝”起点再续缘:拥抱跨境电商新机遇
- 那些“不务正业”的,正在陆续转正
- 中国工商银行发布关于存量首套个人住房贷款利率调整的公告
- 贵州目前唯一直飞日本的国际航线开通
- 首届新疆斗鸡邀请赛暨西游动物趣味运动会在火焰山景区开幕
- “何以敦煌”敦煌艺术大展在上海开幕
- 三星堆连续4天门票售罄 春节假期德阳接待游客131万人次
- 哈萨克斯坦与塔吉克斯坦签署同盟条约
- 青海乌兰给沙漠“锁边”让荒滩变绿洲
- 提前查分、收费补录?高考结束,当心这些骗局
- 北京白塔文化周启动 近20项主题活动展示中尼优秀文化