昆仑万维发布首个集成视频大模型与3D大模型的AI短剧平台SkyReels
8月19日,昆仑万维发布首个集成视频大模型与3D大模型的AI短剧平台SkyReels。SkyReels平台集剧本生成、角色定制、分镜、剧情、对白/BGM及影片合成于一体,让创作者“一键成剧”,轻松制作高质量AI视频。
SkyReels平台集成了昆仑万维自研剧本大模型SkyScript、自研分镜大模型StoryboardGen、自研3D生成大模型Sky3DGen、以及业界首个将AI3D引擎与视频大模型深度融合的创新平台WorldEngine。
SkyReels能够通过AI一键生成完整剧本、分镜、人物对白与BGM,支持角色形象、音色与分镜的自定义调整,并能够自动将内容转换为1080P60帧的高清视频,单次可生成视频长度达180秒,相比Sora单次可生成60秒视频、可灵单次可生成10秒视频,有显著突破。一键整合所有创作成果,极大提高视频的创作效率,降低创作成本,推动“一人一剧”时代加速来临。
同时,WorldEngine结合了引擎的精确可控能力(如光照模拟、物理模拟、3D空间、实时交互等)以及AI视频大模型的幻想生成能力,提供了全新的线上混合视频创作模式,让视频创作从模糊生成迈向更加精确可控。
SkyReels的AI剧本生成功能基于昆仑万维自研剧本大模型SkyScript打造。为了让AI生成的剧本具备短剧的高密集爽点剧情,昆仑万维首先构建了亿级的高质量短剧结构化数据集SkyScript-100M,该数据集针对海量精彩短剧的剧情节奏、爽点、情绪变化进行了高质量标注;其次算法团队设计了渐进式生成的剧本生成框架,实现了模型能够输出高度结构化的精彩剧本,无论是新手作者还是资深剧作家,都能通过它激发创意,轻松创作出引人入胜的短剧剧本。
短剧创作的另一重要环节——分镜生成,则由昆仑万维自研分镜生成大模型StoryboardGen提供底层技术。StoryboardGen是昆仑万维首创的的基于DiT-MoE架构(基于Diffusion Transformer技术的Mixed-of-Experts混合专家架构)的分镜生成模型,能够实现高密度分镜信息生成,大幅增强视觉叙事表达能力。
输入剧本后,StoryboardGen模型会将剧本拆解成全局与主体两部分,全局部分包括场景、景别、构图等对分镜的整体描述,主体部分包括角色形象、动作人物角色的定制,最终汇集至故事板(Storyboard)智能体生成完整分镜。StoryboardGen的专项多智能体架构,能够有效保证人物与场景的可控性和一致性,创造出高质量的工业级分镜。
在最终的影像生成环节,WorldEngine是业界首个将AI3D引擎与视频大模型深度融合的创新平台。这是一项划时代的技术创新,WorldEngine以图层融合技术为桥梁,打造出前所未有的3D与视频混合创作模式。
用户使用SkyReels生成AI视频时,可以对任意元素自由选择使用3D AI引擎生成或者视频大模型生成,该创新模式突破了当前AI视频大模型时常出现的“穿模”、“反地心引力”等反物理规律现象,最大程度实现了物理模拟的精细度与视频大模型的幻想创造力的完美融合。自此,AI视频生成大模型将从“模糊控制”时代走向“精确可控”时代。
在3D AI引擎方面,昆仑万维自研的Sky3DGen大模型能够生成多样化的3D元素和场景,从自然景观到未来都市,从静态物体到动态角色,并提供了实时的3D场景交互能力,使得用户可以即时看到调整和编辑的效果,加快创作流程。在WorldEngine的加持下,用户还可以轻松构建3D虚拟影棚,实现虚拟拍摄的梦幻体验。
昆仑万维AI短剧平台SkyReels的推出,标志着全球AI短剧创作的一次技术飞跃,它将对视频内容创作流程进行全面颠覆,让创作者从繁琐、复杂的制作流程中解放出来,专注于创意实现与灵感表达,让“一人一剧”的梦想成为现实。
SkyReels AI短剧平台不仅为专业内容创作者提供了强大的创作工具,更极大地降低了AI短剧创作的门槛,使得非专业用户也能轻松上手。这一革命性的工具有望带来AI短剧用户生成内容(UGC)与专业用户生成内容(PUGC)的爆发式增长,为短剧内容生态注入前所未有的活力,推动短剧内容创作与消费市场的进一步快速增长。
- 最近发表
-
- 随机阅读
-
- 新疆昌吉州奇台县发生3.0级地震 震源深度30千米
- 2024丝绸之路主题旅游海外推广季在三亚启动
- 宏观杠杆率总体保持稳定
- 【寻味中华|饮食】火晶柿子:林中有丹果 压枝一何稠
- 国际机构最新报告:中国经济发展加速推动碳达峰进程
- 天津往返日本札幌客运定期航线复航
- 探访裘古怀烈士纪念馆:胜利的时候 我们不会忘记你们
- 南航近期将新开、复航和加密多条国际及地区航线
- 工信部征集意见:电动自行车拟禁用车载充电器
- 湖南零陵农技专家田间“开方”保夏粮丰收
- 青海玛多地震灾后重建农牧民D级住房项目竣工交房
- 壮大村级集体经济 山西长治197个薄弱村全部实现收入破10万元
- 阿拉伯语教授金忠杰:从1到1300
- 韩红基金会开展“暖秋重阳”敬老慰问并为4500余名困境老人发放礼包
- 英媒:西方违背其气候承诺造成严重后果
- 中国航空市场将不断向好
- 深圳开展打击整治养老诈骗专项行动 守护好老年人的“养老钱”
- 内蒙古民警助国家一级保护动物草原雕重归草原
- 这座70岁的老纺机厂如何“变身”新潮网红打卡地?
- 中国科大借力AI在催化领域取得重大突破
- 热门推荐
-
- 马克龙:不排除明年邀请普京访问法国,前提是……
- 以左权将军家书为蓝本 大型歌舞剧《家书》启动创排
- 环球健康说|如何有效阻止结核病流行?专家:控制结核潜伏感染是关键
- 巴官员:巴基斯坦信德省火车脱轨事故救援工作已完成
- 广州市本外币各项存款余额8.9万亿元
- 青海摄影师获第十四届中国摄影艺术节《天鹅湖典藏奖》铜奖
- 黄埔军校战场画师梁又铭之子:父亲用画笔展现中国空军英勇
- 北京城市轨道交通运营里程今年将超880公里
- 中央气象台:东北地区及广西云南有强降雨
- 海外华文媒体海南行:“我要把海南黎陶带到罗马去”
- 在防汛救灾一线筑起“青春堤坝”
- 乡约福建:“冠豸书屋”让书香萦绕红土地
- 一季度浙江义乌“平均每3.1分钟诞生一个电商主体”
- 4月末中国外汇储备为32008亿美元
- 阅读方式多元化,数字出版将扮演何种角色?
- 在深圳带外孙,西北家乡在掌上
- 中国起升高度最高海上风电安装平台交付
- 广西筹措社会保障领域资金超千亿元增进民生福祉
- 儿童文学家鲁兵百年诞辰:曾寄童心付明月
- 海南省三亚市教育局发布停课通知