昆仑万维发布首个集成视频大模型与3D大模型的AI短剧平台SkyReels
8月19日,昆仑万维发布首个集成视频大模型与3D大模型的AI短剧平台SkyReels。SkyReels平台集剧本生成、角色定制、分镜、剧情、对白/BGM及影片合成于一体,让创作者“一键成剧”,轻松制作高质量AI视频。
SkyReels平台集成了昆仑万维自研剧本大模型SkyScript、自研分镜大模型StoryboardGen、自研3D生成大模型Sky3DGen、以及业界首个将AI3D引擎与视频大模型深度融合的创新平台WorldEngine。
SkyReels能够通过AI一键生成完整剧本、分镜、人物对白与BGM,支持角色形象、音色与分镜的自定义调整,并能够自动将内容转换为1080P60帧的高清视频,单次可生成视频长度达180秒,相比Sora单次可生成60秒视频、可灵单次可生成10秒视频,有显著突破。一键整合所有创作成果,极大提高视频的创作效率,降低创作成本,推动“一人一剧”时代加速来临。
同时,WorldEngine结合了引擎的精确可控能力(如光照模拟、物理模拟、3D空间、实时交互等)以及AI视频大模型的幻想生成能力,提供了全新的线上混合视频创作模式,让视频创作从模糊生成迈向更加精确可控。
SkyReels的AI剧本生成功能基于昆仑万维自研剧本大模型SkyScript打造。为了让AI生成的剧本具备短剧的高密集爽点剧情,昆仑万维首先构建了亿级的高质量短剧结构化数据集SkyScript-100M,该数据集针对海量精彩短剧的剧情节奏、爽点、情绪变化进行了高质量标注;其次算法团队设计了渐进式生成的剧本生成框架,实现了模型能够输出高度结构化的精彩剧本,无论是新手作者还是资深剧作家,都能通过它激发创意,轻松创作出引人入胜的短剧剧本。
短剧创作的另一重要环节——分镜生成,则由昆仑万维自研分镜生成大模型StoryboardGen提供底层技术。StoryboardGen是昆仑万维首创的的基于DiT-MoE架构(基于Diffusion Transformer技术的Mixed-of-Experts混合专家架构)的分镜生成模型,能够实现高密度分镜信息生成,大幅增强视觉叙事表达能力。
输入剧本后,StoryboardGen模型会将剧本拆解成全局与主体两部分,全局部分包括场景、景别、构图等对分镜的整体描述,主体部分包括角色形象、动作人物角色的定制,最终汇集至故事板(Storyboard)智能体生成完整分镜。StoryboardGen的专项多智能体架构,能够有效保证人物与场景的可控性和一致性,创造出高质量的工业级分镜。
在最终的影像生成环节,WorldEngine是业界首个将AI3D引擎与视频大模型深度融合的创新平台。这是一项划时代的技术创新,WorldEngine以图层融合技术为桥梁,打造出前所未有的3D与视频混合创作模式。
用户使用SkyReels生成AI视频时,可以对任意元素自由选择使用3D AI引擎生成或者视频大模型生成,该创新模式突破了当前AI视频大模型时常出现的“穿模”、“反地心引力”等反物理规律现象,最大程度实现了物理模拟的精细度与视频大模型的幻想创造力的完美融合。自此,AI视频生成大模型将从“模糊控制”时代走向“精确可控”时代。
在3D AI引擎方面,昆仑万维自研的Sky3DGen大模型能够生成多样化的3D元素和场景,从自然景观到未来都市,从静态物体到动态角色,并提供了实时的3D场景交互能力,使得用户可以即时看到调整和编辑的效果,加快创作流程。在WorldEngine的加持下,用户还可以轻松构建3D虚拟影棚,实现虚拟拍摄的梦幻体验。
昆仑万维AI短剧平台SkyReels的推出,标志着全球AI短剧创作的一次技术飞跃,它将对视频内容创作流程进行全面颠覆,让创作者从繁琐、复杂的制作流程中解放出来,专注于创意实现与灵感表达,让“一人一剧”的梦想成为现实。
SkyReels AI短剧平台不仅为专业内容创作者提供了强大的创作工具,更极大地降低了AI短剧创作的门槛,使得非专业用户也能轻松上手。这一革命性的工具有望带来AI短剧用户生成内容(UGC)与专业用户生成内容(PUGC)的爆发式增长,为短剧内容生态注入前所未有的活力,推动短剧内容创作与消费市场的进一步快速增长。
- 最近发表
-
- 随机阅读
-
- “东盟-中国人文交流年”国际漫画大赛颁奖典礼在雅加达举行
- 21.17万亿元、20.96亿人次……创新高!“火热”数据印证我国经济蓬勃活力
- 肥胖已成严重社会性健康问题 如何科学减重?专家建议→
- 韩国2024学年高考今天开考 尹锡悦发文鼓励考生
- 2025年中国计划新改建农村公路10.5万公里
- “第一袋钾肥”诞生后的65年 “中国盐湖城”寻求开拓新蓝海
- 中国—东盟(马来西亚)新兴产业大会在吉隆坡举办
- 福建拉响风暴潮黄色预警 两条“小三通”客运航线停航
- 澳媒:澳大利亚今年流感病例是去年同期5倍
- 全国党媒网站总编辑看“大美博州”
- 网上2800元卖孩子? 二手电商平台披露调查进展
- 湖北发力布局低空经济新赛道
- 相聚祁连山下,与雪山蒙古族看一场与众不同的运动会
- “五一”假期国内游“流量”无限热点常新 各地文旅市场热潮涌动活力足
- “一行诗能使我们沉醉——十大诗刊主编联合直播”活动举行
- 无鱼不成宴 浙江南浔桑基鱼塘引万余游客寻味千年
- 首趟中欧班列(西安—贝尔格莱德)陕西制造定制化班列开行
- 疏通马桶空气炮每用一下收一次钱 “天价”管道疏通团伙被抓
- 河南:安罗高速上跨新兖铁路特大桥转体完成
- 文化观察:“失散”2000多年,良渚玉琮为何出现在西周墓中?
- 热门推荐
-
- 《湖湘书法经典》新书首发 集大成式展现湖南书法艺术
- 国家知识产权局:持续提升国产品牌竞争力 培育更多“国货潮牌”
- 通广西最大侨乡高铁五一假期铺轨不停歇 预计年内通车
- 纪录片《田野之上》摄影作品展在沪展出
- 中国企业距离强制ESG信息披露还有多远?
- 山西:采煤沉陷区变身生态风景
- 突发!以色列内阁部长儿子阵亡 以总理表示哀悼
- 北京东城加强文化遗产保护传承 中轴线上重点文物成流量新宠
- 5月6日央行开展20亿元7天期逆回购操作
- 港澳地区外国旅游团入境海南144小时免签首批游客落地三亚
- 李佩霞受贿案一审开庭:非法收受财物165万元 当庭认罪悔罪
- 陕西全省小麦收获已过七成
- 容声平嵌冰箱荣登榜首 重新定义家居新风尚
- 生产线上的中国丨核磁共振技术突破国外长期封锁 这家研究院是如何做到的?
- 国产大邮轮“爱达·魔都号”打造“年味”春节主题航次
- “中国人参之乡”推动产业绿色转型 品牌价值大涨
- 风暴东移 美国4700万人或将遭遇恶劣天气
- 涵盖各个制造环节,基本实现闭环生产,链博会展示中国智能汽车实力
- 助力教育公益事业发展 北京高途公益基金会成立
- (身边的变化)山东特色“农家游”敲开乡村振兴“致富门”