新壹科技近期发布了其最新技术成果——新壹视频大模型2.0,标志着公司在AI视频创作领域的技术飞跃和对创作自由度的深度拓展。该技术集成了先进的AI算法和深度学习技术,能够实现从剧本构思到视频成片的全流程自动化创作,极大降低了视频创作的门槛和成本。
新壹视频大模型2.0具备一键触发的便捷性,用户只需输入创意,即可自动生成剧本、分镜图、角色对话和背景音乐,同时提供3D元素和场景的生成以及高清视频的自动转换。技术的创新之处在于其自研剧本模型、基于Diffusion Transformer技术的混合专家架构、情感化语音合成技术,以及自动背景音乐生成能力。
· 基于Diffusion Transformer技术的Mixed-of-Experts混合专家架构,能够生成高密度的分镜信息,可以将剧本内容转化为具体的分镜图,包括每个场景的布局、角色位置、镜头角度等。
· 新壹视频大模型2.0利用情感化语音合成技术为角色赋予自然的语调和情感表达,让对话更真实。根据视频内容自动生成背景音乐(BGM),使画面与音乐完美融合。
· 新壹视频大模型2.0可以生成多样化的3D元素和场景,从自然景观到未来都市,从静态物体到动态角色,并提供了实时的3D场景交互能力。同时可以实现3D与视频的混合创作,解决传统AI视频生成中常见的问题,如人物形象的一致性或者动作的连贯性等现象。
· 新壹视频大模型2.0可以自动将分镜转换为连续的高清视频,支持1080P60帧输出,最高可支持4K,确保流畅的观看体验。