上一篇
Bocha Semantic Reranker是什么？一文让你看懂Bocha Semantic Reranker的技术原理、主要功能、应用场景
Ruyi是什么？一文让你看懂Ruyi的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
Ruyi概述简介
Ruyi是图森未来推出的图生视频大模型，专为在消费级显卡上运行设计，支持多分辨率、多时长视频生成，具备首帧、首尾帧控制、运动幅度控制和镜头控制等特性。Ruyi基于DiT架构，由Casual VAE模块和Diffusion Transformer组成，用在视频数据压缩和生成。Ruyi能降低动漫和游戏内容的开发周期和成本，是ACG爱好者和创作者的理想工具。目前图森未来将Ruyi-Mini-7B版本正式开源。
Ruyi的功能特色
多分辨率、多时长生成：Ruyi支持从最小384×384到最大1024×1024分辨率的视频生成，能处理任意长宽比，最长生成120帧/5秒的视频。
首帧、首尾帧控制生成：基于最多5个起始帧和最多5个结束帧生成视频，用循环叠加生成任意长度的视频。
运动幅度控制：提供4档运动幅度控制，方便用户对整体画面的变化程度进行控制。
镜头控制：提供了上、下、左、右、静止共5种镜头控制，增加视频生成的灵活性。
Ruyi的技术原理
模型架构：Ruyi基于DiT（Diffusion Model with Transformers）架构，由两部分组成：
Casual VAE模块：负责视频数据的压缩和解压。
Diffusion Transformer：负责压缩后的视频生成。
压缩与编码：Casual VAE模块将空间分辨率压缩至1/8，时间分辨率压缩至1/4，压缩后每个像素由16位的BF16进行表示。
位置编码：DiT部分用3D full attention，在空间上使用2D RoPE（Rotary Positional Encoding）进行位置编码，时间上用sin_cos进行位置编码。
训练损失函数：最终的loss选用DDPM（Denoising Diffusion Probabilistic Models）进行训练。
参数量与训练数据：模型的总参数量约为7.1B，用约200M视频片段进行训练。
训练阶段：整个训练分为四个阶段，从低分辨率预训练到高分辨率微调，逐步提升模型性能。
Ruyi项目介绍
GitHub仓库：https://github.com/IamCreateAI/Ruyi-Models
HuggingFace模型库：https://huggingface.co/IamCreateAI/Ruyi-Mini-7B
Ruyi能做什么？
动画预制：快速生成动画角色和场景的动态演示，评估动画设计和故事流程。
游戏CG生成：在游戏开发中，自动生成游戏宣传视频或游戏内的动态背景。
电影特效预览：在电影制作中，帮助导演和特效团队预览特效场景，优化后期特效制作。
虚拟主播：生成虚拟主播的动态视频，用于直播、新闻播报或在线教育。
社交媒体内容：为社交媒体平台创建吸引人的动态视频内容，提高用户参与度和品牌曝光。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
Moonlight-16B-A3B是什么？一文让你看懂Moonlight-16B-A3B的技术原理、主要功能、应用场景2025-04-05 -
LowCodeEngine是什么？一文让你看懂LowCodeEngine的技术原理、主要功能、应用场景2025-04-05
-
Qwen2-VL是什么？一文让你看懂Qwen2-VL的技术原理、主要功能、应用场景2025-04-05
-
CodeArena是什么？一文让你看懂CodeArena的技术原理、主要功能、应用场景2025-04-05
-
Magic 1-For-1是什么？一文让你看懂Magic 1-For-1的技术原理、主要功能、应用场景2025-04-05
-
TIP-I2V是什么？一文让你看懂TIP-I2V的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
Tempo-Pulse
Tempo-Pulse是一款AI驱动的触感音乐播放器，通过将音乐与触感技术相结合，为用户带来独特的音乐体验。它不仅能够自动生成任何歌曲的触感，还能让听...
Factory
Factory 是一个面向软件开发的自主性平台，旨在通过连接工程系统中的上下文和工具，提升团队协作效率和开发体验。它支持从代码生成、代码审查到文档生成...
nureply
Nureply的AI动力冷电子邮件自动化软件提供了全面，可靠的电子邮件自动化功能。有了它，您可以在几分钟内使用高可交付性，无限的潜在客户，热身，冷电子...
INFP
INFP是一个音频驱动的交互式头部生成框架，专为双人对话设计。它可以根据双人对话中的双轨音频和一个任意代理的单人肖像图像动态合成具有逼真面部表情和节奏...
3d ai studio
使用3D AI工作室轻松创建专业的3D型号。非常适合寻找高质量资产的设计师，开发人员和创意者。告别耗时的手动建模，并向有效，准确的结果打招呼。...
Notice
Notice是一个无代码编辑器，可以在任何网页或移动应用程序中创建、定制和实施FAQ、文档或博客。与团队合作，了解用户见解，提高SEO。...
Chord Variations
Chord Variations是一个能够生成和弦的不同变化的网站。它可以根据用户选择的和弦根音和品质，生成该和弦的各种变化。用户可以通过添加和删除和...
audio ai dynamics
音乐分析仪：深入分析，以发现BPM，和弦，Chroma等。 BPM Tapper：通过挖掘轻松找到您喜欢的曲目的节奏。音频修剪器：使用其无缝修剪工具快...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
