开源的 Sora 复现方案，成本降低近一半！
近日，开发 ChatGPT 的 OpenAI 公司又放出王炸 Sora，一个可以根据文本生成视频的 AI 模型。
上图就是 OpenAI 公布的 Sora 生成的视频片段，可以毫不夸张地说 Sora 直接将视频生成技术推向了新的高度，这也标志着人工智能视频生成技术迈入了新的时代。此项技术，可以广泛应用于电影、动画、游戏、广告等领域，为内容创作者提供更加便捷、高效的创作工具。
虽然 Sora 没有开源，但我在 GitHub 上发现了 Colossal-AI 刚开源的完整 Sora 复现架构方案 Open-Sora，它提供了完整的 Sora 复现架构解决方案，包括从数据处理到训练、部署的全流程。Open-Sora 不仅可以降低 46% 复现成本，而且还将模型训练输入序列长度扩充至 819K patches（模型处理视频的最小单元）。
GitHub 地址：
https://github.com/hpcaitech/Open-Sora
既然 Sora 没有开源，那这个复现方案从何而来呢？接下来，就让我们一起来看看已公布的 Sora 技术原理以及 Open-Sora 到底有没有真东西！
Sora 算法复现方案
与 Sora 视频一起发布的，还有一份 OpenAI 关于 Sora 的技术报告，在这份 Sora 的技术报告中，介绍了 Sora 是使用了一个视频压缩网络，将不同尺寸的视频压缩成一个隐空间（latent space）的时空块序列（temporal patch），然后使用了 Diffusion Transformer 进行去噪，最后进行解码生成视频。
根据上面描述的技术原理，Open-Sora 将 Sora 可能使用的训练流程归纳为下图。
综上所述，Open-Sora 作为 Sora 技术的复现框架，用 Python 实现了将原视频转化成通用型大模型能处理的最小单元 patches 的模块（patches 类似文本的 token），然后在去噪步骤提供了 3 种常见的多模态模型结构。
目前 Open-Sora 提供的功能，如下：
- 完整的 Sora 复现架构
：包含从数据处理到训练推理全流程。 - 动态分辨率
：训练时可直接训练任意分辨率的视频，无需进行缩放。 - 多种模型结构
：由于 Sora 实际模型结构未知，我们实现了 adaLN-zero、cross attention、in-context conditioning（token concat）等 3 种常见的多模态模型结构。 - 多种视频压缩方法
：用户可自行选择使用原始视频、VQVAE（视频原生的模型）、SD-VAE（图像原生的模型）进行训练。 - 多种并行训练优化
：支持结合 Colossal-AI 的 AI 大模型系统优化能力，及 Ulysses 和 FastSeq 的混合序列并行。
众所周知，模型训练需要的资源是恐怖的，哪怕是 1% 的优化都可以节约极大的训练成本，而 Open-Sora 直接节省了近一半 46% 的复现成本，而且在模型训练输入方面更是将序列扩充至近百万。到底 Open-Sora 是如何做的性能优化，从而实现类 Sora 视频生成模型的低成本开发流程呢？跟着小编我们一探究竟。
性能优化
不同于 LLM 的大模型、大激活，Sora 类训练任务的特点是
模型本体不大（如在 10B 以下）
，但是由于视频复杂性带来的序列长度特别长。
在此情况下，
PyTorch 数据并行已无法运行，而传统的模型并行、零冗余数据并行带来的收益有限
。因此，在支持 AMP（FP16/BF16）、Flash Attention、Gradient checkpointing、ZeRO-DP 等场景优化策略的基础上，Open-Sora 进一步引入两种不同的序列并行方法实现，可以 ZeRO 一起使用实现混合并行：
- 通用性较强的 Ulysses，对小规模或长序列表现可能更好。
- FastSeq 能将 qkv projection 的计算和 all-gather 通信重叠，只需多占用一点内存就可更进一步提升训练效率。
这两种序列并行方案，都可以轻松与 ZeRO2 共同使用来实现混合并行。
以在单台 H800 SXM 8*80GB GPU 上使用
DiT-XL/2
模型的性能测试为例。
在 600K 的序列长度时，Open-Sora 的方案比基线方案有
40% 以上的性能提升和成本降低
。
在保证更快训练速度的情况下，Open-Sora 还能
训练 30% 更长的序列，达到 819K+
。
最后
在这个视频流行的时代，AI 生成视频技术成为了当下备受瞩目的热门技术之一，Sora 的出现更是引爆了这个领域。
今天介绍的 Open-Sora 才刚刚开源，并未提供训练好的类 Sora 模型，还不能直接拿来生成视频。但它提供了一套经过优化后的类 Sora 视频生成模型低成本开发框架，为视频生成提供方便易用、成本低廉、质量可靠的开源解决方案。更多的技术细节，篇幅问题这里就不展开了，如果你对 Open-Sora 感兴趣，可深入了解下它的源码（Python）或者参与贡献代码，复现 Sora 赶超 Sora！
GitHub 地址：
https://github.com/hpcaitech/Open-Sora