# 並行計算

Flux 是由字節跳動開發的一個高性能通信重疊庫，專為 GPU 上的張量和專家並行設計。它通過高效的內核和對 PyTorch 的兼容性，支持多種並行化策略，適用於大規模模型訓練和推理。Flux 的主要優點包括高性能、易於集成和對多種 NVIDIA GPU 架構的支持。它在大規模分佈式訓練中表現出色，尤其是在 Mixture-of-Experts (MoE) 模型中，能夠顯著提高計算效率。

DualPipe是一種創新的雙向流水線並行算法，由DeepSeek-AI團隊開發。該算法通過優化計算與通信的重疊，顯著減少了流水線氣泡，提高了訓練效率。它在大規模分佈式訓練中表現出色，尤其適用於需要高效並行化的深度學習任務。DualPipe基於PyTorch開發，易於集成和擴展，適合需要高性能計算的開發者和研究人員使用。

ManiSkill是一個領先的開源平臺，專注於機器人模擬、無限機器人數據生成和泛化機器人AI。由HillBot.ai領導，該平臺支持通過狀態和/或視覺輸入快速訓練機器人，與其它平臺相比，ManiSkill/SAPIEN實現了10-100倍的視覺數據收集速度。它支持在GPU上並行模擬和渲染RGB-D，速度高達30,000+FPS。ManiSkill提供了40多種技能/任務和2000多個對象的預構建任務，擁有數百萬幀的演示和密集的獎勵函數，用戶無需自己收集資產或設計任務，可以專注於算法開發。此外，它還支持在每個並行環境中同時模擬不同的對象和關節，訓練泛化機器人策略/AI的時間從天縮短到分鐘。ManiSkill易於使用，可以通過pip安裝，並提供簡單靈活的GUI以及所有功能的廣泛文檔。