# 高性能計算

CoreWeave GPU 雲計算是一個專為人工智能工作負載打造的雲平臺，提供靈活且高效的 GPU 集群，能夠滿足企業在大規模計算和存儲方面的需求。它的主要優勢包括極高的性能、可靠性和可擴展性，適合各種 AI 應用場景。通過 CoreWeave，用戶能夠顯著降低雲成本，同時提升服務響應速度，是 AI 創新的理想選擇。

Flux 是由字節跳動開發的一個高性能通信重疊庫，專為 GPU 上的張量和專家並行設計。它通過高效的內核和對 PyTorch 的兼容性，支持多種並行化策略，適用於大規模模型訓練和推理。Flux 的主要優點包括高性能、易於集成和對多種 NVIDIA GPU 架構的支持。它在大規模分佈式訓練中表現出色，尤其是在 Mixture-of-Experts (MoE) 模型中，能夠顯著提高計算效率。

3FS是一個專為AI訓練和推理工作負載設計的高性能分佈式文件系統。它利用現代SSD和RDMA網絡，提供共享存儲層，簡化分佈式應用開發。其核心優勢在於高性能、強一致性和對多種工作負載的支持，能夠顯著提升AI開發和部署的效率。該系統適用於大規模AI項目，尤其在數據準備、訓練和推理階段表現出色。

DeepSeek-V3/R1 推理系統是 DeepSeek 團隊開發的高性能推理架構，旨在優化大規模稀疏模型的推理效率。它通過跨節點專家並行（EP）技術，顯著提升 GPU 矩陣計算效率，降低延遲。該系統採用雙批量重疊策略和多級負載均衡機制，確保在大規模分佈式環境中高效運行。其主要優點包括高吞吐量、低延遲和優化的資源利用率，適用於高性能計算和 AI 推理場景。

Thunder Compute是一個專注於AI/ML開發的GPU雲服務平臺，通過虛擬化技術，幫助用戶以極低的成本使用高性能GPU資源。其主要優點是價格低廉，相比傳統雲服務提供商可節省高達80%的成本。該平臺支持多種主流GPU型號，如NVIDIA Tesla T4、A100等，並提供7+ Gbps的網絡連接，確保數據傳輸的高效性。Thunder Compute的目標是為AI開發者和企業降低硬件成本，加速模型訓練和部署，推動AI技術的普及和應用。

Evo 2 是由 NVIDIA 推出的 AI 基礎模型，旨在通過深度學習技術解析生物分子的遺傳密碼。該模型基於 NVIDIA DGX Cloud 平臺開發，能夠處理大規模的基因組數據，為生物醫學研究提供強大的工具。Evo 2 的主要優點在於其能夠處理長達 100 萬個 token 的基因序列，從而更全面地理解基因組的複雜性。該模型在生物醫學領域的應用前景廣闊，包括疾病診斷、藥物開發和基因編輯等。Evo 2 的開發得到了 Arc 研究所和斯坦福大學的支持，目標是推動生物醫學研究的創新和突破。

DeepGEMM是一個專注於高效FP8矩陣乘法的CUDA庫。它通過細粒度縮放和多種優化技術，如Hopper TMA特性、持久化線程專業化、全JIT設計等，顯著提升了矩陣運算的性能。該庫主要面向深度學習和高性能計算領域，適用於需要高效矩陣運算的場景。它支持NVIDIA Hopper架構的Tensor Core，並且在多種矩陣形狀下展現出卓越的性能。DeepGEMM的設計簡潔，核心代碼僅約300行，易於學習和使用，同時性能與專家優化的庫相當或更好。開源免費的特性使其成為研究人員和開發者進行深度學習優化和開發的理想選擇。

FlexHeadFA 是一個基於 FlashAttention 的改進模型，專注於提供快速且內存高效的精確注意力機制。它支持靈活的頭維度配置，能夠顯著提升大語言模型的性能和效率。該模型的主要優點包括高效利用 GPU 資源、支持多種頭維度配置以及與 FlashAttention-2 和 FlashAttention-3 兼容。它適用於需要高效計算和內存優化的深度學習場景，尤其在處理長序列數據時表現出色。

NVIDIA Project DIGITS 是一款基於 NVIDIA GB10 Grace Blackwell 超級芯片的桌面超級計算機，旨在為 AI 開發者提供強大的 AI 性能。它能夠在功耗高效、緊湊的形態中提供每秒一千萬億次的 AI 性能。該產品預裝了 NVIDIA AI 軟件棧，並配備了 128GB 的內存，使開發者能夠在本地原型設計、微調和推理高達 2000 億參數的大型 AI 模型，並無縫部署到數據中心或雲中。Project DIGITS 的推出標誌著 NVIDIA 在推動 AI 開發和創新方面的又一重要里程碑，為開發者提供了一個強大的工具，以加速 AI 模型的開發和部署。

FlashInfer是一個專為大型語言模型（LLM）服務而設計的高性能GPU內核庫。它通過提供高效的稀疏/密集註意力機制、負載平衡調度、內存效率優化等功能，顯著提升了LLM在推理和部署時的性能。FlashInfer支持PyTorch、TVM和C++ API，易於集成到現有項目中。其主要優點包括高效的內核實現、靈活的自定義能力和廣泛的兼容性。FlashInfer的開發背景是為了滿足日益增長的LLM應用需求，提供更高效、更可靠的推理支持。

PatronusAI/Llama-3-Patronus-Lynx-70B-Instruct-Q4_K_M-GGUF是一個基於70B參數的大型量化語言模型，使用了4-bit量化技術，以減少模型大小並提高推理效率。該模型屬於PatronusAI系列，是基於Transformers庫構建的，適用於需要高性能自然語言處理的應用場景。模型遵循cc-by-nc-4.0許可協議，意味著可以非商業性地使用和分享。

FlagCX是由北京人工智能研究院（BAAI）支持開發的可擴展和自適應的跨芯片通信庫。它是FlagAI-Open開源計劃的一部分，旨在促進AI技術的開源生態系統。FlagCX利用原生集體通信庫，全面支持不同平臺上的單芯片通信。支持的通信後端包括NCCL、IXCCL和CNCL。

EXAONE-3.5-32B-Instruct-AWQ是LG AI Research開發的一系列指令調優的雙語（英語和韓語）生成模型，參數從2.4B到32B不等。這些模型支持長達32K令牌的長上下文處理，在真實世界用例和長上下文理解方面展現出最先進的性能，同時在與最近發佈的類似大小模型相比，在通用領域保持競爭力。該模型通過AWQ量化技術，實現了4位組級別的權重量化，優化了模型的部署效率。

DeepSeek-V3是一個強大的Mixture-of-Experts (MoE) 語言模型，擁有671B的總參數量，每次激活37B參數。它採用了Multi-head Latent Attention (MLA) 和 DeepSeekMoE架構，這些架構在DeepSeek-V2中得到了充分的驗證。此外，DeepSeek-V3首次採用了無輔助損失的負載均衡策略，並設置了多令牌預測訓練目標，以實現更強大的性能。DeepSeek-V3在14.8萬億高質量令牌上進行了預訓練，隨後進行了監督式微調和強化學習階段，以充分利用其能力。綜合評估顯示，DeepSeek-V3超越了其他開源模型，並達到了與領先的閉源模型相當的性能。儘管性能出色，DeepSeek-V3的完整訓練僅需要2.788M H800 GPU小時，並且訓練過程非常穩定。

FastVideo是一個開源框架，旨在加速大型視頻擴散模型。它提供了FastHunyuan和FastMochi兩種一致性蒸餾視頻擴散模型，實現了8倍推理速度提升。FastVideo基於PCM（Phased-Consistency-Model）提供了首個開放的視頻DiT蒸餾配方，支持對最先進的開放視頻DiT模型進行蒸餾、微調和推理，包括Mochi和Hunyuan。此外，FastVideo還支持使用FSDP、序列並行和選擇性激活檢查點進行可擴展訓練，以及使用LoRA、預計算潛在和預計算文本嵌入進行內存高效微調。FastVideo的開發正在進行中，技術高度實驗性，未來計劃包括增加更多蒸餾方法、支持更多模型以及代碼更新。

Trillium TPU是Google Cloud的第六代Tensor Processing Unit（TPU），專為AI工作負載設計，提供增強的性能和成本效益。它作為Google Cloud AI Hypercomputer的關鍵組件，通過集成的硬件系統、開放軟件、領先的機器學習框架和靈活的消費模型，支持大規模AI模型的訓練、微調和推理。Trillium TPU在性能、成本效率和可持續性方面都有顯著提升，是AI領域的重要進步。

DeepSeek-V2.5-1210是DeepSeek-V2.5的升級版本，它在多個能力方面進行了改進，包括數學、編碼和寫作推理。模型在MATH-500基準測試中的性能從74.8%提高到82.8%，在LiveCodebench (08.01 - 12.01)基準測試中的準確率從29.2%提高到34.38%。此外，新版本優化了文件上傳和網頁摘要功能的用戶體驗。DeepSeek-V2系列（包括基礎和聊天）支持商業用途。

Rain AI專注於開發高能效的人工智能硬件。在當前能源消耗日益增長的背景下，Rain AI的產品通過優化硬件設計，減少能源消耗，同時保持高性能，這對於數據中心和需要大量計算資源的企業來說至關重要。產品的主要優點包括高能效、高性能和環保。Rain AI的產品背景信息顯示，公司致力於推動人工智能技術的可持續發展，通過技術創新減少對環境的影響。產品的價格和定位尚未明確，但可以推測其目標市場為需要高性能計算且對能源效率有高要求的企業。

tiiuae/falcon-mamba-7b是由TII UAE開發的高性能因果語言模型，基於Mamba架構，專為生成任務設計。該模型在多個基準測試中展現出色的表現，並且能夠在不同的硬件配置上運行，支持多種精度設置，以適應不同的性能和資源需求。模型的訓練使用了先進的3D並行策略和ZeRO優化技術，使其在大規模GPU集群上高效訓練成為可能。

AMD Instinct MI325X加速器基於AMD CDNA 3架構，專為AI任務設計，包括基礎模型訓練、微調和推理，提供卓越的性能和效率。這些產品使AMD的客戶和合作夥伴能夠在系統、機架和數據中心層面創建高性能和優化的AI解決方案。AMD Instinct MI325X加速器提供了行業領先的內存容量和帶寬，支持6.0TB/s的256GB HBM3E，比H200多1.8倍的容量和1.3倍的帶寬，提供了更高的FP16和FP8計算性能。

Intel® Gaudi® 3 AI Accelerator是英特爾推出的一款高性能人工智能加速器，它基於高效的英特爾® Gaudi® 平臺構建，具備出色的MLPerf基準性能，旨在處理要求苛刻的訓練和推理任務。該加速器支持數據中心或雲中的大型語言模型、多模態模型和企業RAG等人工智能應用程序，能夠在您可能已經擁有的以太網基礎設施上運行。無論您需要單個加速器還是數千個加速器，英特爾Gaudi 3都可以在您的AI成功中發揮關鍵作用。

SiFive是RISC-V架構的領導者，提供高性能、高效率的計算解決方案，適用於汽車、AI、數據中心等應用。其產品以優越的性能和效率，以及全球社區的支持，推動了RISC-V技術的發展和應用。

Groq是一家提供高性能AI芯片和雲服務的公司，專注於為AI模型提供超低延遲的推理服務。其產品GroqCloud™自2024年2月推出以來，已經有超過467,000名開發者使用。Groq的AI芯片技術由Meta的首席AI科學家Yann LeCun提供技術支持，並且獲得了BlackRock領投的6.4億美元融資，公司估值達到28億美元。Groq的技術優勢在於其能夠無縫地從其他提供商遷移到Groq，僅需更改三行代碼，並且與OpenAI的端點兼容。Groq的AI芯片旨在挑戰Nvidia在AI芯片市場的領導地位，為開發者和企業提供更快、更高效的AI推理解決方案。

Qwen2.5系列語言模型是一系列開源的decoder-only稠密模型，參數規模從0.5B到72B不等，旨在滿足不同產品對模型規模的需求。這些模型在自然語言理解、代碼生成、數學推理等多個領域表現出色，特別適合需要高性能語言處理能力的應用場景。Qwen2.5系列模型的發佈，標誌著在大型語言模型領域的一次重要進步，為開發者和研究者提供了強大的工具。

Azure Quantum 是微軟推出的量子計算平臺，旨在通過先進的量子計算技術加速科學研究和材料科學領域的發現。它通過結合人工智能、高性能計算和量子計算，提供了一套完整的工具和資源，以幫助研究人員和開發者在量子領域取得突破。Azure Quantum 的願景是將250年的科學進步加速到未來25年，通過量子超級計算機解決人類面臨的最困難問題。

Cerebras Inference是Cerebras公司推出的AI推理平臺，提供20倍於GPU的速度和1/5的成本。它利用Cerebras的高性能計算技術，為大規模語言模型、高性能計算等提供快速、高效的推理服務。該平臺支持多種AI模型，包括醫療、能源、政府和金融服務等行業應用，具有開放源代碼的特性，允許用戶訓練自己的基礎模型或微調開源模型。

Graphcore是一家專注於人工智能硬件加速器的公司，其產品主要面向需要高性能計算的人工智能領域。Graphcore的IPU（智能處理單元）技術為機器學習、深度學習等AI應用提供了強大的計算支持。公司的產品包括雲端IPU、數據中心IPU以及Bow IPU處理器等，這些產品通過Poplar® Software進行優化，能夠顯著提升AI模型的訓練和推理速度。Graphcore的產品和技術在金融、生物技術、科研等多個行業都有應用，幫助企業和研究機構加速AI項目的實驗過程，提高效率。

Skywork-MoE是一個具有146億參數的高性能混合專家(MoE)模型，擁有16個專家和22億激活參數。該模型從Skywork-13B模型的密集型檢查點初始化而來。引入了兩種創新技術：門控邏輯歸一化，增強專家多樣化；自適應輔助損失係數，允許層特定的輔助損失係數調整。Skywork-MoE在各種流行基準測試中，如C-Eval、MMLU、CMMLU、GSM8K、MATH和HumanEval，展現出與參數更多或激活參數更多的模型相當的或更優越的性能。

Crusoe提供可擴展的、氣候對齊的數字基礎設施，專為高性能計算和人工智能優化。我們的創新方法通過使用浪費的、孤立的或清潔能源來減少溫室氣體排放，支持能源轉型，並最大化資源效率。

TensorDock 是一個為需要無可妥協可靠性的工作負載而構建的專業雲服務提供商。它提供多種 GPU 服務器選項，包括 NVIDIA H100 SXMs，以及針對深度學習、AI 和渲染的最具成本效益的虛擬機基礎設施。TensorDock 還提供全託管容器託管服務，具備操作系統級監控、自動擴展和負載均衡功能。此外，TensorDock 提供世界級別的企業支持，由專業人員提供服務。