# 大型模型

HuatuoGPT-o1-70B是由FreedomIntelligence開發的醫療領域大型語言模型（LLM），專為複雜的醫療推理設計。該模型在提供最終響應之前，會生成一個複雜的思考過程，反映並完善其推理。HuatuoGPT-o1-70B能夠處理複雜的醫療問題，提供深思熟慮的答案，這對於提高醫療決策的質量和效率至關重要。該模型基於LLaMA-3.1-70B架構，支持英文，並且可以部署在多種工具上，如vllm或Sglang，或者直接進行推理。

Valley-Eagle-7B是由字節跳動開發的多模態大型模型，旨在處理涉及文本、圖像和視頻數據的多種任務。該模型在內部電子商務和短視頻基準測試中取得了最佳結果，並在OpenCompass測試中展現出與同規模模型相比的卓越性能。Valley-Eagle-7B結合了LargeMLP和ConvAdapter構建投影器，並引入了VisionEncoder，以增強模型在極端場景下的性能。

Valley是由字節跳動開發的尖端多模態大型模型，能夠處理涉及文本、圖像和視頻數據的多種任務。該模型在內部電子商務和短視頻基準測試中取得了最佳結果，比其他開源模型表現更優。在OpenCompass測試中，與同規模模型相比，平均得分大於等於67.40，在小於10B模型中排名第二。Valley-Eagle版本參考了Eagle，引入了一個可以靈活調整令牌數量並與原始視覺令牌並行的視覺編碼器，增強了模型在極端場景下的性能。

Falcon Mamba是由阿布扎比技術創新研究所（TII）發佈的首個無需注意力機制的7B大規模模型。該模型在處理大型序列時，不受序列長度增加導致的計算和存儲成本增加的限制，同時保持了與現有最先進模型相當的性能。

PowerInfer-2是一個為智能手機特別優化的推理框架，支持高達47B參數的MoE模型，實現了每秒11.68個token的推理速度，比其他框架快22倍。它通過異構計算和I/O-Compute流水線技術，顯著減少了內存使用，並提高了推理速度。該框架適用於需要在移動設備上部署大型模型的場景，以增強數據隱私和性能。

支持將 openai、claude、azure openai, gemini,kimi, 智譜 AI, 通義千問，訊飛星火 API 等模型服務方的調用轉為 openai 方式調用。屏蔽不同大模型 API 的差異，統一用 openai api 標準格式使用大模型。提供多種大型模型支持，包括負載均衡、路由、配置管理等功能。

LMSYS Org 是一個組織，旨在使大型模型及其系統基礎設施的技術民主化。他們開發了 Vicuna 聊天機器人，其在 7B/13B/33B 規模下可以印象 GPT-4，實現了 90% ChatGPT 質量。同時，還提供 Chatbot Arena 以眾包和 Elo 評級系統進行大規模、遊戲化評估 LLMs。SGLang 提供了複雜 LLM 程序的高效接口和運行時環境。LMSYS-Chat-1M 是一個大規模真實世界 LLM 對話數據集。FastChat 是一個用於訓練、提供服務和評估基於 LLM 的聊天機器人的開放平臺。MT-Bench 是一個用於評估聊天機器人的一組具有挑戰性、多回合、開放式問題。

TimesFM是一款基於大型時序數據集預訓練的解碼器基礎模型，具有200億參數。相較於大型語言模型，雖然規模較小，但在不同領域和時間粒度的多個未見數據集上，其零-shot性能接近最先進的監督方法。TimesFM無需額外訓練即可提供出色的未見時間序列預測。

OpenDataLab是一個開源數據平臺，提供高質量的開放數據集，支持大型AI模型的訓練和應用。平臺容量巨大，包含5500多個數據集，涵蓋1500多種任務類型，總數據量達到80TB以上，下載量超過1064500次。平臺提供30多種應用場景、20多種標註類型和5種數據類型，支持數據結構、標註格式和在線可視化的統一標準，實現數據的開放共享和智能搜索，提供結構化的數據信息和可視化的註釋和數據分佈，方便用戶閱讀和篩選。平臺提供快速下載服務，無需VPN即可從國內雲端快速下載數據。