

Exo
簡介 :
exo是一個實驗性的軟件項目,旨在利用家中的現有設備,如iPhone、iPad、Android、Mac、Linux等,統一成一個強大的GPU來運行AI模型。它支持多種流行的模型,如LLaMA,並具有動態模型分割功能,能夠根據當前網絡拓撲和設備資源來最優地分割模型。此外,exo還提供了與ChatGPT兼容的API,使得在應用程序中使用exo運行模型僅需一行代碼的更改。
需求人群 :
目標受眾為開發者和AI愛好者,他們希望利用家中的現有設備來構建和運行AI模型,無需昂貴的NVIDIA GPU。exo提供了一個實驗性的平臺,允許用戶在多設備環境中探索和實現AI模型的分佈式計算。
使用場景
使用iPhone和iPad構建一個AI集群來處理圖像識別任務。
在家中的多臺Linux設備上運行自然語言處理模型。
通過Mac和Android設備聯合執行復雜的數據分析任務。
產品特色
支持LLaMA等流行模型。
動態模型分割,根據網絡拓撲和設備資源最優分配模型。
自動設備發現,無需手動配置。
提供與ChatGPT兼容的API,簡化模型運行流程。
支持多種推理引擎,如MLX、tinygrad、llama.cpp。
支持多種網絡模塊,包括GRPC、Radio、Bluetooth。
使用教程
1. 從源代碼安裝exo:進入exo目錄,使用pip安裝依賴。
2. 根據文檔示例,在多個設備上運行exo。
3. 使用提供的API在應用程序中集成exo,實現模型的運行。
4. 通過訪問設備上的8000端口來使用ChatGPT風格的Web界面。
5. 如果需要,可以通過修改代碼來訪問推理引擎。
6. 監控和參與社區,報告問題並貢獻代碼。
精選AI產品推薦

Deepmind Gemini
Gemini是谷歌DeepMind推出的新一代人工智能系統。它能夠進行多模態推理,支持文本、圖像、視頻、音頻和代碼之間的無縫交互。Gemini在語言理解、推理、數學、編程等多個領域都超越了之前的狀態,成為迄今為止最強大的AI系統之一。它有三個不同規模的版本,可滿足從邊緣計算到雲計算的各種需求。Gemini可以廣泛應用於創意設計、寫作輔助、問題解答、代碼生成等領域。
AI模型
11.4M
中文精選

Liblibai
LiblibAI是一箇中國領先的AI創作平臺,提供強大的AI創作能力,幫助創作者實現創意。平臺提供海量免費AI創作模型,用戶可以搜索使用模型進行圖像、文字、音頻等創作。平臺還支持用戶訓練自己的AI模型。平臺定位於廣大創作者用戶,致力於創造條件普惠,服務創意產業,讓每個人都享有創作的樂趣。
AI模型
8.0M