Archgw
A
Archgw
簡介 :
Arch是一個開源的網關,專為處理提示(prompts)而設計,它利用快速的大型語言模型(LLMs)來處理提示,並與後端系統無縫集成。Arch基於Envoy構建,支持任何應用程序語言,並提供快速部署和透明升級。它提供了包括流量管理、前端/邊緣網關、監控和端到端追蹤在內的多種功能,幫助開發者構建快速、健壯和個性化的GenAI應用。
需求人群 :
目標受眾為開發者和企業,特別是那些需要構建和部署基於提示的GenAI應用的團隊。Arch提供了一個強大的平臺,使得開發者能夠快速集成LLMs,優化用戶體驗,並提高應用的可觀測性和可靠性。
總訪問量: 146
佔比最多地區: US(100.00%)
本站瀏覽量 : 48.6K
使用場景
使用Arch構建一個個性化的聊天機器人,通過用戶提示調用後端API進行個性化響應。
利用Arch的流量管理功能,實現LLMs的智能重試和災難恢復,保證AI應用的高可用性。
通過Arch的前端網關功能,實現TLS終止和基於提示的路由,提高AI應用的安全性和效率。
產品特色
基於Envoy的進程外架構:Arch依賴於Envoy,是一個自包含的過程,設計為與您的應用服務器一起運行。
與快速LLMs集成:Arch使用專為快速、成本效益高和準確處理提示而設計的專門(亞十億)LLMs。
流量管理:提供LLM調用的多種能力,包括智能重試和自動切換到其他LLMs以保證連續可用性和災難恢復。
前端/邊緣網關:Arch非常適合作為AI應用的邊緣網關,包括TLS終止、速率限制和基於提示的路由。
最佳監控:提供多個監控指標,幫助您瞭解應用的延遲、令牌使用情況和上游LLM提供商的錯誤率。
端到端追蹤:Arch使用W3C Trace Context標準,通過兼容OpenTelemetry的traceparent頭部進行追蹤上下文的傳播。
使用教程
1. 訪問Arch的GitHub頁面,瞭解項目詳情和快速開始指南。
2. 閱讀Arch的文檔,瞭解如何部署和配置Arch網關。
3. 根據文檔指導,將Arch集成到您的應用中,設置提示處理和LLMs調用。
4. 利用Arch的監控和追蹤功能,優化應用性能和用戶體驗。
5. 通過Arch的前端網關功能,實現TLS終止和基於提示的路由。
6. 根據需要,配置Arch的流量管理功能,包括智能重試和災難恢復。
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase