%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Archgw
简介 :
Arch是一个开源的网关，专为处理提示（prompts）而设计，它利用快速的大型语言模型（LLMs）来处理提示，并与后端系统无缝集成。Arch基于Envoy构建，支持任何应用程序语言，并提供快速部署和透明升级。它提供了包括流量管理、前端/边缘网关、监控和端到端追踪在内的多种功能，帮助开发者构建快速、健壮和个性化的GenAI应用。
需求人群 :
目标受众为开发者和企业，特别是那些需要构建和部署基于提示的GenAI应用的团队。Arch提供了一个强大的平台，使得开发者能够快速集成LLMs，优化用户体验，并提高应用的可观测性和可靠性。
使用场景
使用Arch构建一个个性化的聊天机器人，通过用户提示调用后端API进行个性化响应。
利用Arch的流量管理功能，实现LLMs的智能重试和灾难恢复，保证AI应用的高可用性。
通过Arch的前端网关功能，实现TLS终止和基于提示的路由，提高AI应用的安全性和效率。
产品特色
基于Envoy的进程外架构：Arch依赖于Envoy，是一个自包含的过程，设计为与您的应用服务器一起运行。
与快速LLMs集成：Arch使用专为快速、成本效益高和准确处理提示而设计的专门（亚十亿）LLMs。
流量管理：提供LLM调用的多种能力，包括智能重试和自动切换到其他LLMs以保证连续可用性和灾难恢复。
前端/边缘网关：Arch非常适合作为AI应用的边缘网关，包括TLS终止、速率限制和基于提示的路由。
最佳监控：提供多个监控指标，帮助您了解应用的延迟、令牌使用情况和上游LLM提供商的错误率。
端到端追踪：Arch使用W3C Trace Context标准，通过兼容OpenTelemetry的traceparent头部进行追踪上下文的传播。
使用教程
1. 访问Arch的GitHub页面，了解项目详情和快速开始指南。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%230080ff;%20}%20%3c/style%3e%3c/defs%3e%3cpath%20class='st0'%20d='M16.2,11.1c.4.5.4,1.2,0,1.8l-4.7,7.1h-3.8l5.3-8L7.6,4h3.8l4.7,7.1Z'/%3e%3c/svg%3e)
2. 阅读Arch的文档，了解如何部署和配置Arch网关。
3. 根据文档指导，将Arch集成到您的应用中，设置提示处理和LLMs调用。
4. 利用Arch的监控和追踪功能，优化应用性能和用户体验。
5. 通过Arch的前端网关功能，实现TLS终止和基于提示的路由。
6. 根据需要，配置Arch的流量管理功能，包括智能重试和灾难恢复。
精选AI产品推荐
中文精选
抖音即创
即创工作台是一个一站式的智能创意生产与管理平台。它集成了视频创作、图文创作、直播创作等多种创意工具,可以通过AI的力量大大提高创作效率。主要功能和优势包括:1)视频创作:内置多种AI视频创作工具,支持智能编剧、数字人物、一键成片等,可快速生成高质量视频内容;2)图文创作:提供智能图文和商品图片生成工具,可快速制作微信文章、产品详情等图文内容;3)直播创作:支持AI直播背景、直播文案等创作工具,可轻松制作抖音、快手等直播内容。定位为新创和创意从业者的创意助手,以合理价格提供创意生产全流程服务。
AI设计工具
106.5M
国外精选
Pika
Pika是一个视频制作平台,用户可以上传自己的创意想法,Pika会自动生成相关的视频。主要功能有:支持多种创意想法转视频,视频效果专业,操作简单易用。平台采用免费试用模式,定位面向创意者和视频爱好者。
视频生成
18.7M