Archgw
需求人群
目标受众为开发者和企业，特别是那些需要构建和部署基于提示的GenAI应用的团队。Arch提供了一个强大的平台，使得开发者能够快速集成LLMs，优化用户体验，并提高应用的可观测性和可靠性。使用场景
使用Arch构建一个个性化的聊天机器人，通过用户提示调用后端API进行个性化响应。利用Arch的流量管理功能，实现LLMs的智能重试和灾难恢复，保证AI应用的高可用性。通过Arch的前端网关功能，实现TLS终止和基于提示的路由，提高AI应用的安全性和效率。产品特色
基于Envoy的进程外架构：Arch依赖于Envoy，是一个自包含的过程，设计为与您的应用服务器一起运行。与快速LLMs集成：Arch使用专为快速、成本效益高和准确处理提示而设计的专门（亚十亿）LLMs。流量管理：提供LLM调用的多种能力，包括智能重试和自动切换到其他LLMs以保证连续可用性和灾难恢复。前端/边缘网关：Arch非常适合作为AI应用的边缘网关，包括TLS终止、速率限制和基于提示的路由。最佳监控：提供多个监控指标，帮助您了解应用的延迟、令牌使用情况和上游LLM提供商的错误率。端到端追踪：Arch使用W3C Trace Context标准，通过兼容OpenTelemetry的traceparent头部进行追踪上下文的传播。使用教程
- 11. 访问Arch的GitHub页面，了解项目详情和快速开始指南。
- 22. 阅读Arch的文档，了解如何部署和配置Arch网关。
- 33. 根据文档指导，将Arch集成到您的应用中，设置提示处理和LLMs调用。
- 44. 利用Arch的监控和追踪功能，优化应用性能和用户体验。
- 55. 通过Arch的前端网关功能，实现TLS终止和基于提示的路由。
- 66. 根据需要，配置Arch的流量管理功能，包括智能重试和灾难恢复。
团队介绍
了解 Archgw 背后的团队成员，包括创始人、开发人员、设计师和产品人员。
该产品暂无团队信息。