需求人群
Velvet AI gateway的目标受众是利用OpenAI和Anthropic API的工程师和创新团队。他们需要一个能够高效管理和分析AI请求的工具,以便优化成本、提高性能并生成用于微调的自定义数据集。
使用场景
Blaze AI的CTO Chirag Mahapatra使用Velvet实现日志记录和缓存,存储训练集以微调自己的模型。Revo.pm的CEO Mehdi Djabri利用Velvet作为产品 copilot 与LLMs之间交互的数据源,进行评估、成本计算和问题解决。Find AI的CTO Philip Thomas使用Velvet监控生产中的AI功能,利用缓存功能显著降低成本。
产品特色
请求仓库:将所有AI请求记录到数据库,包括自定义元数据。使用和成本分析:以JSON对象形式存储数据,实现细粒度查询日志。请求缓存:毫秒级返回相同结果,降低成本和延迟。批量作业:解锁额外数据,以便查询批量中的每个文件。数据集生成:选择并导出用于批量或微调工作流程的数据集。AI SQL编辑器:使用自动化大型数据集上的SQL的编辑器。
使用教程
11. 在usevelvet.com/register创建账户。22. 阅读docs.usevelvet.com上的文档。33. 将baseURL设置为Velvet网关。44. 使用Velvet的数据库或连接自己的数据库。