需求人群
目标受众主要是开发者,尤其是那些需要在应用程序中集成语音交互功能的开发者。Realtime API 适合于需要快速、自然对话体验的场景,如语言学习应用、健康与健身指导应用、客户支持等。
使用场景
Healthify应用使用Realtime API与AI教练Ria进行自然对话Speak语言学习应用使用Realtime API进行角色扮演练习客户支持代理使用Realtime API提供个性化支持
产品特色
支持自然语音到语音对话处理中断,类似于ChatGPT的高级语音模式通过WebSocket连接,支持功能调用支持音频输入和输出支持多模态体验,未来计划增加视觉和视频模态支持GPT-4o模型,未来将支持GPT-4o mini提供音频安全基础设施,减少潜在伤害
使用教程
1在Playground中开始构建或使用文档和参考客户端2集成LiveKit和Agora提供的音频组件3使用Twilio集成Realtime API与Twilio的语音API4创建WebSocket连接以与GPT-4o模型交换消息5调用功能以响应用户请求并触发动作6利用音频输入和输出处理语音交互7监控API使用情况以确保符合OpenAI的使用政策