OpenAI 宣布推出实时 API 的公开测试版，这将使所有付费开发者能够在其应用中构建低延迟、多模态的用户体验。与 ChatGPT 的高级语音模式类似，实时 API 支持使用六种预设声音进行自然的语音对话。

同时，OpenAI 还在其 聊天完成 API（Chat Completions API） 中引入了音频输入和输出功能，以支持不需要实时 API 低延迟优势的用例。通过这次更新，开发者可以将任何文本或音频输入传递给 GPT-4o 模型，并让模型以文本、音频或两者兼有的方式响应。

OpenAI 表示，从语言应用、教育软件到客户支持体验，开发者们已经在利用语音体验与用户建立联系。现在有了实时 API，以及即将推出的聊天完成 API 中的音频功能，开发者不再需要拼接多个模型来实现这些体验。相反，他们可以通过单一的API调用来构建自然的对话体验。

技术介绍

实时API是一项革命性的技术，它为开发者提供了构建低延迟、多模态应用的能力。这项API的核心特征包括：

  1. WebSocket连接：实时API使用持久的 WebSocket 连接，允许与 GPT-4o 模型进行实时消息交换。这种方法显著降低了延迟，使对话体验更加自然流畅。
  2. 音频流处理：API 支持音频输入和输出的直接流式传输，这意味着用户可以在说话的同时获得实时响应，类似于人类之间的对话。
  3. 中断处理：实时 API 能够自动处理对话中的中断，这是模仿真实对话的一个重要特性。
  4. 函数调用支持：API 支持函数调用功能，使语音助手能够触发动作或引入新的上下文，从而增强其响应能力和实用性。
  5. 多模态集成：虽然目前主要支持语音，但 API 计划在未来扩展到视觉和视频等其他模态。
  6. 扩展性：API 支持同时进行约100个会话（对于最高级别的开发者），并计划在未来增加这一限制。

安全性和隐私

OpenAI 强调，实时 API 采用多层安全保护措施，包括自动监控和人工审查，以减少 API 滥用的风险。公司表示，这项服务遵循其企业隐私承诺，不会在未经明确许可的情况下使用这项服务的输入或输出来训练模型。

定价和可用性

实时 API 使用文本令牌和音频令牌的组合定价方式。文本输入令牌的价格为每100万个5美元，输出令牌为每100万个20美元。音频输入的价格为每100万个令牌100美元，输出为每100万个令牌200美元。这相当于每分钟音频输入约 0.06 美元，每分钟音频输出约 0.24 美元。

未来发展

OpenAI表示，他们计划在未来扩展实时 API 的功能，包括增加更多模态如视觉和视频，提高同时会话的限制，集成到 OpenAI 的 Python 和 Node.js SDK 中，以及支持提示缓存功能。公司还计划在未来版本中支持 GPT-4o mini模型。实时 API 的推出标志着 AI 与人类交互方式的重大进步。它为开发者提供了一个强大的工具，可以创建更自然、更富有表现力的 AI 驱动体验，适用于教育、翻译、客户服务和辅助功能等广泛的应用场景。

详细介绍：Introducing the Realtime API