拆问通常是:ChatGPT 语音怎么开、能不能看圖、API 叫什么、延遲多少、和 Astra 怎么分工。全部寫在本頁分节。
ChatGPT 裡怎么用实時语音#
在支援的用戶端開啟语音模式,允许麦克风。说话時可自然打断;把圖片拖进同一工作階段,用“這个按鈕”“左边那张圖”做指代。Plus 與更高档位额度更稳。企业工作区若關閉语音或檔案,界面會直接不可用,先问管理员而不是换瀏覽器硬试。
Realtime API 适合什么#
需要把麦克风串流接到自己的應用時用 Realtime,而不是用普通聊天接口轮询文本。工作階段是双向音频:你推音频帧,模型回音频帧,工具调用仍走函数。金鑰只放伺服器或短暂的用戶端工作階段令牌,不要写进前端仓库。
體驗上最容易翻车的三点#
- 打断:使用者插话後舊回复必須停,否則像两个人抢话筒。
- 指代:摄像头畫面和上传圖片的坐标系不同,要在提示裡写清“目前畫面”。
- 弱网:先降采样再重连,避免把半截句子当完整指令執行。
和深度推論模型怎么分工#
实時通话追求低延遲,不适合把 o3 或 Astra max 推論塞进每一轮。语音层用 4o / realtime 档听懂意圖,把要算很久的任務丢給後台的 Sol 或 Astra,完成後再用语音摘要。這是一条流水線,不必再开“语音專用網站”。
要點#
- 4o 家族的价值是低延遲多模态,不是最强推論。
- 產品走语音模式,應用走 Realtime,金鑰不进前端。
- 验收打断、指代和弱网,再谈音色好不好听。