FIGURE 2.0 / API RESEARCH / 2026-10-26

给角色接上声音与理解

← 返回 H5
接口研究与接线Demo,不是实测排行榜

先能分辨哪里不像她,
再选最终供应商。

当前没有外部付费API Key。以下为官方文档核对和本地协议测试结果,不代表真实供应商或日本用户已验收。

推荐起步组合

文本对话:OpenAI Responses作为质量基线;文件识别:gpt-transcribe;日语试音:Azure Speech / Nanami;实时对照:Realtime 和 GPT-Live 分开实验。面向日本的日语自然度、角色稳定性与价格必须实际盲测,不以模型知名度替代评估。

当前实现是录音后上传、完整文本回复、完整MP3播放,不声称已做流式链路。实时实验走独立WebRTC通道;与主聊天不共享新产生的历史,只读取角色和显式记忆的启动快照。

01 / 文本与识别

OpenAI Responses:页面选官方服务,填入Key和模型ID,应用后先测试角色对话。角色和显式记忆由后端组装,接口使用store=false。账号是否能调用gpt-6.1-sol需实测。官方文本接口

兼容服务:Qwen百炼可用Chat Completions协议。模型ID和区域端点以你控制台为准;Key和区域不能随意混搭。页面支持阿里云官方workspace域名与预设兼容端点。DeepSeek/OpenRouter只是通用协议接线,不代表已评测它们的日语角色效果。Qwen官方入门

识别:本页上传小于8MB的音频或从主聊天按钮录制,后端拼接multipart调用/audio/transcriptions。默认gpt-transcribe,兼容旧模型ID可手动填写。gpt-live-transcribe是实时转写路径,不能直接替换本页文件识别模型。文件识别 · 实时转写(尚未实现独立转写面板)

02 / 人物音色

Azure:填写Speech资源Key和对应region,默认japaneast仅是候选,必须与你资源一致。Nanami支持chat、cheerful等风格,其他音色请核对支持表;不能认为所有日语音色都有同样情绪。语速和音高通过SSML表达,正文会做XML转义,不让普通输入变成SSML指令。REST接口 · 音色支持表

旧OpenAI Speech:只保留作短期对照。官方文档显示tts-1、tts-1-hd、gpt-4o-mini-tts计划2027-01-06停用,迁移到Realtime不是只换模型ID。页面不会把gpt-realtime-2.1-mini发给旧/audio/speech接口。官方TTS迁移提示

角色设计:人格卡决定关注点;语言卡决定称呼、敬语和句尾;声音卡决定稳定音色、节奏和表演范围。语气词按情境使用,不是每轮添加「えへへ」。建议同一段台词测试问候、疲惫、轻笑、拒绝、解释、重逢六种表现。

03 / Realtime 与 GPT-Live 不是同一个接口

Realtime:本地后端用Key调用/realtime/calls,H5通过WebRTC收发媒体。默认gpt-realtime-2.1 / marin。采用自动语音轮次检测,实际打断速度与声学条件仍须真机验证。

GPT-Live:另走/live/sessions,模型默认gpt-live-1,可使用内置音色或描述生成的voice ID。复杂响应可委托Responses,当前示例后端模型为gpt-6.1-sol;它的额度与计费也要计算。WebRTC官方流程 · Live创建接口

描述生成音色:先填写原创成年声音描述和OpenAI Key并应用,再点击创建,供应商返回voice ID。ID填入后再次应用,选择GPT-Live试听。创建动作会在供应商账号保存音色;清除本地Key不会删除云端音色。描述生成声音不能在Realtime或旧Speech中使用,不保证独占;真人录音克隆另有同意与客户资格要求,本页未实现。官方音色范围

通话设置3分钟自动结束。GPT-Live会先请求优雅关闭,超时则本地断开并明确最终用量未确认。离开页面释放麦克风。不要把“接口已交换SDP”当成“音频已通”或“费用已结清”。

如何在手机上试

  1. 访问现有H5并输入Demo访问码,点击右上角“API实验室”。
  2. 先只启用一个服务,粘贴对应Key,点击应用,再点该项测试;应用配置不会自动产生供应商调用。
  3. Azure语音可以不依赖文本模型,直接合成试音并下载。录音文件识别也可以单独测试。
  4. 文本与语音都通过后,回主聊天勾选“读出回复”;云端失败会提示,不偷偷降级成浏览器声音。
  5. 麦克风/Realtime需HTTPS或localhost。现有局域网HTTP可做文字、上传识别和合成播放;桌面可用SSH转发后访问localhost。手机公网HTTPS部署尚未在本次修改中配置。

Key与错误处理

所有实验Key只保存在后端进程内存,不进入SQLite、localStorage、日志或GET响应;不会自动复制到账号信息文件。重启服务即清除。共享Demo访问码等于共享当前实验室配置。当前LAN HTTP不加密,只在可信网络填测试Key;正式访问应使用HTTPS。

401一般是认证问题,403可能是权限或区域,404检查接口和模型,429检查额度和限流;网络超时不代表Key错误。错误信息只显示状态与通用解释,不回显供应商原始错误或Key。调用可能把角色设定、选择的记忆、音频和文本发送到对应供应商。

生产产品应改为服务端凭据管理、多用户隔离、预算限额、用量审计、重连与设备身份;当前只有单用户Demo能力。

费用与验收

本页显示请求耗时,不将它当成端到端对话延迟。GPT-Live按会话时长计费,并可能加收委托模型费用;其他服务分别按模型tokens、音频或字符计费。建议用10/30/60分钟真实会话记录输入、输出、静音、识别与音频开销,再估算订阅,不把固定月费当无限调用。价格请查各自官方定价,不在静态页面写一个无法保证更新的“最低价”。

先测:身份一致、未知不编、专名读音、长短句、连续问答、记忆更正、暂停与插话;再在日本网络下测P50/P95延迟及实际分钟成本。本地协议自动测试不等于真人听感或真实供应商测试。