将mp4文件发送到ASR，识别不出来文字

[funny-clivia]

日志如下：
jsonresult={"chunk_interval":10,"chunk_size":[5,10,5],"hotwords":"","is_speaking":true,"mode":"offline","wav_format":"mp4","wav_name":"/ftpUploadPath/recordings/2026-03/auto-record-20260325-104504-10000-100020001-d5fc3b94-bbad-ce05-8086-ab9854bcc8e8.mp4"}, msg_data->msg={"access_num":0,"audio_fs":16000,"is_eof":false,"itn":true,"mode":"offline","wav_format":"mp4","wav_name":"/ftpUploadPath/recordings/2026-03/auto-record-20260325-104504-10000-100020001-d5fc3b94-bbad-ce05-8086-ab9854bcc8e8.mp4"}
E20260325 10:45:27.231494 2175 funasrruntime.cpp:517] Wrong wav_format: mp4
核心是：Wrong wav_format: mp4
看官网的话是支持mp4的。

版本号：
registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-cpu-0.4.6

[LauraGPT]

FunASR runtime 的 websocket 2pass 模式目前只支持 pcm 格式音频输入，不支持 mp4。请在发送到服务之前先用 ffmpeg 转换：

ffmpeg -i input.mp4 -ar 16000 -ac 1 -f wav output.wav

然后将 wav_format 设置为 "pcm" 发送给服务。

[funny-clivia]

@LauraGPT offline和online模式也是一样的吗？

[LauraGPT]

重新打开。原回答只说明了 WebSocket 2pass 的输入边界，但报告者随后追问 offline / online 模式是否相同，这个问题没有得到回答，因此不应继续显示为已解决。我们会按当前服务端实现分别核对 offline、online、2pass 三种模式的容器解码与 wire format，而不是把“模型可读取的文件格式”和“WebSocket 协议传输格式”混为一谈；在核对并给出可执行示例前保持开放。

[LauraGPT]

核对了当前 main（8cd758c0ced576516b05a749194e6a94cdd38f99）以及你日志里的 funasrruntime.cpp:517，结论如下。

你正在使用 funasr-wss-server-2pass 时

offline、online、2pass 三种 mode 都只接受 PCM 音频流。mode 只决定识别策略，不能切换容器解码能力：服务端先把三个值映射成 ASR_OFFLINE / ASR_ONLINE / ASR_TWO_PASS，随后三者都调用同一个 FunTpassInferBuffer；该函数遇到非 pcm/PCM 会直接返回 Wrong wav_format。

• mode 映射与统一调用路径：websocket-server-2pass.cpp#L172-L192
• 2pass 引擎只接受 PCM：funasrruntime.cpp#L512-L519

因此不能把 MP4 文件字节直接分块发送并设置 wav_format: "mp4"。请先解码成 16 kHz、单声道、16-bit little-endian 原始 PCM：

ffmpeg -i input.mp4 -map 0:a:0 -ac 1 -ar 16000 -c:a pcm_s16le -f s16le output.pcm

然后发送 output.pcm 的原始二进制内容，并在首条控制消息中使用：

{"mode":"offline","wav_format":"pcm","audio_fs":16000,"is_speaking":true}

mode 改成 online 或 2pass 时，wav_format 仍然是 pcm。另外纠正我之前的示例：如果自定义客户端直接读取整个文件字节，不能把带 WAV 文件头的 output.wav 当作 raw PCM 发送；官方客户端读取 WAV 时会先剥离容器头，只发送音频 frames。

单独的 offline server 是另一条路径

独立的 funasr-wss-server / FunOfflineInferBuffer 对非 PCM 数据会调用 FFmpeg，因此可以解码 MP3/MP4 等完整容器字节：funasrruntime.cpp#L219-L225。但这是一套不同的服务端程序，不能仅靠把 2pass 连接里的 mode 改成 offline 获得该能力。

这个 issue 继续保持开放。请按 raw PCM 方式复测，并贴一下实际启动的服务端可执行程序/脚本（尤其是是否为 run_server_2pass.sh）和复测结果；确认原问题解决后再关闭。