sherpa-onnx+SenseVoiceSmall FP32

sherpa-onnx+SenseVoiceSmall FP32

推理框架

 

Sherpa-ONNX 和 ONNX Runtime 是上下层关系。Sherpa-ONNX 内部调用 ONNX Runtime。

                    你的应用
                        │
        Home Assistant / Wyoming / Python / 
                        │
                        ▼
               sherpa-onnx（语音框架）
        ┌──────────────────────────────┐
        │ STT（ASR）                   │
        │ TTS                          │
        │ VAD                          │
        │ Speaker ID                   │
        │ Keyword Spotting             │
        │ Streaming                    │
        └──────────────────────────────┘
                        │
                        ▼
             ONNX Runtime（推理引擎）
        ┌──────────────────────────────┐
        │ 加载 .onnx                   │
        │ 图优化                        │
        │ CPU 执行             │
        │ Memory 管理                  │
        │ Thread Pool                  │
        └──────────────────────────────┘
                        │
                        ▼
                     ARM CPU

Sherpa-ONNX 是 k2-fsa 团队开发的语音 AI SDK。

ONNX Runtime 是微软开发的通用 ONNX 模型推理引擎。

Sherpa 官方支持ONNX Runtime CPU。

 

模型

 

官方SenseVoice FP32提供了 FP32 和 INT8 两种模型