跳到正文
发现
sherpa-onnx:离线语音处理工具包
其他AI 应用

sherpa-onnx:离线语音处理工具包

基于 next-gen Kaldi 与 onnxruntime 的离线语音工具包,支持语音识别、合成、说话人分离等,多平台可用。

admin
发布于 2026-10-28
浏览
4
访问
0
下载
0
版本
v2.0.1
该作品还没有经过官方审核。访问演示、下载或复制命令前,请自行确认来源可信。

详细介绍

项目简介

sherpa-onnx 是一个基于 next-gen Kaldi 和 onnxruntime 的离线语音处理工具包,可在不联网的情况下在本地运行多种语音任务。它面向需要在嵌入式设备、移动端、桌面端和服务器上部署语音能力的开发者。项目采用 Apache-2.0 许可证,文档主页为:https://k2-fsa.github.io/sherpa/onnx/index.html

主要功能

  • 语音识别(ASR),支持流式与非流式
  • 文本合成语音(TTS)
  • 说话人分离、说话人识别、说话人验证
  • 语种识别、音频标签(audio tagging)、VAD
  • 语音增强(如 gtcrn、DPDFNet、VoxLock)
  • 关键词检测
  • 音源分离(如 spleeter、UVR)

支持平台与语言

支持 x86、x86_64、32 位 ARM、64 位 ARM(arm64、aarch64)、RISC-V(riscv64)、RK NPU、Ascend NPU 等架构,可在 Linux、macOS、Windows、openKylin、Android、WearOS、iOS、HarmonyOS、NodeJS、WebAssembly 等环境运行。README 还列出了 NVIDIA Jetson Orin NX、NVIDIA Jetson Nano B01、Raspberry Pi、RV1126、LicheePi4A、VisionFive 2、旭日X3派、爱芯派、RK3588、SpacemiT-K1、SpacemiT-K3 等设备支持。

提供 C++、C、Python、Go、C#、Java、Kotlin、JavaScript、Swift、Rust、Dart、Object Pascal API,并支持 WebAssembly。框架方面支持 Flutter 和 Tauri,README 给出了预构建 demo:

同时支持 Rockchip NPU(RKNN)、Qualcomm NPU(QNN)、Ascend NPU、Axera NPU、Intel NPU(OpenVINO)。

安装与使用

资料中未提供统一安装命令。可访问官方文档 https://k2-fsa.github.io/sherpa/onnx/index.html 查看各语言、各平台的构建与使用方式。README 还提供了无需安装的 Hugging Face Spaces 在线体验入口,覆盖说话人分离、语音识别、Whisper 语音识别、语音合成、字幕生成、音频标签、音源分离、语种识别,以及基于 WebAssembly 的 VAD、实时语音识别、语音合成、说话人分离和声音克隆等演示。

注意事项

  • 所有功能均在本地离线运行,不依赖网络。
  • 支持平台、架构、框架和 NPU 较多,具体可用组合以 README 表格和官方文档为准。
  • 预构建 Android APK、Flutter/Tauri demo 等资源可在对应 releases 页面查看。

本作品整理自 GitHub 开源项目 k2-fsa/sherpa-onnx,原作者 @k2-fsa,许可证 Apache-2.0。中文介绍由 AI 根据项目 README 整理,以原仓库为准。

更新记录

  1. v2.0.1当前版本

    修复 Flutter 包发布与 Canary 解码问题;新增 VoxLock 目标说话人语音隔离及多语言 API;改进 NeMo CTC 与 Kokoro 量化。

评论