Voz：在神经网络引擎上运行的设备端语音转文字

在 iPhone 上 2 秒转写 10 分钟音频。

用 Voz 转写一个音频或视频文件，为每个词拿到精准的起止时间。在 iPhone 上，10 分钟只要 2 秒，全程在设备上，什么都不上传，也不按分钟计费。

在 Apple 芯片上，模型运行在神经网络引擎上，因此转写快如闪电，也更省电。在 Mac 上，一整库播客、访谈和讲座一遍就能过完，什么都不上传。

时间戳精准到可以据此剪辑。词的起点落在强制对齐器的 83 毫秒以内，词的终点在 95 毫秒以内，足以做基于转写的精确剪辑。Voz 是 NVIDIA Parakeet TDT 0.6B v3 面向 Apple 神经网络引擎优化的版本，在大多数音频上准确度与 Whisper large-v3-turbo 相当，下载体积仅 467 MB。

比 Whisper 快 4.7 倍。

在 iPhone 17 Pro 上，10 分钟旁白 2 秒、30 分钟 6 秒，iPhone 15 Pro 上 7 秒。在 Mac 上，处理同一段播客音频比 whisper.cpp large-v3-turbo 快 4.7 倍，在六个公开英语集合上词错误率为 7.40%，Whisper 为 7.00%。

0.0s

0:00 / 30:00

音频：Ant Ventures，一段 LibriVox 录音，公有领域。

6s

半小时音频

iPhone 17 Pro，在神经网络引擎上

4.7x

比 Whisper 快

通过 whisper.cpp 的 large-v3-turbo，M3 Ultra

7.40%

词错误率

Open ASR Leaderboard 的六个集合；Whisper large-v3-turbo 为 7.00%

467MB

磁盘占用

Whisper large-v3-turbo：fp16 下 1.6 GB

Open ASR Leaderboard 数据集上的词错误率，Voz 使用自己的文本归一化器，Whisper 的数据取自排行榜

数据集	Voz	Whisper large-v3-turbo
LibriSpeech test-clean	2.19%	2.13%
LibriSpeech test-other	3.86%	3.70%
GigaSpeech	9.70%	8.47%
SPGISpeech	3.86%	2.79%
Earnings-22	12.97%	11.07%
AMI	11.84%	13.87%
Average	7.40%	7.00%

看与你音频相符的那一行。干净、近距离拾音的语音约落在 2% 到 4%（LibriSpeech、SPGISpeech），播客和网络视频约 10%（GigaSpeech），会议室和电话通话 12% 到 13%（AMI、Earnings-22），这正是模型胜过 Whisper 的地方。各语言各 10 分钟朗读语音的数据在模型卡上，从意大利语的 3.31% 到希腊语的 39.46%。iPhone 计时和 whisper.cpp 对比是我们自己的测试，尚未收录到模型卡里。

转写任意音频或视频文件

录一段播客或视频，在导出完成之前完整转写就已就绪。可搜索的文本，每个词都带时间戳，支持 25 种语言中的任意一种，全程不离开设备。

清完积压的存量

一批访谈、讲座或会议录音，在 Mac 上一遍就变得可搜索。一百小时 20 分钟过完，什么都不上传。

在词上剪辑

每个词都带起点和终点，因此在转写文本里选中的一段范围，就是视频剪辑器里的一刀。把它和 Clips 搭配做短视频，再用 Title 给它们命名。

灵感

用 Voz 构建的点子。把提示词复制到你的编码 agent 里就能开始。

Voz

Build a podcast player that transcribes every episode and makes it searchable, on the device.

Voz

Build a meeting recorder that hands you a timestamped transcript before you leave the room.

Voz

Turn voice memos into searchable, editable text notes, offline.

Voz

Generate SRT subtitles for any video file on the Mac.

Voz

Add captions to a video player that run on the device.

Voz

Build an interview app for journalists where sources never leave the phone.

VozClipsTitle

Build a full podcast studio: transcribe, clip, and title on the device.

ClearVozClips

Record, clean, transcribe, and clip: a whole creator pipeline, offline.

查看全部 26 个点子

模型能做什么

词的起点平均落在强制对齐器的 83 毫秒以内，词的终点在 95 毫秒以内，帧分辨率为 80 毫秒。
在 iPhone 17 Pro 上，10 分钟音频 2 秒、30 分钟 6 秒；在 M3 Ultra 上 290 倍实时。单条短片段跑 50 到 62 倍，因为每个片段都要为一个完整的 15 秒窗口买单。
在 Open ASR Leaderboard 的六个集合上平均词错误率 7.40%（Whisper large-v3-turbo：7.00%），半小时旁白上 2.83%（Whisper：2.72%），AMI 会议上 11.84%（Whisper：13.87%）。
整个计算图都在神经网络引擎上运行，不回退到 CPU 或 GPU；峰值内存不随录音时长增长。
25 种语言：保加利亚语、克罗地亚语、捷克语、丹麦语、荷兰语、英语、爱沙尼亚语、芬兰语、法语、德语、希腊语、匈牙利语、意大利语、拉脱维亚语、立陶宛语、马耳他语、波兰语、葡萄牙语、罗马尼亚语、俄语、斯洛伐克语、斯洛文尼亚语、西班牙语、瑞典语和乌克兰语。
磁盘上 467 MB，按需下载并缓存；下载后首次加载会有一次 20 秒，等 Core ML 做专门化，之后为 0.2 秒。请在引导流程中下载。
任意采样率的单声道音频；SDK 会重采样并下混。较长的音频会在停顿处切成 15 秒的窗口，再在相邻窗口一致认同的词上拼接。
基于 NVIDIA 的 Parakeet TDT 0.6B v3 构建，以 CC BY 4.0 发布。权重未作改动；转换、压缩和神经网络引擎运行时是我们做的。

示例应用

Clipper

使用 Voz, Clips, Title 构建

Generate short clips from a video podcast or a long recording, fully on device. A macOS app and a command-line tool over the same core.

Voz transcribes with a time on every word, Clips ranks the best spans, and Title writes a title and description for each.

macOS 26 or later, Apple Silicon

使用 Homebrew 安装

brew tap desert-ant-labs/tap
brew install --cask clipper

查看源代码或下载 macOS 版本

快速上手

只需几行代码，即可为你的 iOS or macOS 应用加上语音识别。 Voz 文档.

iOS, macOS

安装

// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0")
// target dependency
.product(name: "Voz", package: "desert-ant-core")

示例 - Swift

import Voz

let voz = try await Voz()
let result = try await voz.transcribe(url)
result.text                     // the transcript
result.words.first?.start       // 80ms resolution
result.realtimeFactor           // seconds of audio per second of wall clock

用提示词构建

Add Voz from Desert Ant Labs to this Swift project (iOS, macOS).

What it does: Voz：在神经网络引擎上运行的设备端语音转文字.

SDK:

Swift (iOS, macOS)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0")
// target dependency
.product(name: "Voz", package: "desert-ant-core")

Reference:
- Model page: https://desertant.com/models/voz/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

GitHub 上的 SDK

Android即将推出

Web, Node.js即将推出

规格

速度: 10 分钟音频在 iPhone 17 Pro 上 2 秒，30 分钟 6 秒（iPhone 15 Pro 上 7 秒）；30 分钟在 M3 Ultra 上 5.6 秒，319 倍实时
准确度: 在 Open ASR Leaderboard 的六个集合上 WER 7.40%；长文本 2.83%；词起点 83 毫秒、终点 95 毫秒平均误差
设备端体积: 467 MB 编译后 Core ML，按需下载
语言: 25 种欧洲语言；朗读语音上准确度从 3.31%（意大利语）到 39.46%（希腊语）
模型: NVIDIA Parakeet TDT 0.6B v3（CC BY 4.0），由 Desert Ant Labs 转换为 Core ML 并压缩：对数梅尔前端、conformer 编码器、transducer 解码器，全部在神经网络引擎上
平台: iOS、iPadOS、macOS、tvOS、visionOS（Core ML）；仅 Apple

常见问题

Voz 是什么？

设备端语音转文字：在 iPhone 上 2 秒转写 10 分钟音频，比 Whisper 快 4.7 倍，逐词时间戳精准。

Voz 在设备上运行吗？

是的。Voz 在设备上运行，不调用任何服务器，因此数据始终留在用户手中。

Voz 支持哪些平台？

Voz 以面向 Swift 的原生设备端 SDK 形式提供。

Voz 的价格是多少？

每个模型的每个 SDK 均可免费支持最多 10 万台月活跃设备。每位用户调用模型的次数不设上限。如需定制授权，请联系我们。

Voz 的准确度和速度如何？