
为任意转写文本提供精准的逐词时间戳。
Apple 说「world」从 2.61 秒持续到 3.04 秒,Align 说是 2.57 到 2.98。在那里下刀,切口干净,字幕在词上亮起,高亮从说话人开口的地方开始。
你保留 Apple 的转写器。Align 读取 SpeechAnalyzer 本来就拿到的同一段音频,返回同样的词,但起止时间更贴合,只需几毫秒,下载仅 0.7 MB。在干净的音频上,这把 Apple 平均 113 毫秒的偏差降到 45 毫秒。
遇到 Align 无法改进的词,就保留 Apple 的时间,因此一次校正只会帮忙,或者原样不动。支持九种语言,此外的语言会原样通过,Apple 的时间保持不变。
精度提升五倍。
在 LibriSpeech test-clean 上,苹果的逐词时间平均偏差 106.4 ms;Align 将其降到 20.2 ms,95% 的词落在 50 ms 以内,模型仅 0.7 MB。
与参考词边界的平均绝对距离,取自 LibriSpeech 每个官方划分的 500 个片段样本,训练与评测不共用任何说话人
| 划分 | Apple 原始 | Align | 50 毫秒以内 |
|---|---|---|---|
| test-clean | 106.4ms | 20.2ms | 95% |
| test-other | 111.6ms | 24.8ms | 92% |
基于 v1.0.0 权重评测。参考值来自 Qwen3-ForcedAligner 与第二个对齐器结合的机器强制对齐估计,并非人工标注,因此这些数字体现的是时间误差大幅且一致的下降,而不是样本级别的绝对真值。唯一的例外是与 WhisperX 的对比,它在 258 个由人对照波形手工校正的词边界上测得。
应用场景
为任意转写文本提供精准的逐词时间戳。.
跟得上的逐词字幕
在字幕视图、卡拉 OK 式的歌词页或语言学习应用里,随着每个词被说出而点亮它,字幕来自 Apple 的转写。时间落在词上,而不是差开十分之一秒。
在词上剪一段片段
在播客剪辑器或视频应用里,把一段录音修剪到某句引语,让切口从这个词开始的地方开始。不带上一个词的任何一帧,不切掉辅音,也不用在时间线上手动微调。
在转写文本里高亮正在说的词
在会议记录器或课程应用里,让转写文本随播放同步滚动,高亮跟着词走,而不会跑到音频前面去。
落在那一刻的搜索
在设备上,跳到某个词被说出的那一秒,直接检索一批录音。时间足够贴合,播放头会落在这个词上,而不是停在上一个词中间。
灵感
用 Align 构建的点子。把提示词复制到你的编码 agent 里就能开始。
Highlight each word as it's spoken, timed to the audio.
Run Apple's SpeechTranscriber with Desert Ant's Align attached as a timestamp refiner, then highlight each word using its refined time range. Align tightens Apple's word timings on-device; iOS 26 / macOS 26. Build it with the Desert Ant SDK. Align (Swift). Install and API: https://desertant.com/docs/align/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Tighten a system transcriber's word timings so captions land on the word.
Attach Desert Ant's Align as a refiner to Apple's SpeechAnalyzer / SpeechTranscriber so its word-level timings tighten and captions and cuts land exactly on the word. iOS 26 / macOS 26, on-device. Build it with the Desert Ant SDK. Align (Swift). Install and API: https://desertant.com/docs/align/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a text-based video editor where selecting words trims the clip.
Transcribe with Apple's SpeechTranscriber and Desert Ant's Align refiner for word-exact timings, then let the user select words to trim the video to that span. Deleting a sentence deletes the footage. iOS 26 / macOS 26. Build it with the Desert Ant SDK. Align (Swift). Install and API: https://desertant.com/docs/align/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Add bouncing word-by-word captions to vertical videos.
Add animated word-by-word captions to short vertical videos, timed with Desert Ant's Align attached to Apple's SpeechTranscriber so each word pops exactly when it's said. On-device, iOS 26 / macOS 26. Build it with the Desert Ant SDK. Align (Swift). Install and API: https://desertant.com/docs/align/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Make transcript search jump the audio to the exact word.
In an Apple media app, transcribe with SpeechTranscriber and Desert Ant's Align refiner so a search result seeks the audio or video to the precise word, not the sentence. iOS 26 / macOS 26. Build it with the Desert Ant SDK. Align (Swift). Install and API: https://desertant.com/docs/align/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
模型能做什么
- 校正 Apple 的
SpeechTranscriber和SpeechAnalyzer返回的词级时间,而不替换它们:同样的词、同样的结果接口,更贴合的audioTimeRange值。 - 平均时间误差从 124.2 ms 降到 43.9 ms,为九种语言的宏平均,不会由单一语言撑起这个数字。英语上更进一步:从 106.4 ms 降到 20.2 ms。
- 在 LibriSpeech test-clean 的 500 个片段样本上,95% 的词落在参考的 50 ms 以内,此前为 37%。改善最大的是最差的十分之一:从 230.7 ms 降到 33.0 ms,约合 30fps 视频的一帧。
- 一套结构化回退机制:只要一次校正会不合法、触到搜索窗口的边缘,或缺少流式上下文,就保留 Apple 原始的时间戳。
- 九种语言:英语、西班牙语、法语、意大利语、葡萄牙语、德语、日语、韩语和中文。其他语言原样通过。
- 编译后的 Core ML 约 0.7 MB,分两个阶段,在 CPU 和 Neural Engine 上运行;典型结果在几毫秒内完成精修。
快速上手
只需几行代码,即可为你的 iOS or macOS 应用加上 逐词时间戳。 Align 文档.
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0")
// target dependency
.product(name: "Align", package: "desert-ant-core")
import Align
let refiner = try await SpeechTimestampRefiner(locale: locale)
try await analyzer.start(inputSequence: inputs.recordingAudio(for: refiner))
for try await result in transcriber.results.refiningTimestamps(with: refiner) {
result.words // [WordTiming]: text, start, end, refined
}
Add Align from Desert Ant Labs to this Swift project (iOS, macOS). What it does: Align:面向任意转写文本的设备端逐词时间戳. SDK: Swift (iOS, macOS) Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme // Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0") // target dependency .product(name: "Align", package: "desert-ant-core") Reference: - Model page: https://desertant.com/models/align/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
规格
- 准确度
- 在 LibriSpeech test-clean 上平均误差 20.2 ms,苹果为 106.4 ms;九种语言整体 43.9 ms,苹果为 124.2 ms
- 设备端体积
- 编译后的 Core ML 约 0.7 MB(两个 0.3 MB 的阶段,加上滤波器组和校准器)
- 语言
- 英语、西班牙语、法语、意大利语、葡萄牙语、德语、日语、韩语、中文
- 模型
- 在 log-mel 频谱上由粗到细的两阶段级联,每阶段 12.1 万参数,配合梯度提升校准器
- 平台
- iOS 26、macOS 26、tvOS 26、visionOS 26(Core ML),即 SpeechAnalyzer 所在的系统
Align 修正转写的时间;它本身不做转写,Swift SDK 需要苹果的 SpeechAnalyzer,也就是 iOS 26、macOS 26、tvOS 26 或 visionOS 26。Align 不保证改进每一个词。保留原时间戳的兜底机制拦截的是看起来不稳妥的修正,并非所有错误的修正。最弱的情况是口述数字:在小样本上,精修反而把数字边界推得离参考更远。
常见问题
Align 是什么?
端侧逐词时间戳,适用于任何转写。以五倍的精度,在词的位置剪辑、加字幕、做高亮。仅 0.7 MB。
Align 在设备上运行吗?
是的。Align 在设备上运行,不调用任何服务器,因此数据始终留在用户手中。
Align 支持哪些平台?
Align 以面向 Swift 的原生设备端 SDK 形式提供。
Align 的价格是多少?
每个模型的每个 SDK 均可免费支持最多 10 万台月活跃设备。每位用户调用模型的次数不设上限。 如需定制授权,请联系我们。
Align 的准确度和速度如何?
在 LibriSpeech test-clean 上,苹果的逐词时间平均偏差 106.4 ms;Align 将其降到 20.2 ms,95% 的词落在 50 ms 以内,模型仅 0.7 MB。