Clips.
设备端片段挑选：根据转写文本，把长录音变成按精彩程度排序的短片和高光，运行在 iPhone 或 Mac 上。
生成短视频和高光片段。
对一段 25 分钟的录音，Clips 在 iPhone 17 Pro 上 9 秒内排出 12 个片段。生成一份排好序的片段清单，即刻分享。
Clips 分析一份转写文本，找出最精彩的时刻和故事，返回一份排好序的片段清单。用这份排序去做高光集锦或摘要视频。搭建你自己的剪辑引擎或自动剪辑，没有推理成本。
什么都不上传，因此剪整个往期库和剪一个视频花费相同。没有长度限制，也没有最大上下文限制。用 Clips 处理短视频或音频文件，几秒钟就能得到一份摘要，也可以不受限制地处理成小时计的录音。
25 分钟视频，9 秒剪好。
Clips 在 iPhone 17 Pro 上 9.19 秒内，把一份 404 句、25 分钟的转写文本排成 12 个片段，全部在设备上完成。
在设备上测量，固定使用 CPU 和神经网络引擎
| 转写文本 | iPhone 17 Pro | iPhone 15 Pro |
|---|---|---|
| 25-minute video, 12 clips | 9.19s | 10.22s |
| Per candidate, encoder only | 2.78ms | 3.13ms |
在实际发布的 Core ML 构建上的内部测量。片段的首尾是已知的弱点，某个时刻附近的选段对细小的分数变化很敏感，因此换一个运行时或量化方式，会返回一组不同但相当的结果。
从一集播客里做短视频
在导出完成之前，就把一集一小时节目里最精彩的五个时刻做成排好序的短视频，只需几秒钟，全部在设备上完成。
自动剪辑一段长素材
在视频剪辑器里，把一段啰啰嗦嗦的 25 分钟素材变成一段紧凑的成片。得到一份集齐视频里最重要洞见的高光集锦，可供审阅或发布。
剪完整个往期库
在 Mac 上通宵把一整库录制的演讲或直播过一遍 Clips。什么都不上传，也不按视频计费，因此一千个视频和一个视频花费相同。
上百种语言的高光片段
一款以西班牙语、葡萄牙语和德语发布的创作者应用，在这三种语言里得到同样的片段挑选：一个模型覆盖上百种语言，从转写文本出发，在设备上完成。
灵感
用 Clips 构建的点子。把提示词复制到你的编码 agent 里就能开始。
Turn any recording into a ranked set of shorts.
Build a feature that takes a recording's transcript and uses Desert Ant's Clips to rank the best non-overlapping moments, then exports them as vertical shorts. On-device, so a back catalog costs the same as one video. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Generate a highlight reel from a long stream or talk.
Build a 'make highlights' button that runs Desert Ant's Clips over a talk or stream transcript to pick the strongest moments and assemble a highlight reel, ranked best first. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Produce a rough auto-edit from a rambling take.
Build an auto-edit that uses Desert Ant's Clips to select the clips worth keeping from a long, rambling recording and lays them on a timeline for review. Control how tight the cut is with the percentile threshold. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Clip a whole back catalog of videos overnight on a Mac.
Build a batch job that runs Desert Ant's Clips over an archive of recorded talks or streams on a Mac, exporting ranked clips for each. Nothing uploaded, no per-video bill. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a full podcast studio: transcribe, clip, and title on the device.
Build a podcast tool that runs Desert Ant's Voz to transcribe an episode, Clips to pick the best moments as shorts, and Title to name and describe each clip, all on-device with no per-minute or per-token bill. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Record, clean, transcribe, and clip: a whole creator pipeline, offline.
Build a creator pipeline: Desert Ant's Clear cleans the recording, Voz transcribes it, and Clips pulls the shorts, all on the device so a full episode never touches a server. Build it with the Desert Ant SDK. Clear (Swift, Kotlin, JavaScript / TypeScript). Install and API: https://desertant.com/docs/clear/. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Turn a webinar into teaser clips for social.
Transcribe a webinar with Desert Ant's Voz and use Clips to pull the strongest moments as teaser clips for social, on-device. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a fully local clipping engine: transcribe, clip, title, caption.
Chain Desert Ant's Voz (transcribe with word timestamps), Clips (select the moments), and Title (name each clip) into a clipping engine that runs entirely on-device on iPhone or Mac, with word-accurate captions from Voz and no per-minute cost. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
模型能做什么
- 对一份转写文本里最精彩、互不重叠的时刻排序：每个片段都会打分并排序。构建强有力的选段，或独特的剪辑功能，从视频或音频录音里挑出最好的句子。
- 控制选段。按
percentile而非原始分数设阈值：0.8 的切分平均得到 5 个片段，覆盖视频的 17%（高光）；0.3 的切分平均得到 32 个片段，覆盖 74%（自动剪辑）。 - 没有上下文窗口：句子分批送进选择器，每个候选各自打分，因此没有需要绕开的上下文限制。可以毫无问题地从长视频或长音频转写里生成片段。
- 更快、更好、更省。一份 404 句、25 分钟的转写文本，在 iPhone 17 Pro 上 9.19 秒返回 12 个片段，在 iPhone 15 Pro 上 10.22 秒；仅编码器每个候选 2.78 毫秒。
- 多语言支持。一个 278M 参数的 xlm-roberta-base 主干覆盖 100 种语言：在 Apple 上是一个 284 MB 的 int8 Core ML 包。
- 把 Clips 与我们的 Title 模型搭配，生成标题和描述，构建一个完全本地运行的剪辑引擎。
示例应用
Clipper
使用 Voz, Clips, Title 构建
Generate short clips from a video podcast or a long recording, fully on device. A macOS app and a command-line tool over the same core.
Voz transcribes with a time on every word, Clips ranks the best spans, and Title writes a title and description for each.
macOS 26 or later, Apple Silicon
brew tap desert-ant-labs/tap
brew install --cask clipper快速上手
只需几行代码，即可为你的 iOS or macOS 应用加上 片段挑选。 Clips 文档.
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0")
// target dependency
.product(name: "Clips", package: "desert-ant-core")import Clips
let clips = Clips()
let moments = try await clips.clips(in: sentences) // [Clip], best first
for clip in moments {
print(clip.text, clip.start, clip.end, clip.percentile)
}Add Clips from Desert Ant Labs to this Swift project (iOS, macOS). What it does: Clips：从任意录音生成短视频和高光片段，设备端运行. SDK: Swift (iOS, macOS) Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme // Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0") // target dependency .product(name: "Clips", package: "desert-ant-core") Reference: - Model page: https://desertant.com/models/clips/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
规格
- 速度
- 一份 25 分钟的转写文本，在 iPhone 17 Pro 上 9.19 秒，在 iPhone 15 Pro 上 10.22 秒
- 设备端体积
- 284 MB int8 Core ML（Apple）；面向 Android、Linux 和 Windows 的两个 283 MB LiteRT 文件
- 语言
- 100
- 模型
- xlm-roberta-base 主干，278M 参数，四个输出头：显著性、起点、终点、片段分数
- 平台
- iOS 18、macOS 15、tvOS 18、visionOS 2（Core ML）。面向 Android、Linux 和 Windows 的 LiteRT 文件已发布，但我们的 SDK 尚未支持。
片段的首尾是弱点。一个片段可能以一个指代前一句的代词开头、把两个话题揉在一起、在关键点之前就切断，或者吞掉一段口播广告。短视频返回的片段很少，转写文本不足三句则不返回，片段上限是一个上限，而不是配额。非拉丁文字测试不足，Linux 和 Windows 文件我们的 SDK 尚未支持。
常见问题
Clips 是什么？
设备端片段挑选：根据转写文本，把长录音变成按精彩程度排序的短片和高光，运行在 iPhone 或 Mac 上。
Clips 在设备上运行吗？
是的。Clips 在设备上运行，不调用任何服务器，因此数据始终留在用户手中。
Clips 支持哪些平台？
Clips 以面向 Swift 的原生设备端 SDK 形式提供。
Clips 的价格是多少？
每个模型的每个 SDK 均可免费支持最多 10 万台月活跃设备。每位用户调用模型的次数不设上限。 如需定制授权，请联系我们。
Clips 的准确度和速度如何？
Clips 在 iPhone 17 Pro 上 9.19 秒内，把一份 404 句、25 分钟的转写文本排成 12 个片段，全部在设备上完成。