Clips.
オンデバイスのクリップ選択。文字起こしから、長い録画をランク付けされたショートとハイライトに。iPhone や Mac で。
ショート動画とハイライトを作る。
25 分の録画から、Clips は iPhone 17 Pro で 9 秒で 12 個のクリップをランク付けします。すぐに共有できる、順位付きのクリップのセレクションを作れます。
Clips は文字起こしを解析して最良の瞬間や話の流れを見つけ、順位付きのクリップの一覧を返します。その順位付きのセレクションを使って、ハイライト集やまとめ動画を作れます。推論コストなしで、独自のクリッピングエンジンや自動編集を作れます。
何もアップロードされないので、過去のアーカイブをクリップ化しても、1 本の動画をクリップ化するのと同じコストで済みます。長さの制限も、コンテキストの上限もありません。Clips を短い動画や音声ファイルに使えば数秒でまとめが得られ、1 時間の録画も制限なく次々と処理できます。
25 分の動画を、9 秒でクリップ化。
Clips は、404 文・25 分の文字起こしを、iPhone 17 Pro で 9.19 秒、端末上で 12 個のクリップにランク付けします。
オンデバイスで計測、CPU と Neural Engine に固定
| 文字起こし | iPhone 17 Pro | iPhone 15 Pro |
|---|---|---|
| 25-minute video, 12 clips | 9.19s | 10.22s |
| Per candidate, encoder only | 2.78ms | 3.13ms |
出荷している Core ML ビルドでの社内計測です。クリップの端は既知の弱点で、ある瞬間の近くでの選択はわずかなスコアの変化に敏感なため、ランタイムや量子化が異なると、異なるものの同等のセットが返ります。
ポッドキャストのエピソードからショートを
1 時間のエピソードの最良の 5 つの瞬間を、順位付きのショートとして、書き出しが終わる前に、端末上でわずか数秒のうちに投稿できます。
長い収録を自動編集する
とりとめのない 25 分の収録を、動画エディターで引き締まったカットに変えます。動画のなかで最も重要な要点を集めたハイライト集が得られ、そのまま確認や公開に回せます。
過去のアーカイブをクリップ化する
録画したトークや配信のライブラリを、Mac で一晩かけて Clips に通します。何もアップロードされず、動画ごとの課金もないので、1,000 本の動画でも 1 本と同じコストで済みます。
100 言語でのハイライト
スペイン語、ポルトガル語、ドイツ語で提供するクリエイター向けアプリは、その 3 言語すべてで同じクリップ選択を得られます。1 つのモデルが、文字起こしから、端末上で 100 言語をカバーします。
インスピレーション
Clips で作るためのアイデア。プロンプトをコーディングエージェントにコピーして始めましょう。
Turn any recording into a ranked set of shorts.
Build a feature that takes a recording's transcript and uses Desert Ant's Clips to rank the best non-overlapping moments, then exports them as vertical shorts. On-device, so a back catalog costs the same as one video. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Generate a highlight reel from a long stream or talk.
Build a 'make highlights' button that runs Desert Ant's Clips over a talk or stream transcript to pick the strongest moments and assemble a highlight reel, ranked best first. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Produce a rough auto-edit from a rambling take.
Build an auto-edit that uses Desert Ant's Clips to select the clips worth keeping from a long, rambling recording and lays them on a timeline for review. Control how tight the cut is with the percentile threshold. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Clip a whole back catalog of videos overnight on a Mac.
Build a batch job that runs Desert Ant's Clips over an archive of recorded talks or streams on a Mac, exporting ranked clips for each. Nothing uploaded, no per-video bill. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a full podcast studio: transcribe, clip, and title on the device.
Build a podcast tool that runs Desert Ant's Voz to transcribe an episode, Clips to pick the best moments as shorts, and Title to name and describe each clip, all on-device with no per-minute or per-token bill. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Record, clean, transcribe, and clip: a whole creator pipeline, offline.
Build a creator pipeline: Desert Ant's Clear cleans the recording, Voz transcribes it, and Clips pulls the shorts, all on the device so a full episode never touches a server. Build it with the Desert Ant SDK. Clear (Swift, Kotlin, JavaScript / TypeScript). Install and API: https://desertant.com/docs/clear/. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Turn a webinar into teaser clips for social.
Transcribe a webinar with Desert Ant's Voz and use Clips to pull the strongest moments as teaser clips for social, on-device. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a fully local clipping engine: transcribe, clip, title, caption.
Chain Desert Ant's Voz (transcribe with word timestamps), Clips (select the moments), and Title (name each clip) into a clipping engine that runs entirely on-device on iPhone or Mac, with word-accurate captions from Voz and no per-minute cost. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
モデルができること
- 文字起こしのなかで、重ならない最良の瞬間をランク付けします。各クリップが採点され、順位が付きます。動画や音声の録音から最良の文を選び出す、強力なセレクションや独自の編集機能を作れます。
- セレクションを制御できます。しきい値は生のスコアではなく
percentileで設定します。0.8 の区切りでは平均 5 クリップで動画の 17% をカバーし（ハイライト）、0.3 の区切りでは平均 32 クリップで 74% をカバーします（自動編集）。 - コンテキストウィンドウがありません。文はバッチでセレクターを通り、各候補は単独で採点されるので、回避すべきコンテキストの上限がありません。長い動画や音声の文字起こしからも、問題なくクリップを作れます。
- より速く、より良く、より安く。404 文・25 分の文字起こしから、iPhone 17 Pro で 9.19 秒、iPhone 15 Pro で 10.22 秒で 12 個のクリップが返ります。エンコーダー単体では候補 1 件あたり 2.78 ms です。
- 多言語対応。278M パラメータの xlm-roberta-base の幹ひとつで 100 言語。Apple では単一の int8 Core ML パッケージとして 284MB です。
- Clips を当社の Title モデルと組み合わせれば、タイトルと説明を生成し、完全にローカルで動くクリッピングエンジンを作れます。
サンプルアプリ
Clipper
Voz, Clips, Title で構築
Generate short clips from a video podcast or a long recording, fully on device. A macOS app and a command-line tool over the same core.
Voz transcribes with a time on every word, Clips ranks the best spans, and Title writes a title and description for each.
macOS 26 or later, Apple Silicon
brew tap desert-ant-labs/tap
brew install --cask clipperはじめに
クリップ選択 を、数行のコードで iOS or macOS アプリに追加。 Clips のドキュメント.
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0")
// target dependency
.product(name: "Clips", package: "desert-ant-core")import Clips
let clips = Clips()
let moments = try await clips.clips(in: sentences) // [Clip], best first
for clip in moments {
print(clip.text, clip.start, clip.end, clip.percentile)
}Add Clips from Desert Ant Labs to this Swift project (iOS, macOS). What it does: Clips：どんな録画からもオンデバイスでショートとハイライト. SDK: Swift (iOS, macOS) Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme // Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0") // target dependency .product(name: "Clips", package: "desert-ant-core") Reference: - Model page: https://desertant.com/models/clips/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
仕様
- 速度
- 25 分の文字起こしを iPhone 17 Pro で 9.19 秒、iPhone 15 Pro で 10.22 秒
- オンデバイスサイズ
- 284MB の int8 Core ML（Apple）。Android、Linux、Windows 向けには 283MB の LiteRT ファイルが 2 つ
- 言語
- 100
- モデル
- xlm-roberta-base の幹、278M パラメータ、4 つのヘッド：顕著度、開始、終了、クリップスコア
- プラットフォーム
- iOS 18、macOS 15、tvOS 18、visionOS 2（Core ML）。Android、Linux、Windows 向けの LiteRT ファイルは公開していますが、当社の SDK ではまだサポートしていません。
クリップの端が弱点です。クリップが、指す相手が前の文にあった代名詞から始まったり、2 つの話題を融合したり、オチの前で切れたり、スポンサー読みを飲み込んだりすることがあります。短い動画では返るクリップは少なく、3 文未満の文字起こしでは 1 つも返らず、クリップ数の上限はあくまで上限であって割り当てではありません。ラテン文字以外の文字体系は検証が十分でなく、Linux と Windows 向けのファイルは当社の SDK ではまだサポートしていません。
FAQ
Clips とは？
オンデバイスのクリップ選択。文字起こしから、長い録画をランク付けされたショートとハイライトに。iPhone や Mac で。
Clips はオンデバイスで動作しますか？
はい。Clips はデバイス上で動作し、サーバーへの通信は発生しません。データはユーザーの手元に残ります。
Clips はどのプラットフォームに対応していますか？
Clips は Swift 向けのネイティブなオンデバイス SDK として提供されます。
Clips の料金はいくらですか？
すべてのモデルは、SDK ごとに月間アクティブデバイス 100k 台まで無料です。各ユーザーがモデルを実行する回数に制限はありません。 カスタムライセンスについては、お問い合わせください。
Clips の精度や速度はどれくらいですか？
Clips は、404 文・25 分の文字起こしを、iPhone 17 Pro で 9.19 秒、端末上で 12 個のクリップにランク付けします。