Clips.
Ein schnelles Modell zur Clip-Auswahl, das eine lange Aufnahme aus dem Transkript in gerankte Shorts und Highlights verwandelt. Auf dem Gerät, iPhone oder Mac.
Kurzvideos und Highlight-Clips erstellen.
Aus einer 25-minütigen Aufnahme rankt Clips 12 Clips in 9 s auf einem iPhone 17 Pro. Erstellen Sie eine gerankte Auswahl von Clips, die Sie sofort teilen können.
Clips analysiert ein Transkript, um die besten Momente und Geschichten zu finden, und gibt eine gerankte Liste von Clips zurück. Nutzen Sie die gerankte Auswahl, um Highlight-Reels oder ein Zusammenfassungsvideo zu erstellen. Bauen Sie Ihre eigene Clipping-Engine oder Ihren Auto-Schnitt, ohne Inferenzkosten.
Es wird nichts hochgeladen, also kostet das Clipping eines Archivs so viel wie das Clipping eines einzelnen Videos. Es gibt kein Längenlimit und keine maximale Kontextgröße. Nutzen Sie Clips bei kurzen Videos oder Audiodateien für eine Zusammenfassung in Sekunden oder arbeiten Sie einstündige Aufnahmen ohne Einschränkungen durch.
25 Minuten Video, geclippt in 9 s.
Clips rankt ein Transkript mit 404 Sätzen und 25 Minuten in 9,19 s auf einem iPhone 17 Pro zu 12 Clips, auf dem Gerät.
Auf dem Gerät gemessen, fest auf CPU und Neural Engine
| Transkript | iPhone 17 Pro | iPhone 15 Pro |
|---|---|---|
| 25-minute video, 12 clips | 9,19 s | 10,22 s |
| Per candidate, encoder only | 2,78 ms | 3,13 ms |
Interne Messungen am ausgelieferten Core-ML-Build. Die Clip-Ränder sind die bekannte Schwachstelle, und die Auswahl in der Nähe eines Moments reagiert empfindlich auf kleine Score-Änderungen, sodass eine andere Laufzeit oder Quantisierung eine andere, aber vergleichbare Menge zurückgibt.
Shorts aus einer Podcast-Episode
Posten Sie die fünf besten Momente einer einstündigen Episode als Shorts, gerankt, noch bevor der Export fertig ist, in wenigen Sekunden direkt auf dem Gerät.
Einen langen Take automatisch schneiden
Verwandeln Sie einen weitschweifigen 25-minütigen Take in einen straffen Schnitt in einem Video-Editor. Erhalten Sie ein Highlight-Reel mit den wichtigsten Erkenntnissen aus einem Video, fertig zum Prüfen oder Veröffentlichen.
Das Archiv clippen
Lassen Sie eine Bibliothek aufgezeichneter Vorträge oder Streams über Nacht auf einem Mac durch Clips laufen. Es wird nichts hochgeladen und nichts pro Video abgerechnet, also kosten tausend Videos so viel wie eines.
Highlights in hundert Sprachen
Eine Creator-App, die auf Spanisch, Portugiesisch und Deutsch erscheint, bekommt in allen dreien dieselbe Clip-Auswahl: Ein Modell deckt hundert Sprachen ab, aus dem Transkript, auf dem Gerät.
Inspiration
Ideen zum Bauen mit Clips. Kopieren Sie einen Prompt in Ihren Coding-Agenten und los.
Turn any recording into a ranked set of shorts.
Build a feature that takes a recording's transcript and uses Desert Ant's Clips to rank the best non-overlapping moments, then exports them as vertical shorts. On-device, so a back catalog costs the same as one video. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Generate a highlight reel from a long stream or talk.
Build a 'make highlights' button that runs Desert Ant's Clips over a talk or stream transcript to pick the strongest moments and assemble a highlight reel, ranked best first. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Produce a rough auto-edit from a rambling take.
Build an auto-edit that uses Desert Ant's Clips to select the clips worth keeping from a long, rambling recording and lays them on a timeline for review. Control how tight the cut is with the percentile threshold. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Clip a whole back catalog of videos overnight on a Mac.
Build a batch job that runs Desert Ant's Clips over an archive of recorded talks or streams on a Mac, exporting ranked clips for each. Nothing uploaded, no per-video bill. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a full podcast studio: transcribe, clip, and title on the device.
Build a podcast tool that runs Desert Ant's Voz to transcribe an episode, Clips to pick the best moments as shorts, and Title to name and describe each clip, all on-device with no per-minute or per-token bill. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Record, clean, transcribe, and clip: a whole creator pipeline, offline.
Build a creator pipeline: Desert Ant's Clear cleans the recording, Voz transcribes it, and Clips pulls the shorts, all on the device so a full episode never touches a server. Build it with the Desert Ant SDK. Clear (Swift, Kotlin, JavaScript / TypeScript). Install and API: https://desertant.com/docs/clear/. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Turn a webinar into teaser clips for social.
Transcribe a webinar with Desert Ant's Voz and use Clips to pull the strongest moments as teaser clips for social, on-device. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a fully local clipping engine: transcribe, clip, title, caption.
Chain Desert Ant's Voz (transcribe with word timestamps), Clips (select the moments), and Title (name each clip) into a clipping engine that runs entirely on-device on iPhone or Mac, with word-accurate captions from Voz and no per-minute cost. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Was das Modell macht
- Rankt die besten nicht überlappenden Momente eines Transkripts: Jeder Clip wird bewertet und gerankt. Bauen Sie starke Auswahlen oder eigene Schnittfunktionen, um die besten Sätze in Video- oder Audioaufnahmen herauszupicken.
- Steuern Sie die Auswahl. Der Schwellenwert liegt auf
percentile, nicht auf dem Rohwert: eine Schwelle von 0,8 ergibt im Mittel 5 Clips, die 17 % des Videos abdecken (Highlights), eine Schwelle von 0,3 im Mittel 32 Clips, die 74 % abdecken (Auto-Schnitt). - Kein Kontextfenster: Sätze laufen in Batches durch den Selektor, und jeder Kandidat wird einzeln bewertet, sodass es kein Kontextlimit zu umgehen gibt. Erstellen Sie Clips aus langen Video- oder Audiotranskripten ohne Probleme.
- Schneller, besser, günstiger. Ein Transkript mit 404 Sätzen und 25 Minuten liefert 12 Clips in 9,19 s auf einem iPhone 17 Pro und 10,22 s auf einem iPhone 15 Pro; 2,78 ms pro Kandidat allein auf dem Encoder.
- Mehrsprachig. 100 Sprachen aus einem einzigen xlm-roberta-base-Trunk mit 278M Parametern: 284 MB als ein einziges int8-Core-ML-Paket auf Apple.
- Kombinieren Sie Clips mit unserem Title-Modell, um Titel und Beschreibungen zu erzeugen und eine vollständig lokale Clipping-Engine zu bauen, die komplett auf dem Gerät läuft.
Beispiel-App
Clipper
Gebaut mit Voz, Clips, Title
Generate short clips from a video podcast or a long recording, fully on device. A macOS app and a command-line tool over the same core.
Voz transcribes with a time on every word, Clips ranks the best spans, and Title writes a title and description for each.
macOS 26 or later, Apple Silicon
brew tap desert-ant-labs/tap
brew install --cask clipperErste Schritte
Fügen Sie clip-auswahl mit wenigen Zeilen Code zu Ihrer iOS or macOS-App hinzu. Clips Docs.
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0")
// target dependency
.product(name: "Clips", package: "desert-ant-core")import Clips
let clips = Clips()
let moments = try await clips.clips(in: sentences) // [Clip], best first
for clip in moments {
print(clip.text, clip.start, clip.end, clip.percentile)
}Add Clips from Desert Ant Labs to this Swift project (iOS, macOS). What it does: Shorts und Highlights aus jeder Aufnahme, auf dem Gerät. SDK: Swift (iOS, macOS) Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme // Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0") // target dependency .product(name: "Clips", package: "desert-ant-core") Reference: - Model page: https://desertant.com/models/clips/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Technische Daten
- Geschwindigkeit
- Ein 25-minütiges Transkript in 9,19 s auf einem iPhone 17 Pro, 10,22 s auf einem iPhone 15 Pro
- Größe auf dem Gerät
- 284 MB int8 Core ML (Apple); zwei 283-MB-LiteRT-Dateien für Android, Linux und Windows
- Sprachen
- 100
- Modell
- xlm-roberta-base-Trunk, 278M Parameter, vier Heads: Saliency, Start, Ende, Clip-Score
- Plattformen
- iOS 18, macOS 15, tvOS 18, visionOS 2 (Core ML). Die LiteRT-Dateien für Android, Linux und Windows sind veröffentlicht, werden in unserem SDK aber noch nicht unterstützt.
Die Clip-Ränder sind die Schwachstelle. Ein Clip kann mit einem Pronomen beginnen, dessen Bezug im Satz davor lag, zwei Themen verschmelzen, vor der Pointe schneiden oder einen Sponsorenhinweis verschlucken.
Kurze Videos liefern wenige Clips, ein Transkript unter drei Sätzen liefert keine, und das Clip-Limit ist eine Obergrenze, keine Quote. Nicht-lateinische Schriften sind wenig getestet, und die Linux- und Windows-Dateien werden in unserem SDK noch nicht unterstützt.
FAQ
Was ist Clips?
Ein schnelles Modell zur Clip-Auswahl, das eine lange Aufnahme aus dem Transkript in gerankte Shorts und Highlights verwandelt. Auf dem Gerät, iPhone oder Mac.
Läuft Clips auf dem Gerät?
Ja. Clips läuft auf dem Gerät, ohne Serveraufruf, sodass die Daten beim Nutzer bleiben.
Welche Plattformen unterstützt Clips?
Clips wird als natives On-Device-SDK für Swift ausgeliefert.
Was kostet Clips?
Jedes Modell ist kostenlos für bis zu 100k monatlich aktive Geräte pro SDK. Unbegrenzte Inferenz pro Nutzer. Kontaktieren Sie uns für individuelle Lizenzen.
Wie genau oder schnell ist Clips?
Clips rankt ein Transkript mit 404 Sätzen und 25 Minuten in 9,19 s auf einem iPhone 17 Pro zu 12 Clips, auf dem Gerät.