Clips.
Een snel model voor clipselectie dat een lange opname omzet in gerangschikte shorts en highlights, uit een transcript. Op het apparaat, op iPhone of Mac.
Maak korte video's en highlightclips.
Uit een opname van 25 minuten rangschikt Clips 12 clips in 9s op een iPhone 17 Pro. Maak een gerangschikte selectie clips om meteen te delen.
Clips analyseert een transcript om de beste momenten en verhalen te vinden, en geeft een gerangschikte lijst clips terug. Gebruik de gerangschikte selectie om highlightreels of een samenvattingsvideo te maken. Bouw je eigen clipping-engine of auto-edit, zonder inference-kosten.
Er wordt niets geüpload, dus een backcatalogus clippen kost evenveel als één video clippen. Er is geen lengtelimiet of maximale contextgrootte. Gebruik Clips op korte video's of audiobestanden voor een samenvatting in seconden, of werk zonder beperkingen door opnames van een uur heen.
25 minuten video, geclipt in 9s.
Clips rangschikt een transcript van 404 zinnen en 25 minuten tot 12 clips in 9,19s op een iPhone 17 Pro, op het apparaat.
Gemeten op het apparaat, vastgezet op CPU en Neural Engine
| Transcript | iPhone 17 Pro | iPhone 15 Pro |
|---|---|---|
| 25-minute video, 12 clips | 9,19s | 10,22s |
| Per candidate, encoder only | 2,78ms | 3,13ms |
Interne metingen op de uitgeleverde Core ML-build. De randen van clips zijn het bekende zwakke punt, en de selectie rond een moment is gevoelig voor kleine scoreverschillen, dus een andere runtime of quantisatie geeft een andere maar vergelijkbare set terug.
Shorts uit een podcastaflevering
Plaats de vijf beste momenten van een aflevering van een uur als shorts, gerangschikt, voordat de export klaar is, in een paar seconden rechtstreeks op het apparaat.
Een lange take automatisch monteren
Zet een uitweidende take van 25 minuten om in een strakke montage in een video-editor. Krijg een highlightreel met de belangrijkste inzichten uit een video, klaar om te beoordelen of te publiceren.
De backcatalogus clippen
Draai een bibliotheek met opgenomen talks of streams 's nachts door Clips heen op een Mac. Er wordt niets geüpload en niets per video afgerekend, dus duizend video's kosten evenveel als één.
Highlights in honderd talen
Een creator-app die in het Spaans, Portugees en Duits uitkomt, krijgt in alle drie dezelfde clipselectie: één model dekt honderd talen, uit het transcript, op het apparaat.
Inspiratie
Ideeën om te bouwen met Clips. Kopieer een prompt naar je coding-agent en ga.
Turn any recording into a ranked set of shorts.
Build a feature that takes a recording's transcript and uses Desert Ant's Clips to rank the best non-overlapping moments, then exports them as vertical shorts. On-device, so a back catalog costs the same as one video. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Generate a highlight reel from a long stream or talk.
Build a 'make highlights' button that runs Desert Ant's Clips over a talk or stream transcript to pick the strongest moments and assemble a highlight reel, ranked best first. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Produce a rough auto-edit from a rambling take.
Build an auto-edit that uses Desert Ant's Clips to select the clips worth keeping from a long, rambling recording and lays them on a timeline for review. Control how tight the cut is with the percentile threshold. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Clip a whole back catalog of videos overnight on a Mac.
Build a batch job that runs Desert Ant's Clips over an archive of recorded talks or streams on a Mac, exporting ranked clips for each. Nothing uploaded, no per-video bill. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a full podcast studio: transcribe, clip, and title on the device.
Build a podcast tool that runs Desert Ant's Voz to transcribe an episode, Clips to pick the best moments as shorts, and Title to name and describe each clip, all on-device with no per-minute or per-token bill. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Record, clean, transcribe, and clip: a whole creator pipeline, offline.
Build a creator pipeline: Desert Ant's Clear cleans the recording, Voz transcribes it, and Clips pulls the shorts, all on the device so a full episode never touches a server. Build it with the Desert Ant SDK. Clear (Swift, Kotlin, JavaScript / TypeScript). Install and API: https://desertant.com/docs/clear/. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Turn a webinar into teaser clips for social.
Transcribe a webinar with Desert Ant's Voz and use Clips to pull the strongest moments as teaser clips for social, on-device. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a fully local clipping engine: transcribe, clip, title, caption.
Chain Desert Ant's Voz (transcribe with word timestamps), Clips (select the moments), and Title (name each clip) into a clipping engine that runs entirely on-device on iPhone or Mac, with word-accurate captions from Voz and no per-minute cost. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Wat het model doet
- Rangschikt de beste niet-overlappende momenten van een transcript: elke clip wordt gescoord en gerangschikt. Bouw sterke selecties of unieke montagefuncties om de beste zinnen uit video- of audio-opnames te kiezen.
- Stuur de selectie. Stel de drempel in op
percentile, niet op de ruwe score: een grens van 0,8 levert gemiddeld 5 clips die 17% van de video beslaan (highlights), een grens van 0,3 gemiddeld 32 clips die 74% beslaan (auto-edit). - Geen contextvenster: zinnen gaan in batches door de selector en elke kandidaat wordt op zichzelf gescoord, dus er is geen contextlimiet om omheen te werken. Maak clips uit lange video- of audiotranscripten zonder problemen.
- Sneller, beter, goedkoper. Een transcript van 404 zinnen en 25 minuten geeft 12 clips terug in 9,19s op een iPhone 17 Pro en 10,22s op een iPhone 15 Pro; 2,78 ms per kandidaat op alleen de encoder.
- Ondersteuning voor meerdere talen. 100 talen uit één xlm-roberta-base-stam van 278M parameters: 284 MB als één int8 Core ML-pakket op Apple.
- Combineer Clips met ons Title-model om titels en beschrijvingen te genereren en een volledig lokale clipping-engine te bouwen, die volledig lokaal draait.
Voorbeeld-app
Clipper
Gebouwd met Voz, Clips, Title
Generate short clips from a video podcast or a long recording, fully on device. A macOS app and a command-line tool over the same core.
Voz transcribes with a time on every word, Clips ranks the best spans, and Title writes a title and description for each.
macOS 26 or later, Apple Silicon
brew tap desert-ant-labs/tap
brew install --cask clipperAan de slag
Voeg clipselectie toe aan je iOS or macOS-app in een paar regels code. Clips docs.
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0")
// target dependency
.product(name: "Clips", package: "desert-ant-core")import Clips
let clips = Clips()
let moments = try await clips.clips(in: sentences) // [Clip], best first
for clip in moments {
print(clip.text, clip.start, clip.end, clip.percentile)
}Add Clips from Desert Ant Labs to this Swift project (iOS, macOS). What it does: on-device shorts en highlights uit elke opname. SDK: Swift (iOS, macOS) Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme // Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0") // target dependency .product(name: "Clips", package: "desert-ant-core") Reference: - Model page: https://desertant.com/models/clips/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Specs
- Snelheid
- Een transcript van 25 minuten in 9,19s op een iPhone 17 Pro, 10,22s op een iPhone 15 Pro
- Grootte op het apparaat
- 284 MB int8 Core ML (Apple); twee LiteRT-bestanden van 283 MB voor Android, Linux en Windows
- Talen
- 100
- Model
- xlm-roberta-base-stam, 278M parameters, vier heads: saliency, start, eind, clipscore
- Platforms
- iOS 18, macOS 15, tvOS 18, visionOS 2 (Core ML). LiteRT-bestanden voor Android, Linux en Windows zijn gepubliceerd maar worden nog niet ondersteund in onze SDK.
De randen van clips zijn het zwakke punt. Een clip kan openen met een voornaamwoord waarvan de verwijzing in de zin ervoor stond, twee onderwerpen samensmelten, knippen vóór de clou, of een sponsorboodschap opslokken.
Korte video's leveren weinig clips op, een transcript onder drie zinnen levert er geen, en de cliplimiet is een plafond, geen quotum. Niet-Latijnse schriften zijn onvoldoende getest, en de Linux- en Windows-bestanden worden nog niet ondersteund in onze SDK.
FAQ
Wat is Clips?
Een snel model voor clipselectie dat een lange opname omzet in gerangschikte shorts en highlights, uit een transcript. Op het apparaat, op iPhone of Mac.
Draait Clips op het apparaat?
Ja. Clips draait op het apparaat, zonder serveraanroep, dus de data blijft bij de gebruiker.
Welke platforms ondersteunt Clips?
Clips wordt geleverd als een native on-device SDK voor Swift.
Hoeveel kost Clips?
Elk model is gratis voor maximaal 100k maandelijks actieve apparaten per SDK. Onbeperkte inference per gebruiker. Neem contact op voor aangepaste licenties.
Hoe nauwkeurig of snel is Clips?
Clips rangschikt een transcript van 404 zinnen en 25 minuten tot 12 clips in 9,19s op een iPhone 17 Pro, op het apparaat.