Clips.
En snabb modell för klippval som gör en lång inspelning till rangordnade shorts och höjdpunkter, från ett transkript. Körs på enheten på iPhone eller Mac.
Skapa korta videor och höjdpunktsklipp.
Från en 25 minuter lång inspelning rangordnar Clips 12 klipp på 9 s på en iPhone 17 Pro. Skapa ett rangordnat urval av klipp att dela direkt.
Clips analyserar ett transkript för att hitta de bästa ögonblicken och berättelserna, och returnerar en rangordnad lista med klipp. Använd det rangordnade urvalet för att skapa höjdpunktsrullar eller en sammanfattningsvideo. Bygg din egen klippmotor eller autoredigering, utan inferenskostnad.
Inget laddas upp, så att klippa en backkatalog kostar lika mycket som att klippa en enda video. Det finns ingen längdgräns eller maximal kontextstorlek. Använd Clips på korta videor eller ljudfiler för att få en sammanfattning på några sekunder, eller mala igenom timslånga inspelningar utan begränsningar.
25 minuter video, klippt på 9 s.
Clips rangordnar ett transkript på 404 meningar och 25 minuter till 12 klipp på 9,19 s på en iPhone 17 Pro, på enheten.
Uppmätt på enheten, fäst till CPU och Neural Engine
| Transkript | iPhone 17 Pro | iPhone 15 Pro |
|---|---|---|
| 25-minute video, 12 clips | 9,19s | 10,22s |
| Per candidate, encoder only | 2,78ms | 3,13ms |
Interna mätningar på det levererade Core ML-bygget. Klippens kanter är den kända svaga punkten, och urvalet nära ett ögonblick är känsligt för små poängändringar, så en annan runtime eller kvantisering returnerar en annan men jämförbar uppsättning.
Shorts från ett poddavsnitt
Publicera de fem bästa ögonblicken från ett timslångt avsnitt som shorts, rangordnade, innan exporten är klar, på bara några sekunder direkt på enheten.
Autoredigera en lång tagning
Gör en rörig 25-minuterstagning till en stram klippning i en videoredigerare. Få en höjdpunktsrulle med de viktigaste insikterna från en video, redo att granska eller publicera.
Klipp backkatalogen
Kör ett bibliotek av inspelade föredrag eller strömmar genom Clips på en Mac över natten. Inget laddas upp och inget faktureras per video, så tusen videor kostar lika mycket som en.
Höjdpunkter på hundra språk
En kreatörsapp som lanseras på spanska, portugisiska och tyska får samma klippval på alla tre: en modell täcker hundra språk, från transkriptet, på enheten.
Inspiration
Idéer att bygga med Clips. Kopiera en prompt till din kodningsagent och kör.
Turn any recording into a ranked set of shorts.
Build a feature that takes a recording's transcript and uses Desert Ant's Clips to rank the best non-overlapping moments, then exports them as vertical shorts. On-device, so a back catalog costs the same as one video. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Generate a highlight reel from a long stream or talk.
Build a 'make highlights' button that runs Desert Ant's Clips over a talk or stream transcript to pick the strongest moments and assemble a highlight reel, ranked best first. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Produce a rough auto-edit from a rambling take.
Build an auto-edit that uses Desert Ant's Clips to select the clips worth keeping from a long, rambling recording and lays them on a timeline for review. Control how tight the cut is with the percentile threshold. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Clip a whole back catalog of videos overnight on a Mac.
Build a batch job that runs Desert Ant's Clips over an archive of recorded talks or streams on a Mac, exporting ranked clips for each. Nothing uploaded, no per-video bill. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a full podcast studio: transcribe, clip, and title on the device.
Build a podcast tool that runs Desert Ant's Voz to transcribe an episode, Clips to pick the best moments as shorts, and Title to name and describe each clip, all on-device with no per-minute or per-token bill. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Record, clean, transcribe, and clip: a whole creator pipeline, offline.
Build a creator pipeline: Desert Ant's Clear cleans the recording, Voz transcribes it, and Clips pulls the shorts, all on the device so a full episode never touches a server. Build it with the Desert Ant SDK. Clear (Swift, Kotlin, JavaScript / TypeScript). Install and API: https://desertant.com/docs/clear/. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Turn a webinar into teaser clips for social.
Transcribe a webinar with Desert Ant's Voz and use Clips to pull the strongest moments as teaser clips for social, on-device. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a fully local clipping engine: transcribe, clip, title, caption.
Chain Desert Ant's Voz (transcribe with word timestamps), Clips (select the moments), and Title (name each clip) into a clipping engine that runs entirely on-device on iPhone or Mac, with word-accurate captions from Voz and no per-minute cost. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Vad modellen gör
- Rangordnar ett transkripts bästa icke-överlappande ögonblick: varje klipp poängsätts och rangordnas. Bygg starka urval eller unika redigeringsfunktioner för att välja de bästa meningarna i video- eller ljudinspelningar.
- Styr urvalet. Tröskla på
percentile, inte den råa poängen: en gräns på 0,8 ger i snitt 5 klipp som täcker 17% av videon (höjdpunkter), en gräns på 0,3 ger i snitt 32 klipp som täcker 74% (autoredigering). - Inget kontextfönster: meningar körs genom väljaren i batchar och varje kandidat poängsätts för sig, så det finns ingen kontextgräns att arbeta runt. Skapa klipp från långa video- eller ljudtranskript utan problem.
- Snabbare, bättre, billigare. Ett transkript på 404 meningar och 25 minuter returnerar 12 klipp på 9,19 s på en iPhone 17 Pro och 10,22 s på en iPhone 15 Pro; 2,78 ms per kandidat enbart på encodern.
- Stöd för flera språk. 100 språk från en xlm-roberta-base-stam på 278M parametrar: 284 MB som ett enda int8 Core ML-paket på Apple.
- Kombinera Clips med vår Title-modell för att skapa titlar och beskrivningar och bygga en helt lokal klippmotor, som körs helt lokalt.
Exempelapp
Clipper
Byggd med Voz, Clips, Title
Generate short clips from a video podcast or a long recording, fully on device. A macOS app and a command-line tool over the same core.
Voz transcribes with a time on every word, Clips ranks the best spans, and Title writes a title and description for each.
macOS 26 or later, Apple Silicon
brew tap desert-ant-labs/tap
brew install --cask clipperKom igång
Lägg till val av klipp i din iOS or macOS-app med några rader kod. Clips-dokumentation.
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0")
// target dependency
.product(name: "Clips", package: "desert-ant-core")import Clips
let clips = Clips()
let moments = try await clips.clips(in: sentences) // [Clip], best first
for clip in moments {
print(clip.text, clip.start, clip.end, clip.percentile)
}Add Clips from Desert Ant Labs to this Swift project (iOS, macOS). What it does: Shorts och höjdpunkter från vilken inspelning som helst, på enheten. SDK: Swift (iOS, macOS) Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme // Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0") // target dependency .product(name: "Clips", package: "desert-ant-core") Reference: - Model page: https://desertant.com/models/clips/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Specifikationer
- Hastighet
- Ett 25-minuterstranskript på 9,19 s på en iPhone 17 Pro, 10,22 s på en iPhone 15 Pro
- Storlek på enheten
- 284 MB int8 Core ML (Apple); två LiteRT-filer på 283 MB för Android, Linux och Windows
- Språk
- 100
- Modell
- xlm-roberta-base-stam, 278M parametrar, fyra huvuden: saliens, start, slut, klippoäng
- Plattformar
- iOS 18, macOS 15, tvOS 18, visionOS 2 (Core ML). LiteRT-filer för Android, Linux och Windows är publicerade men stöds inte i vår SDK ännu.
Klippens kanter är den svaga punkten. Ett klipp kan öppna på ett pronomen vars syftning låg i meningen innan, slå ihop två ämnen, klippa före poängen eller svälja en sponsorläsning.
Korta videor ger få klipp, ett transkript under tre meningar ger inga, och klippgränsen är ett tak, inte en kvot. Skriftsystem som inte är latinska är underprövade, och Linux- och Windows-filerna stöds inte i vår SDK ännu.
Vanliga frågor
Vad är Clips?
En snabb modell för klippval som gör en lång inspelning till rangordnade shorts och höjdpunkter, från ett transkript. Körs på enheten på iPhone eller Mac.
Körs Clips lokalt på enheten?
Ja. Clips körs på enheten, utan något serveranrop, så att data stannar hos användaren.
Vilka plattformar stöder Clips?
Clips levereras som en nativ SDK på enheten för Swift.
Vad kostar Clips?
Varje modell är gratis upp till 100k månadsaktiva enheter per SDK. Obegränsad inferens per användare. Kontakta oss för anpassade licenser.
Hur träffsäker eller snabb är Clips?
Clips rangordnar ett transkript på 404 meningar och 25 minuter till 12 klipp på 9,19 s på en iPhone 17 Pro, på enheten.