Clips.
Selezione di clip on-device: trasforma una lunga registrazione in short e momenti salienti ordinati, da una trascrizione, su iPhone o Mac.
Crea video brevi e clip dei momenti salienti.
Da una registrazione di 25 minuti, Clips ordina 12 clip in 9 s su un iPhone 17 Pro. Crea una selezione ordinata di clip da condividere all'istante.
Clips analizza una trascrizione per trovare i momenti e le storie migliori, e restituisce un elenco ordinato di clip. Usa la selezione ordinata per creare montaggi dei momenti salienti o un video riassuntivo. Costruisci il tuo motore di clipping o il tuo auto-edit, senza costo di inferenza.
Non viene caricato nulla, quindi creare clip da un intero catalogo costa quanto crearle da un solo video. Non c'è limite di durata né dimensione massima del contesto. Usa Clips su video brevi o file audio per avere un riassunto in pochi secondi, o macina registrazioni di un'ora senza limiti.
25 minuti di video, tagliati in 9 s.
Clips ordina una trascrizione di 404 frasi e 25 minuti in 12 clip in 9,19 s su un iPhone 17 Pro, sul dispositivo.
Misurato sul dispositivo, fissato su CPU e Neural Engine
| Trascrizione | iPhone 17 Pro | iPhone 15 Pro |
|---|---|---|
| 25-minute video, 12 clips | 9,19 s | 10,22 s |
| Per candidate, encoder only | 2,78 ms | 3,13 ms |
Misurazioni interne sulla build Core ML distribuita. I bordi delle clip sono il punto debole noto, e la selezione vicino a un momento è sensibile a piccole variazioni di punteggio, quindi un runtime o una quantizzazione diversi restituiscono un insieme diverso ma comparabile.
Short da un episodio di podcast
Pubblica i cinque momenti migliori di un episodio di un'ora come short, ordinati, prima che l'esportazione finisca, in pochi secondi direttamente sul dispositivo.
Auto-edit di una ripresa lunga
Trasforma una ripresa dispersiva di 25 minuti in un montaggio asciutto in un editor video. Ottieni un montaggio dei momenti salienti con gli spunti più importanti di un video, pronto da rivedere o pubblicare.
Crea clip dall'intero catalogo
Fai passare una libreria di talk o dirette registrate attraverso Clips su un Mac durante la notte. Non viene caricato nulla e non si paga per video, quindi mille video costano quanto uno.
Momenti salienti in cento lingue
Un'app per creator distribuita in spagnolo, portoghese e tedesco ottiene la stessa selezione di clip in tutte e tre: un solo modello copre cento lingue, dalla trascrizione, sul dispositivo.
Ispirazione
Idee da costruire con Clips. Copia un prompt nel tuo coding agent e parti.
Turn any recording into a ranked set of shorts.
Build a feature that takes a recording's transcript and uses Desert Ant's Clips to rank the best non-overlapping moments, then exports them as vertical shorts. On-device, so a back catalog costs the same as one video. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Generate a highlight reel from a long stream or talk.
Build a 'make highlights' button that runs Desert Ant's Clips over a talk or stream transcript to pick the strongest moments and assemble a highlight reel, ranked best first. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Produce a rough auto-edit from a rambling take.
Build an auto-edit that uses Desert Ant's Clips to select the clips worth keeping from a long, rambling recording and lays them on a timeline for review. Control how tight the cut is with the percentile threshold. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Clip a whole back catalog of videos overnight on a Mac.
Build a batch job that runs Desert Ant's Clips over an archive of recorded talks or streams on a Mac, exporting ranked clips for each. Nothing uploaded, no per-video bill. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a full podcast studio: transcribe, clip, and title on the device.
Build a podcast tool that runs Desert Ant's Voz to transcribe an episode, Clips to pick the best moments as shorts, and Title to name and describe each clip, all on-device with no per-minute or per-token bill. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Record, clean, transcribe, and clip: a whole creator pipeline, offline.
Build a creator pipeline: Desert Ant's Clear cleans the recording, Voz transcribes it, and Clips pulls the shorts, all on the device so a full episode never touches a server. Build it with the Desert Ant SDK. Clear (Swift, Kotlin, JavaScript / TypeScript). Install and API: https://desertant.com/docs/clear/. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Turn a webinar into teaser clips for social.
Transcribe a webinar with Desert Ant's Voz and use Clips to pull the strongest moments as teaser clips for social, on-device. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a fully local clipping engine: transcribe, clip, title, caption.
Chain Desert Ant's Voz (transcribe with word timestamps), Clips (select the moments), and Title (name each clip) into a clipping engine that runs entirely on-device on iPhone or Mac, with word-accurate captions from Voz and no per-minute cost. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Cosa fa il modello
- Ordina i migliori momenti non sovrapposti di una trascrizione: ogni clip riceve un punteggio ed è ordinata. Costruisci selezioni solide o funzioni di montaggio uniche per scegliere le frasi migliori in registrazioni video o audio.
- Controlla la selezione. Imposta la soglia sul
percentile, non sul punteggio grezzo: un taglio a 0,8 dà in media 5 clip che coprono il 17% del video (momenti salienti), un taglio a 0,3 dà in media 32 clip che coprono il 74% (auto-edit). - Nessuna finestra di contesto: le frasi passano nel selettore a lotti e ogni candidato è valutato da solo, quindi non c'è un limite di contesto da aggirare. Crea clip da lunghe trascrizioni video o audio senza problemi.
- Più veloce, migliore, più economico. Una trascrizione di 404 frasi e 25 minuti restituisce 12 clip in 9,19 s su un iPhone 17 Pro e 10,22 s su un iPhone 15 Pro; 2,78 ms per candidato sul solo encoder.
- Supporto multilingue. 100 lingue da un unico tronco xlm-roberta-base di 278M di parametri: 284 MB come singolo pacchetto Core ML int8 su Apple.
- Abbina Clips al nostro modello Title per generare titoli e descrizioni e costruire un motore di clipping completamente locale, che gira interamente in locale.
App di esempio
Clipper
Costruito con Voz, Clips, Title
Generate short clips from a video podcast or a long recording, fully on device. A macOS app and a command-line tool over the same core.
Voz transcribes with a time on every word, Clips ranks the best spans, and Title writes a title and description for each.
macOS 26 or later, Apple Silicon
brew tap desert-ant-labs/tap
brew install --cask clipperPer iniziare
Aggiungi selezione delle clip alla tua app iOS or macOS in poche righe di codice. Documentazione di Clips.
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0")
// target dependency
.product(name: "Clips", package: "desert-ant-core")import Clips
let clips = Clips()
let moments = try await clips.clips(in: sentences) // [Clip], best first
for clip in moments {
print(clip.text, clip.start, clip.end, clip.percentile)
}Add Clips from Desert Ant Labs to this Swift project (iOS, macOS). What it does: short e momenti salienti da qualsiasi registrazione, on-device. SDK: Swift (iOS, macOS) Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme // Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0") // target dependency .product(name: "Clips", package: "desert-ant-core") Reference: - Model page: https://desertant.com/models/clips/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Specifiche
- Velocità
- Una trascrizione di 25 minuti in 9,19 s su un iPhone 17 Pro, 10,22 s su un iPhone 15 Pro
- Dimensione sul dispositivo
- 284 MB Core ML int8 (Apple); due file LiteRT da 283 MB per Android, Linux e Windows
- Lingue
- 100
- Modello
- tronco xlm-roberta-base, 278M di parametri, quattro teste: salienza, inizio, fine, punteggio della clip
- Piattaforme
- iOS 18, macOS 15, tvOS 18, visionOS 2 (Core ML). I file LiteRT per Android, Linux e Windows sono pubblicati ma non ancora supportati nel nostro SDK.
I bordi delle clip sono il punto debole. Una clip può aprirsi su un pronome il cui riferimento era nella frase precedente, fondere due temi, tagliare prima della battuta finale o inghiottire la lettura di uno sponsor.
I video brevi restituiscono poche clip, una trascrizione sotto le tre frasi non ne restituisce nessuna, e il limite di clip è un tetto, non una quota. Le scritture non latine sono poco testate, e i file per Linux e Windows non sono ancora supportati nel nostro SDK.
FAQ
Cos'è Clips?
Selezione di clip on-device: trasforma una lunga registrazione in short e momenti salienti ordinati, da una trascrizione, su iPhone o Mac.
Clips funziona sul dispositivo?
Sì. Clips funziona sul dispositivo, senza chiamate a un server, quindi i dati restano con l'utente.
Quali piattaforme supporta Clips?
Clips è distribuito come SDK nativo on-device per Swift.
Quanto costa Clips?
Ogni modello è gratuito fino a 100k dispositivi attivi mensili per SDK. Inferenza illimitata per utente. Contattaci per licenze personalizzate.
Quanto è preciso o veloce Clips?
Clips ordina una trascrizione di 404 frasi e 25 minuti in 12 clip in 9,19 s su un iPhone 17 Pro, sul dispositivo.