Clips.
Sélection de clips sur l'appareil qui transforme un long enregistrement en shorts et temps forts classés, depuis une transcription, sur iPhone ou Mac.
Créez des shorts et des clips de temps forts.
À partir d'un enregistrement de 25 minutes, Clips classe 12 clips en 9 s sur un iPhone 17 Pro. Créez une sélection classée de clips à partager immédiatement.
Clips analyse une transcription pour trouver les meilleurs moments et les meilleures histoires, et renvoie une liste classée de clips. Utilisez la sélection classée pour créer des montages de temps forts ou une vidéo de synthèse. Construisez votre propre moteur de découpage ou auto-montage, sans coût d'inférence.
Rien n'est envoyé, si bien que découper un catalogue existant coûte autant que découper une seule vidéo. Il n'y a aucune limite de durée ni taille de contexte maximale. Utilisez Clips sur de courtes vidéos ou des fichiers audio pour obtenir une synthèse en quelques secondes, ou enchaînez des enregistrements d'une heure sans limite.
25 minutes de vidéo, découpées en 9 s.
Clips classe une transcription de 404 phrases et 25 minutes en 12 clips en 9,19 s sur un iPhone 17 Pro, sur l'appareil.
Mesuré sur l'appareil, épinglé au CPU et au Neural Engine
| Transcription | iPhone 17 Pro | iPhone 15 Pro |
|---|---|---|
| 25-minute video, 12 clips | 9,19 s | 10,22 s |
| Per candidate, encoder only | 2,78 ms | 3,13 ms |
Mesures internes sur la version Core ML livrée. Les bords des clips sont le point faible connu, et la sélection près d'un moment est sensible à de petites variations de score : un runtime ou une quantification différents renvoient donc un ensemble différent mais comparable.
Des shorts à partir d'un épisode de podcast
Publiez les cinq meilleurs moments d'un épisode d'une heure sous forme de shorts, classés, avant la fin de l'export, en quelques secondes, directement sur l'appareil.
Auto-monter une longue prise
Transformez une prise décousue de 25 minutes en un montage serré dans un éditeur vidéo. Obtenez un montage des temps forts avec les idées les plus importantes d'une vidéo, prêt à relire ou publier.
Découper le catalogue existant
Faites passer une bibliothèque de conférences ou de directs enregistrés par Clips sur un Mac pendant la nuit. Rien n'est envoyé et rien n'est facturé par vidéo, si bien que mille vidéos coûtent autant qu'une.
Des temps forts dans une centaine de langues
Une app de création livrée en espagnol, portugais et allemand obtient la même sélection de clips dans les trois : un seul modèle couvre une centaine de langues, à partir de la transcription, sur l'appareil.
Inspiration
Des idées à construire avec Clips. Copiez un prompt dans votre agent de code et lancez-vous.
Turn any recording into a ranked set of shorts.
Build a feature that takes a recording's transcript and uses Desert Ant's Clips to rank the best non-overlapping moments, then exports them as vertical shorts. On-device, so a back catalog costs the same as one video. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Generate a highlight reel from a long stream or talk.
Build a 'make highlights' button that runs Desert Ant's Clips over a talk or stream transcript to pick the strongest moments and assemble a highlight reel, ranked best first. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Produce a rough auto-edit from a rambling take.
Build an auto-edit that uses Desert Ant's Clips to select the clips worth keeping from a long, rambling recording and lays them on a timeline for review. Control how tight the cut is with the percentile threshold. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Clip a whole back catalog of videos overnight on a Mac.
Build a batch job that runs Desert Ant's Clips over an archive of recorded talks or streams on a Mac, exporting ranked clips for each. Nothing uploaded, no per-video bill. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a full podcast studio: transcribe, clip, and title on the device.
Build a podcast tool that runs Desert Ant's Voz to transcribe an episode, Clips to pick the best moments as shorts, and Title to name and describe each clip, all on-device with no per-minute or per-token bill. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Record, clean, transcribe, and clip: a whole creator pipeline, offline.
Build a creator pipeline: Desert Ant's Clear cleans the recording, Voz transcribes it, and Clips pulls the shorts, all on the device so a full episode never touches a server. Build it with the Desert Ant SDK. Clear (Swift, Kotlin, JavaScript / TypeScript). Install and API: https://desertant.com/docs/clear/. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Turn a webinar into teaser clips for social.
Transcribe a webinar with Desert Ant's Voz and use Clips to pull the strongest moments as teaser clips for social, on-device. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a fully local clipping engine: transcribe, clip, title, caption.
Chain Desert Ant's Voz (transcribe with word timestamps), Clips (select the moments), and Title (name each clip) into a clipping engine that runs entirely on-device on iPhone or Mac, with word-accurate captions from Voz and no per-minute cost. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Ce que fait le modèle
- Classe les meilleurs moments non chevauchants d'une transcription : chaque clip est noté et classé. Construisez des sélections solides ou des fonctionnalités de montage uniques pour choisir les meilleures phrases d'enregistrements vidéo ou audio.
- Contrôlez la sélection. Seuillez sur le
percentile, pas sur le score brut : une coupe à 0,8 donne en moyenne 5 clips couvrant 17 % de la vidéo (temps forts), une coupe à 0,3 donne en moyenne 32 clips couvrant 74 % (auto-montage). - Sans fenêtre de contexte : les phrases passent par le sélecteur en lots et chaque candidat est noté seul, si bien qu'il n'y a aucune limite de contexte à contourner. Créez des clips à partir de longues transcriptions vidéo ou audio sans le moindre souci.
- Plus rapide, meilleur, moins cher. Une transcription de 404 phrases et 25 minutes renvoie 12 clips en 9,19 s sur un iPhone 17 Pro et 10,22 s sur un iPhone 15 Pro ; 2,78 ms par candidat sur l'encodeur seul.
- Prise en charge multilingue. 100 langues depuis un seul tronc xlm-roberta-base de 278M de paramètres : 284 MB en un seul package int8 Core ML sur Apple.
- Associez Clips à notre modèle Title pour générer titres et descriptions et construire un moteur de découpage entièrement local.
Application d’exemple
Clipper
Conçu avec Voz, Clips, Title
Generate short clips from a video podcast or a long recording, fully on device. A macOS app and a command-line tool over the same core.
Voz transcribes with a time on every word, Clips ranks the best spans, and Title writes a title and description for each.
macOS 26 or later, Apple Silicon
brew tap desert-ant-labs/tap
brew install --cask clipperPrise en main
Ajoutez sélection de clips à votre application iOS or macOS en quelques lignes de code. Docs Clips.
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0")
// target dependency
.product(name: "Clips", package: "desert-ant-core")import Clips
let clips = Clips()
let moments = try await clips.clips(in: sentences) // [Clip], best first
for clip in moments {
print(clip.text, clip.start, clip.end, clip.percentile)
}Add Clips from Desert Ant Labs to this Swift project (iOS, macOS). What it does: Clips : shorts et temps forts de tout enregistrement, sur l'appareil. SDK: Swift (iOS, macOS) Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme // Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0") // target dependency .product(name: "Clips", package: "desert-ant-core") Reference: - Model page: https://desertant.com/models/clips/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Spécifications
- Vitesse
- Une transcription de 25 minutes en 9,19 s sur un iPhone 17 Pro, 10,22 s sur un iPhone 15 Pro
- Taille sur l'appareil
- 284 MB int8 Core ML (Apple) ; deux fichiers LiteRT de 283 MB pour Android, Linux et Windows
- Langues
- 100
- Modèle
- Tronc xlm-roberta-base, 278M de paramètres, quatre têtes : saillance, début, fin, score de clip
- Plateformes
- iOS 18, macOS 15, tvOS 18, visionOS 2 (Core ML). Les fichiers LiteRT pour Android, Linux et Windows sont publiés mais pas encore pris en charge dans notre SDK.
Les bords des clips sont le point faible. Un clip peut s'ouvrir sur un pronom dont le référent était dans la phrase précédente, fusionner deux sujets, couper avant la chute, ou avaler une lecture de sponsor.
Les vidéos courtes renvoient peu de clips, une transcription de moins de trois phrases n'en renvoie aucun, et la limite de clips est un plafond, pas un quota. Les écritures non latines sont sous-testées, et les fichiers Linux et Windows ne sont pas encore pris en charge dans notre SDK.
FAQ
Qu'est-ce que Clips ?
Sélection de clips sur l'appareil qui transforme un long enregistrement en shorts et temps forts classés, depuis une transcription, sur iPhone ou Mac.
Clips fonctionne-t-il sur l'appareil ?
Oui. Clips s'exécute sur l'appareil, sans appel serveur : les données restent chez l'utilisateur.
Quelles plateformes Clips prend-il en charge ?
Clips est livré sous forme de SDK natif sur l'appareil pour Swift.
Combien coûte Clips ?
Chaque modèle est gratuit jusqu'à 100k appareils actifs mensuels par SDK. Inférence illimitée par utilisateur. Contactez-nous pour des licences sur mesure.
Quelle est la précision ou la vitesse de Clips ?
Clips classe une transcription de 404 phrases et 25 minutes en 12 clips en 9,19 s sur un iPhone 17 Pro, sur l'appareil.