Clips.
Un modelo rápido de selección de clips que convierte una grabación larga en shorts y destacados ordenados, a partir de una transcripción. En iPhone o Mac.
Crea vídeos cortos y clips destacados.
A partir de una grabación de 25 minutos, Clips ordena 12 clips en 9 s en un iPhone 17 Pro. Crea una selección ordenada de clips para compartir al instante.
Clips analiza una transcripción para encontrar los mejores momentos e historias, y devuelve una lista ordenada de clips. Usa la selección ordenada para crear recopilaciones de destacados o un vídeo resumen. Crea tu propio motor de clips o edición automática, sin coste de inferencia.
No se sube nada, así que recortar un catálogo antiguo cuesta lo mismo que recortar un solo vídeo. No hay límite de duración ni tamaño máximo de contexto. Usa Clips en vídeos cortos o archivos de audio para obtener un resumen en segundos, o procesa grabaciones de una hora sin limitaciones.
25 minutos de vídeo, recortados en 9 s.
Clips ordena una transcripción de 404 frases y 25 minutos en 12 clips en 9,19 s en un iPhone 17 Pro, en el dispositivo.
Medido en el dispositivo, fijado a la CPU y el Neural Engine
| Transcripción | iPhone 17 Pro | iPhone 15 Pro |
|---|---|---|
| 25-minute video, 12 clips | 9,19 s | 10,22 s |
| Per candidate, encoder only | 2,78 ms | 3,13 ms |
Mediciones internas en la versión Core ML publicada. Los bordes de los clips son el punto débil conocido, y la selección cerca de un momento es sensible a pequeños cambios de puntuación, así que un runtime o una cuantización distintos devuelven un conjunto diferente pero comparable.
Shorts de un episodio de podcast
Publica los cinco mejores momentos de un episodio de una hora como shorts, ordenados, antes de que termine la exportación, en solo unos segundos y directamente en el dispositivo.
Edita automáticamente una toma larga
Convierte una toma dispersa de 25 minutos en un montaje ajustado en un editor de vídeo. Obtén una recopilación de destacados con las ideas más importantes de un vídeo, lista para revisar o publicar.
Recorta el catálogo antiguo
Pasa una biblioteca de charlas o directos grabados por Clips en un Mac de la noche a la mañana. No se sube nada y no se cobra por vídeo, así que mil vídeos cuestan lo mismo que uno.
Destacados en cien idiomas
Una app para creadores que se lanza en español, portugués y alemán obtiene la misma selección de clips en los tres: un solo modelo cubre cien idiomas, a partir de la transcripción, en el dispositivo.
Inspiración
Ideas para crear con Clips. Copia un prompt en tu agente de código y adelante.
Turn any recording into a ranked set of shorts.
Build a feature that takes a recording's transcript and uses Desert Ant's Clips to rank the best non-overlapping moments, then exports them as vertical shorts. On-device, so a back catalog costs the same as one video. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Generate a highlight reel from a long stream or talk.
Build a 'make highlights' button that runs Desert Ant's Clips over a talk or stream transcript to pick the strongest moments and assemble a highlight reel, ranked best first. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Produce a rough auto-edit from a rambling take.
Build an auto-edit that uses Desert Ant's Clips to select the clips worth keeping from a long, rambling recording and lays them on a timeline for review. Control how tight the cut is with the percentile threshold. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Clip a whole back catalog of videos overnight on a Mac.
Build a batch job that runs Desert Ant's Clips over an archive of recorded talks or streams on a Mac, exporting ranked clips for each. Nothing uploaded, no per-video bill. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a full podcast studio: transcribe, clip, and title on the device.
Build a podcast tool that runs Desert Ant's Voz to transcribe an episode, Clips to pick the best moments as shorts, and Title to name and describe each clip, all on-device with no per-minute or per-token bill. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Record, clean, transcribe, and clip: a whole creator pipeline, offline.
Build a creator pipeline: Desert Ant's Clear cleans the recording, Voz transcribes it, and Clips pulls the shorts, all on the device so a full episode never touches a server. Build it with the Desert Ant SDK. Clear (Swift, Kotlin, JavaScript / TypeScript). Install and API: https://desertant.com/docs/clear/. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Turn a webinar into teaser clips for social.
Transcribe a webinar with Desert Ant's Voz and use Clips to pull the strongest moments as teaser clips for social, on-device. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a fully local clipping engine: transcribe, clip, title, caption.
Chain Desert Ant's Voz (transcribe with word timestamps), Clips (select the moments), and Title (name each clip) into a clipping engine that runs entirely on-device on iPhone or Mac, with word-accurate captions from Voz and no per-minute cost. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Qué hace el modelo
- Ordena los mejores momentos no solapados de una transcripción: cada clip se puntúa y se ordena. Crea selecciones sólidas o funciones de edición únicas para elegir las mejores frases de grabaciones de vídeo o audio.
- Controla la selección. Aplica el umbral sobre
percentile, no sobre la puntuación en bruto: un corte de 0,8 da de media 5 clips que cubren el 17% del vídeo (destacados), y un corte de 0,3 da de media 32 clips que cubren el 74% (edición automática). - Sin ventana de contexto: las frases pasan por el selector en lotes y cada candidato se puntúa por sí solo, así que no hay ningún límite de contexto que sortear. Crea clips a partir de transcripciones largas de vídeo o audio sin problemas.
- Más rápido, mejor y más barato. Una transcripción de 404 frases y 25 minutos devuelve 12 clips en 9,19 s en un iPhone 17 Pro y en 10,22 s en un iPhone 15 Pro; 2,78 ms por candidato solo en el codificador.
- Compatibilidad multilingüe. 100 idiomas desde un único tronco xlm-roberta-base de 278M de parámetros: 284 MB como un solo paquete Core ML int8 en Apple.
- Combina Clips con nuestro modelo Title para generar títulos y descripciones y construir un motor de clips totalmente local, que se ejecuta por completo en local.
Aplicación de ejemplo
Clipper
Creado con Voz, Clips, Title
Generate short clips from a video podcast or a long recording, fully on device. A macOS app and a command-line tool over the same core.
Voz transcribes with a time on every word, Clips ranks the best spans, and Title writes a title and description for each.
macOS 26 or later, Apple Silicon
brew tap desert-ant-labs/tap
brew install --cask clipperPrimeros pasos
Añade selección de clips a tu app de iOS or macOS con unas pocas líneas de código. Docs de Clips.
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0")
// target dependency
.product(name: "Clips", package: "desert-ant-core")import Clips
let clips = Clips()
let moments = try await clips.clips(in: sentences) // [Clip], best first
for clip in moments {
print(clip.text, clip.start, clip.end, clip.percentile)
}Add Clips from Desert Ant Labs to this Swift project (iOS, macOS). What it does: shorts y destacados de cualquier grabación, en el dispositivo. SDK: Swift (iOS, macOS) Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme // Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0") // target dependency .product(name: "Clips", package: "desert-ant-core") Reference: - Model page: https://desertant.com/models/clips/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Especificaciones
- Velocidad
- Una transcripción de 25 minutos en 9,19 s en un iPhone 17 Pro y en 10,22 s en un iPhone 15 Pro
- Tamaño en el dispositivo
- 284 MB Core ML int8 (Apple); dos archivos LiteRT de 283 MB para Android, Linux y Windows
- Idiomas
- 100
- Modelo
- Tronco xlm-roberta-base, 278M de parámetros, cuatro cabezas: relevancia, inicio, fin y puntuación del clip
- Plataformas
- iOS 18, macOS 15, tvOS 18, visionOS 2 (Core ML). Los archivos LiteRT de Android, Linux y Windows están publicados pero aún no son compatibles con nuestro SDK.
Los bordes de los clips son el punto débil. Un clip puede empezar con un pronombre cuyo referente estaba en la frase anterior, fundir dos temas, cortar antes del remate o tragarse una mención de patrocinio.
Los vídeos cortos devuelven pocos clips, una transcripción de menos de tres frases no devuelve ninguno, y el límite de clips es un tope, no una cuota. Las escrituras no latinas están poco probadas, y los archivos de Linux y Windows aún no son compatibles con nuestro SDK.
Preguntas frecuentes
¿Qué es Clips?
Un modelo rápido de selección de clips que convierte una grabación larga en shorts y destacados ordenados, a partir de una transcripción. En iPhone o Mac.
¿Clips se ejecuta en el dispositivo?
Sí. Clips se ejecuta en el dispositivo, sin llamadas a servidor, así que los datos se quedan con el usuario.
¿Qué plataformas admite Clips?
Clips se distribuye como un SDK nativo en el dispositivo para Swift.
¿Cuánto cuesta Clips?
Todos los modelos son gratis hasta 100 000 dispositivos activos mensuales por SDK. Inferencia ilimitada por usuario. Contáctanos para licencias personalizadas.
¿Qué precisión o velocidad tiene Clips?
Clips ordena una transcripción de 404 frases y 25 minutos en 12 clips en 9,19 s en un iPhone 17 Pro, en el dispositivo.