Clips.
Seleção de clipes no dispositivo que transforma uma gravação longa em shorts e destaques classificados, a partir de uma transcrição. No iPhone ou no Mac.
Crie vídeos curtos e clipes de destaque.
De uma gravação de 25 minutos, o Clips classifica 12 clipes em 9 s num iPhone 17 Pro. Crie uma seleção classificada de clipes para partilhar na hora.
O Clips analisa uma transcrição para encontrar os melhores momentos e histórias e devolve uma lista classificada de clipes. Use a seleção classificada para montar compilados de destaques ou um vídeo-resumo. Construa o seu próprio motor de clipes ou de edição automática, sem custo de inferência.
Nada é enviado, então clipar um catálogo antigo custa o mesmo que clipar um único vídeo. Não há limite de duração nem tamanho máximo de contexto. Use o Clips em vídeos curtos ou ficheiros de áudio para obter um resumo em segundos, ou processe gravações de uma hora sem limitações.
25 minutos de vídeo, clipados em 9 s.
O Clips classifica uma transcrição de 25 minutos com 404 frases em 12 clipes em 9,19 s num iPhone 17 Pro, no dispositivo.
Medido no dispositivo, fixado na CPU e no Neural Engine
| Transcrição | iPhone 17 Pro | iPhone 15 Pro |
|---|---|---|
| 25-minute video, 12 clips | 9,19 s | 10,22 s |
| Per candidate, encoder only | 2,78 ms | 3,13 ms |
Medições internas na build Core ML distribuída. Os limites dos clipes são o ponto fraco conhecido, e a seleção perto de um momento é sensível a pequenas mudanças de pontuação, então um runtime ou uma quantização diferente devolve um conjunto diferente, mas comparável.
Shorts de um episódio de podcast
Publique os cinco melhores momentos de um episódio de uma hora como shorts, classificados, antes de a exportação terminar, em poucos segundos, diretamente no dispositivo.
Edite automaticamente uma tomada longa
Transforme uma tomada arrastada de 25 minutos num corte enxuto num editor de vídeo. Obtenha um compilado de destaques com os insights mais importantes de um vídeo, pronto para revisar ou publicar.
Clipe o catálogo antigo
Passe uma biblioteca de palestras ou transmissões gravadas pelo Clips num Mac durante a noite. Nada é enviado e nada é cobrado por vídeo, então mil vídeos custam o mesmo que um.
Destaques em cem línguas
Um app de criadores que sai em espanhol, português e alemão recebe a mesma seleção de clipes nos três: um modelo cobre cem línguas, a partir da transcrição, no dispositivo.
Inspiração
Ideias para construir com o Clips. Copie um prompt para o seu agente de código e comece.
Turn any recording into a ranked set of shorts.
Build a feature that takes a recording's transcript and uses Desert Ant's Clips to rank the best non-overlapping moments, then exports them as vertical shorts. On-device, so a back catalog costs the same as one video. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Generate a highlight reel from a long stream or talk.
Build a 'make highlights' button that runs Desert Ant's Clips over a talk or stream transcript to pick the strongest moments and assemble a highlight reel, ranked best first. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Produce a rough auto-edit from a rambling take.
Build an auto-edit that uses Desert Ant's Clips to select the clips worth keeping from a long, rambling recording and lays them on a timeline for review. Control how tight the cut is with the percentile threshold. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Clip a whole back catalog of videos overnight on a Mac.
Build a batch job that runs Desert Ant's Clips over an archive of recorded talks or streams on a Mac, exporting ranked clips for each. Nothing uploaded, no per-video bill. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a full podcast studio: transcribe, clip, and title on the device.
Build a podcast tool that runs Desert Ant's Voz to transcribe an episode, Clips to pick the best moments as shorts, and Title to name and describe each clip, all on-device with no per-minute or per-token bill. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Record, clean, transcribe, and clip: a whole creator pipeline, offline.
Build a creator pipeline: Desert Ant's Clear cleans the recording, Voz transcribes it, and Clips pulls the shorts, all on the device so a full episode never touches a server. Build it with the Desert Ant SDK. Clear (Swift, Kotlin, JavaScript / TypeScript). Install and API: https://desertant.com/docs/clear/. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Turn a webinar into teaser clips for social.
Transcribe a webinar with Desert Ant's Voz and use Clips to pull the strongest moments as teaser clips for social, on-device. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a fully local clipping engine: transcribe, clip, title, caption.
Chain Desert Ant's Voz (transcribe with word timestamps), Clips (select the moments), and Title (name each clip) into a clipping engine that runs entirely on-device on iPhone or Mac, with word-accurate captions from Voz and no per-minute cost. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
O que o modelo faz
- Classifica os melhores momentos não sobrepostos de uma transcrição: cada clipe é pontuado e classificado. Monte seleções fortes ou funcionalidades de edição únicas para escolher as melhores frases em gravações de vídeo ou áudio.
- Controle a seleção. Use o limiar sobre
percentile, não sobre a pontuação bruta: um corte em 0,8 dá em média 5 clipes a cobrir 17% do vídeo (destaques), e um corte em 0,3 dá em média 32 clipes a cobrir 74% (edição automática). - Sem janela de contexto: as frases passam pelo seletor em lotes e cada candidata é pontuada por conta própria, então não há um limite de contexto a contornar. Crie clipes de transcrições longas de vídeo ou áudio sem problema algum.
- Mais rápido, melhor, mais barato. Uma transcrição de 25 minutos com 404 frases devolve 12 clipes em 9,19 s num iPhone 17 Pro e 10,22 s num iPhone 15 Pro; 2,78 ms por candidata só no encoder.
- Suporte a várias línguas. 100 línguas a partir de um único tronco xlm-roberta-base de 278M de parâmetros: 284 MB como um único pacote Core ML int8 em dispositivos Apple.
- Combine o Clips com o nosso modelo Title para gerar títulos e descrições e montar um motor de clipes totalmente local, que corre inteiramente no dispositivo.
Aplicação de exemplo
Clipper
Feito com Voz, Clips, Title
Generate short clips from a video podcast or a long recording, fully on device. A macOS app and a command-line tool over the same core.
Voz transcribes with a time on every word, Clips ranks the best spans, and Title writes a title and description for each.
macOS 26 or later, Apple Silicon
brew tap desert-ant-labs/tap
brew install --cask clipperPrimeiros passos
Adicione seleção de clipes ao seu app iOS or macOS em poucas linhas de código. Docs do Clips.
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0")
// target dependency
.product(name: "Clips", package: "desert-ant-core")import Clips
let clips = Clips()
let moments = try await clips.clips(in: sentences) // [Clip], best first
for clip in moments {
print(clip.text, clip.start, clip.end, clip.percentile)
}Add Clips from Desert Ant Labs to this Swift project (iOS, macOS). What it does: shorts e destaques de qualquer gravação, no dispositivo. SDK: Swift (iOS, macOS) Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme // Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0") // target dependency .product(name: "Clips", package: "desert-ant-core") Reference: - Model page: https://desertant.com/models/clips/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Especificações
- Velocidade
- Uma transcrição de 25 minutos em 9,19 s num iPhone 17 Pro, 10,22 s num iPhone 15 Pro
- Tamanho no dispositivo
- 284 MB Core ML int8 (Apple); dois ficheiros LiteRT de 283 MB para Android, Linux e Windows
- Línguas
- 100
- Modelo
- Tronco xlm-roberta-base, 278M de parâmetros, quatro cabeças: saliência, início, fim e pontuação do clipe
- Plataformas
- iOS 18, macOS 15, tvOS 18, visionOS 2 (Core ML). Os ficheiros LiteRT de Android, Linux e Windows estão publicados, mas ainda não são suportados no nosso SDK.
Os limites dos clipes são o ponto fraco. Um clipe pode abrir num pronome cujo referente estava na frase anterior, fundir dois temas, cortar antes do desfecho ou engolir a leitura de um patrocinador.
Vídeos curtos devolvem poucos clipes, uma transcrição com menos de três frases não devolve nenhum, e o limite de clipes é um teto, não uma cota. As escritas não latinas foram pouco testadas, e os ficheiros de Linux e Windows ainda não são suportados no nosso SDK.
FAQ
O que é o Clips?
Seleção de clipes no dispositivo que transforma uma gravação longa em shorts e destaques classificados, a partir de uma transcrição. No iPhone ou no Mac.
O Clips é executado no dispositivo?
Sim. O Clips é executado no dispositivo, sem qualquer chamada a servidores, por isso os dados ficam com o utilizador.
Que plataformas suporta o Clips?
O Clips é distribuído como um SDK nativo no dispositivo para Swift.
Quanto custa o Clips?
Cada modelo é gratuito para até 100 mil dispositivos ativos mensais por SDK. Inferência ilimitada por utilizador. Contacte-nos para licenças personalizadas.
Qual é a precisão ou a rapidez do Clips?
O Clips classifica uma transcrição de 25 minutos com 404 frases em 12 clipes em 9,19 s num iPhone 17 Pro, no dispositivo.