Clips.
Seleção de clipes no dispositivo que transforma uma gravação longa em shorts e destaques ranqueados, a partir de uma transcrição. No iPhone ou no Mac.
Crie vídeos curtos e clipes de destaque.
De uma gravação de 25 minutos, o Clips ranqueia 12 clipes em 9 s em um iPhone 17 Pro. Crie uma seleção ranqueada de clipes para compartilhar na hora.
O Clips analisa uma transcrição para achar os melhores momentos e histórias e devolve uma lista ranqueada de clipes. Use a seleção ranqueada para montar compilados de destaques ou um vídeo-resumo. Construa o seu próprio motor de clipes ou de edição automática, sem custo de inferência.
Nada é enviado, então clipar um catálogo antigo custa o mesmo que clipar um único vídeo. Não há limite de duração nem tamanho máximo de contexto. Use o Clips em vídeos curtos ou arquivos de áudio para obter um resumo em segundos, ou processe gravações de uma hora sem limitações.
25 minutos de vídeo, clipados em 9 s.
O Clips ranqueia uma transcrição de 25 minutos com 404 frases em 12 clipes em 9,19 s em um iPhone 17 Pro, no dispositivo.
Medido no dispositivo, fixado na CPU e no Neural Engine
| Transcrição | iPhone 17 Pro | iPhone 15 Pro |
|---|---|---|
| 25-minute video, 12 clips | 9,19 s | 10,22 s |
| Per candidate, encoder only | 2,78 ms | 3,13 ms |
Medições internas na build Core ML distribuída. As bordas dos clipes são o ponto fraco conhecido, e a seleção perto de um momento é sensível a pequenas mudanças de pontuação, então um runtime ou uma quantização diferente devolve um conjunto diferente, mas comparável.
Shorts de um episódio de podcast
Publique os cinco melhores momentos de um episódio de uma hora como shorts, ranqueados, antes de a exportação terminar, em poucos segundos, direto no dispositivo.
Edite automaticamente uma tomada longa
Transforme uma tomada arrastada de 25 minutos em um corte enxuto em um editor de vídeo. Obtenha um compilado de destaques com os insights mais importantes de um vídeo, pronto para revisar ou publicar.
Clipe o catálogo antigo
Passe uma biblioteca de palestras ou transmissões gravadas pelo Clips em um Mac durante a noite. Nada é enviado e nada é cobrado por vídeo, então mil vídeos custam o mesmo que um.
Destaques em cem idiomas
Um app de criadores que sai em espanhol, português e alemão recebe a mesma seleção de clipes nos três: um modelo cobre cem idiomas, a partir da transcrição, no dispositivo.
Inspiração
Ideias para construir com o Clips. Copie um prompt para o seu agente de código e comece.
Turn any recording into a ranked set of shorts.
Build a feature that takes a recording's transcript and uses Desert Ant's Clips to rank the best non-overlapping moments, then exports them as vertical shorts. On-device, so a back catalog costs the same as one video. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Generate a highlight reel from a long stream or talk.
Build a 'make highlights' button that runs Desert Ant's Clips over a talk or stream transcript to pick the strongest moments and assemble a highlight reel, ranked best first. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Produce a rough auto-edit from a rambling take.
Build an auto-edit that uses Desert Ant's Clips to select the clips worth keeping from a long, rambling recording and lays them on a timeline for review. Control how tight the cut is with the percentile threshold. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Clip a whole back catalog of videos overnight on a Mac.
Build a batch job that runs Desert Ant's Clips over an archive of recorded talks or streams on a Mac, exporting ranked clips for each. Nothing uploaded, no per-video bill. Build it with the Desert Ant SDK. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Install: SwiftPM desert-ant-core. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a full podcast studio: transcribe, clip, and title on the device.
Build a podcast tool that runs Desert Ant's Voz to transcribe an episode, Clips to pick the best moments as shorts, and Title to name and describe each clip, all on-device with no per-minute or per-token bill. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Record, clean, transcribe, and clip: a whole creator pipeline, offline.
Build a creator pipeline: Desert Ant's Clear cleans the recording, Voz transcribes it, and Clips pulls the shorts, all on the device so a full episode never touches a server. Build it with the Desert Ant SDK. Clear (Swift, Kotlin, JavaScript / TypeScript). Install and API: https://desertant.com/docs/clear/. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Turn a webinar into teaser clips for social.
Transcribe a webinar with Desert Ant's Voz and use Clips to pull the strongest moments as teaser clips for social, on-device. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Build a fully local clipping engine: transcribe, clip, title, caption.
Chain Desert Ant's Voz (transcribe with word timestamps), Clips (select the moments), and Title (name each clip) into a clipping engine that runs entirely on-device on iPhone or Mac, with word-accurate captions from Voz and no per-minute cost. Build it with the Desert Ant SDK. Voz (Swift). Install and API: https://desertant.com/docs/voz/. Clips (Swift). Install and API: https://desertant.com/docs/clips/. Title (Swift). Install and API: https://desertant.com/docs/title/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
O que o modelo faz
- Ranqueia os melhores momentos não sobrepostos de uma transcrição: cada clipe é pontuado e ranqueado. Monte seleções fortes ou recursos de edição únicos para escolher as melhores frases em gravações de vídeo ou áudio.
- Controle a seleção. Use o limiar sobre
percentile, não sobre a pontuação bruta: um corte em 0,8 dá em média 5 clipes cobrindo 17% do vídeo (destaques), e um corte em 0,3 dá em média 32 clipes cobrindo 74% (edição automática). - Sem janela de contexto: as frases passam pelo seletor em lotes e cada candidata é pontuada por conta própria, então não há um limite de contexto a contornar. Crie clipes de transcrições longas de vídeo ou áudio sem problema algum.
- Mais rápido, melhor, mais barato. Uma transcrição de 25 minutos com 404 frases devolve 12 clipes em 9,19 s em um iPhone 17 Pro e 10,22 s em um iPhone 15 Pro; 2,78 ms por candidata só no encoder.
- Suporte a vários idiomas. 100 idiomas a partir de um único tronco xlm-roberta-base de 278M de parâmetros: 284 MB como um único pacote Core ML int8 em dispositivos Apple.
- Combine o Clips com o nosso modelo Title para gerar títulos e descrições e montar um motor de clipes totalmente local, que roda inteiramente no dispositivo.
App de exemplo
Clipper
Feito com Voz, Clips, Title
Generate short clips from a video podcast or a long recording, fully on device. A macOS app and a command-line tool over the same core.
Voz transcribes with a time on every word, Clips ranks the best spans, and Title writes a title and description for each.
macOS 26 or later, Apple Silicon
brew tap desert-ant-labs/tap
brew install --cask clipperPrimeiros passos
Adicione seleção de clipes ao seu app iOS or macOS em poucas linhas de código. Docs do Clips.
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0")
// target dependency
.product(name: "Clips", package: "desert-ant-core")import Clips
let clips = Clips()
let moments = try await clips.clips(in: sentences) // [Clip], best first
for clip in moments {
print(clip.text, clip.start, clip.end, clip.percentile)
}Add Clips from Desert Ant Labs to this Swift project (iOS, macOS). What it does: shorts e destaques de qualquer gravação, no dispositivo. SDK: Swift (iOS, macOS) Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme // Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0") // target dependency .product(name: "Clips", package: "desert-ant-core") Reference: - Model page: https://desertant.com/models/clips/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Especificações
- Velocidade
- Uma transcrição de 25 minutos em 9,19 s em um iPhone 17 Pro, 10,22 s em um iPhone 15 Pro
- Tamanho no dispositivo
- 284 MB Core ML int8 (Apple); dois arquivos LiteRT de 283 MB para Android, Linux e Windows
- Idiomas
- 100
- Modelo
- Tronco xlm-roberta-base, 278M de parâmetros, quatro cabeças: saliência, início, fim e pontuação do clipe
- Plataformas
- iOS 18, macOS 15, tvOS 18, visionOS 2 (Core ML). Os arquivos LiteRT de Android, Linux e Windows estão publicados, mas ainda não são suportados no nosso SDK.
As bordas dos clipes são o ponto fraco. Um clipe pode abrir em um pronome cujo referente estava na frase anterior, fundir dois temas, cortar antes do desfecho ou engolir a leitura de um patrocinador.
Vídeos curtos devolvem poucos clipes, uma transcrição com menos de três frases não devolve nenhum, e o limite de clipes é um teto, não uma cota. As escritas não latinas foram pouco testadas, e os arquivos de Linux e Windows ainda não são suportados no nosso SDK.
FAQ
O que é o Clips?
Seleção de clipes no dispositivo que transforma uma gravação longa em shorts e destaques ranqueados, a partir de uma transcrição. No iPhone ou no Mac.
O Clips roda no dispositivo?
Sim. O Clips roda no dispositivo, sem chamada a servidor, então os dados ficam com o usuário.
Quais plataformas o Clips suporta?
O Clips é distribuído como um SDK nativo no dispositivo para Swift.
Quanto custa o Clips?
Cada modelo é gratuito para até 100 mil dispositivos ativos mensais por SDK. Inferência ilimitada por usuário. Fale conosco para licenças personalizadas.
Qual a precisão e a velocidade do Clips?
O Clips ranqueia uma transcrição de 25 minutos com 404 frases em 12 clipes em 9,19 s em um iPhone 17 Pro, no dispositivo.