Who.
Rotulagem de oradores no dispositivo que transforma uma gravação em turnos por pessoa, com caixas de rosto e marcas de tempo, prontos para cortar ou legendar.
Marque quem disse o quê em áudio e vídeo.
Grave uma entrevista de duas horas com duas câmaras e o Who separa-a por orador, então salta diretamente para o que uma pessoa disse ou corta a cada troca de orador.
O Who ouve e observa as bocas ao mesmo tempo, por isso as sobreposições e as interjeições curtas não baralham as etiquetas. Cada intervenção leva um id de orador, um id de trajetória facial, uma bounding box de rosto normalizada e marcas temporais ao milissegundo, no mesmo formato que uma transcrição do Whisper usa.
Edição que segue quem fala
Corte ou troque de câmara a cada mudança de orador. Use a caixa do rosto para enquadrar a imagem em vídeo de pessoa a falar e multicâmara.
Legendas com o nome de quem fala
Anexe etiquetas de orador às intervenções de transcrição compatíveis com o Whisper. O público lê quem disse cada linha, e não um bloco anónimo de texto.
Encontre o que uma pessoa disse
Divida uma gravação de duas horas em intervenções por pessoa no dispositivo. Filtre por orador e salte diretamente para a intervenção em vez de percorrer a linha de tempo.
O que o modelo faz
- Por intervenção: id de orador, id de trajetória facial, bbox de rosto normalizada, marcas temporais ao milissegundo.
- Intervenções compatíveis com o Whisper para pipelines de legendagem.
- Usa a imagem além do áudio, não apenas o áudio.
Especificações
- Plataformas
- Apple (Swift) primeiro
FAQ
O que é o Who?
Rotulagem de oradores no dispositivo que transforma uma gravação em turnos por pessoa, com caixas de rosto e marcas de tempo, prontos para cortar ou legendar.
O Who é executado no dispositivo?
Sim. O Who é executado no dispositivo, sem qualquer chamada a servidores, por isso os dados ficam com o utilizador.
O Who já está disponível?
O Who está em beta fechada. Peça acesso antecipado nesta página.
Quanto custa o Who?
Cada modelo é gratuito para até 100 mil dispositivos ativos mensais por SDK. Inferência ilimitada por utilizador. Contacte-nos para licenças personalizadas.
Acesso antecipado
Diga-nos o que está a construir e ajudamo-lo a começar.