Who.
オンデバイスの話者ラベリング。録音を話者ごとの発話区間に分け、顔の枠とタイムスタンプを付けます。そのままカットや字幕付けに使えます。
音声も動画も、話者ごとにラベル付け。
2 時間・2 カメラのインタビューを録画すると、Who がそれを話者ごとに切り分けるので、1 人の発言に飛んだり、話者が変わるたびにカットしたりできます。
Who は聴きながら同時に口元を見ているので、発話の重なりや短い相づちでラベルが崩れません。発話区間ごとに、話者 ID、顔トラック ID、正規化された顔のバウンディングボックス、ミリ秒単位のタイムスタンプが付き、Whisper の文字起こしと同じ形になっています。
話者を追う編集
話者が変わるたびにカットするか、カメラを切り替えます。トーキングヘッドやマルチカメラの動画では、顔のバウンディングボックスを使って画角を決められます。
名前の付いた字幕
Whisper 互換の文字起こしの発話区間に、話者ラベルを付けます。視聴者が読むのは、誰の発言かわからない一続きのテキストではなく、どの行を誰が話したかです。
1 人の発言だけを探し出す
2 時間の録画を、デバイス上で人ごとの発話区間に切り分けます。話者で絞り込めば、タイムラインを行き来せずにその区間へ直接飛べます。
モデルができること
- 発話区間ごとに：話者 ID、顔トラック ID、正規化された顔の bbox、ミリ秒単位のタイムスタンプ。
- 字幕生成のパイプライン向けの Whisper 互換の発話区間。
- 音声だけでなく、映像も使います。
仕様
- プラットフォーム
- まず Apple（Swift）
FAQ
Who とは？
オンデバイスの話者ラベリング。録音を話者ごとの発話区間に分け、顔の枠とタイムスタンプを付けます。そのままカットや字幕付けに使えます。
Who はオンデバイスで動作しますか？
はい。Who はデバイス上で動作し、サーバーへの通信は発生しません。データはユーザーの手元に残ります。
Who はもう利用できますか？
Who はクローズドベータです。このページから早期アクセスをリクエストできます。
Who の料金はいくらですか？
すべてのモデルは、SDK ごとに月間アクティブデバイス 100k 台まで無料です。各ユーザーがモデルを実行する回数に制限はありません。 カスタムライセンスについては、お問い合わせください。
早期アクセス
開発中のプロダクトについてお聞かせください。セットアップをお手伝いします。