Desert Ant Labs

Uhm.

フィラー検出提供中

オンデバイスのフィラー検出。すべての um、uh、hmm を 20 ms 以内で印付け。1 時間の音声を 12 秒で。

フィラーをすべて見つけて、取り除く。

1 時間のエピソードは、iPhone 17 Pro で 12 秒で解析されます。過去の全アーカイブも、クラウドの請求ではなく、ローカルで回すバッチ処理になります。

Uhm は文字起こしの工程を省くことで、それを実現します。「um」を見つける通常のやり方は、ファイル全体を文字起こししてテキストを検索することです。しかし、そもそも文字起こしは役に立ちません。Whisper のようなモデルはフィラーを出力から除くため、「um」はテキストに現れず、探しようがないのです。

Uhm は代わりに波形を読み取り、聞き取ったフィラーすべてに印を付けます。編集者がそれらを切ることも、ワンクリックのクリーンアップで録音全体を詰めることもできます。音声や動画のファイルを開くと、すべてのフィラーがその時刻とともに一覧になり、クリックすればその位置に飛べます。

Apple では 45MB の Core ML ビルドが動きます。ブラウザのデモと Python のバックエンドは、同じモデルを 51MB の ONNX として動かすので、Web エディターとバッチ処理はまったく同じ挙動になります。

10 分の音声を 2 秒で。

iPhone 17 Pro で実時間の 296 倍、iPad Pro M4 で 279 倍、iPhone 15 Pro で 169 倍。予測は 20 ms ごとです。

296x
実時間比
iPhone 17 Pro
20ms
フレーム分解能
45MB
オンデバイス
Core ML fp16;ブラウザとサーバーは 51MB ONNX

実時間比(音声の長さ ÷ 解析時間)、fp16 Core ML、ウォーム状態(社内計測)

デバイス実時間比
iPhone 17 Pro296x
iPad Pro (M4)279x
iPhone 15 Pro169x

社内ベンチマーク。学習は英語で行っており、スペイン語、フランス語、ドイツ語、オランダ語への転移は音響的なもので、個別には計測していません。

過去のアーカイブを一晩で整える.

タイムライン上のフィラーを 1 つ残らず切る

「um」「uh」のすべてに印を付けます。先に文字起こしを回さなくても、編集者の手でも、ワンクリックのクリーンアップでも、録音を詰められます。

ブラウザで見るフィラーのタイムライン

Web エディターでは、音声や動画のファイル内のフィラーがすべて、クリックでシークできる時刻とともに一覧になります。処理はクライアント側で行われ、アップロードも背後のワーカーキューもありません。

「um」が文字になる前に落とす

音声中の言いよどみを検出し、文字起こしに渡す言葉から取り除きます。仕上がったテキストは、話し手が言いたかったとおりに読めます。

話し方の練習とコーチング

録音した話の中でフィラーが出た回数を数え、その傾向を本人に見せます。声をどこにもアップロードしない練習アプリに組み込めます。

インスピレーション

Uhm で作るためのアイデア。プロンプトをコーディングエージェントにコピーして始めましょう。

Uhm

Add a 'remove ums' button to a podcast or video editor.

Uhm

Build a speaking coach that counts and marks your filler words.

Uhm

Show a filler-word timeline for any recording.

ClearVozUhm

A clean, filler-free transcript from a raw, noisy recording.

Uhm

Trim every filler from a talking-head take automatically.

モデルができること

  • フレーム単位で正確:20 ms の精度。
  • 音響的な検出:波形上で直接動作し、文字起こしは不要。
  • Bias プリセット:precision、balanced、recall。
  • 英語で学習し、再学習なしでスペイン語、フランス語、ドイツ語、オランダ語へ転移。

はじめに

フィラー検出 を、数行のコードで iOS or macOS アプリに追加。 Uhm のドキュメント.

iOS, macOS
インストール
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core", from: "3.1.0")
// target dependency
.product(name: "Uhm", package: "desert-ant-core")
使用例 - Swift
import Uhm

let result = try await Uhm().analyze(audioURL: url)
for f in result.fillers { print(f.start, f.end, f.type ?? .other) }
プロンプトで作る
Add Uhm from Desert Ant Labs to this Swift project (iOS, macOS).

What it does: Uhm:音声・動画向けのオンデバイスのフィラー検出.

SDK:

Swift (iOS, macOS)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core", from: "3.1.0")
// target dependency
.product(name: "Uhm", package: "desert-ant-core")

Reference:
- Model page: https://desertant.com/models/uhm/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Android近日公開
Web, Node.js近日公開

仕様

分解能
20 ms のフレーム分解能
モデル
音響ベース、文字起こし不要
オンデバイスサイズ
45MB Core ML(Apple)、51MB ONNX(ブラウザ、サーバー)
言語
英語。スペイン語、フランス語、ドイツ語、オランダ語へ転移
速度
iPhone 17 Pro で実時間の 296 倍

Uhm は英語で学習しており、転移する 4 言語については言語ごとの正解データでは計測していません。Uhm はポッドキャスト、会議、トーキングヘッドの音声で最も力を発揮します。強い背景音楽、笑い声、複数人が同時に話す状況では精度が下がります。ラベルよりも「フィラーかどうか」の答えを信頼してください。あるフィラーが「uh」だったか「um」だったか「hmm」だったかは、結果のなかで信頼性の低い方です。

FAQ

Uhm とは?

オンデバイスのフィラー検出。すべての um、uh、hmm を 20 ms 以内で印付け。1 時間の音声を 12 秒で。

Uhm はオンデバイスで動作しますか?

はい。Uhm はデバイス上で動作し、サーバーへの通信は発生しません。データはユーザーの手元に残ります。

Uhm はどのプラットフォームに対応していますか?

Uhm は Swift 向けのネイティブなオンデバイス SDK として提供されます。

Uhm の料金はいくらですか?

すべてのモデルは、SDK ごとに月間アクティブデバイス 100k 台まで無料です。各ユーザーがモデルを実行する回数に制限はありません。 カスタムライセンスについては、お問い合わせください

Uhm の精度や速度はどれくらいですか?

iPhone 17 Pro で実時間の 296 倍、iPad Pro M4 で 279 倍、iPhone 15 Pro で 169 倍。予測は 20 ms ごとです。

リソース