Who

Wat het model doet

• Who labelt maximaal vier sprekers per fragment van vijf minuten, en meer in een hele opname, door stemmen tussen fragmenten te koppelen.
• Elke beurt is één aaneengesloten stuk spraak van één spreker, met een sprekernummer en begin- en eindtijden in seconden, tot op 10 ms nauwkeurig. Beurten van verschillende sprekers overlappen als mensen door elkaar heen praten.
• In de SDK nummert Who sprekers vanaf nul, in de volgorde waarin ze voor het eerst spreken, en identificeert Who niemand bij naam.
• Twee Core ML-graphs op de Neural Engine verwerken elk fragment: een encoder en een query-graph. Een derde graph maakt van elke spreker een stemafdruk uit de momenten waarop die alleen spreekt, en Who koppelt alle sprekers in één keer over de hele opname.
• Een spreker die minder dan een seconde alleen aan het woord is, krijgt geen eigen stemafdruk en wordt samengevoegd met de spreker die qua tijd het dichtstbij is. Een seconde gelach midden in de beurt van iemand anders telt mee voor die spreker.
• 950x realtime op een MacBook Pro met de M5 Pro, via de SDK: 544 minuten AMI-vergaderingen in 34s. De 8-bit-build haalt 953x.
• Geheugen via de SDK: 275 MB met het model geladen, en een piek van 336 MB bij een opname van 8 minuten, 437 MB bij 34 minuten en 927 MB bij 2,65 uur.
• De Core ML-download is 81 MB als float16 of 42 MB met 8-bit-gewichten, en beide builds hebben hetzelfde foutpercentage op AMI-vergaderingen: 12,6%. De 8-bit-build bespaart geen geheugen, omdat de Neural Engine de gewichten bij het laden decomprimeert.
• Who is er ook als LiteRT-build van 49 MB, waarmee de SDK op Android, Linux en Windows draait, en als ONNX-build van 99 MB, die de SDK's nog niet ondersteunen. Alleen op de CPU verwerkt de LiteRT-build 544 minuten audio in 87s op de M5 Pro en in 191s op een AMD EPYC-server met 24 cores, gemeten buiten de SDK.
• keepingSpeakers(minimumShare:) laat elke spreker weg die onder een bepaald aandeel van de opname blijft en nummert de rest opnieuw, zodat gelach, applaus en jingles verdwijnen. Bij 5% haalde het filter het gelach en het publiek weg uit de podcasts die we hebben getest. Bij een nieuwsprogramma met veel sprekers die maar kort aan het woord zijn, houd je het aandeel laag of zet je het filter uit.
• Pas diarisatie toe op een audiobestand via een URL of pad, of geef monosamples door met een willekeurige samplerate. De SDK zet de samplerate voor je om.
• Bij het eerste gebruik downloadt de SDK de gewichten van Hugging Face en bewaart ze in de cache. download(progress:) haalt ze vooraf op, en Who(directory:) draait offline vanuit een map die je zelf beheert.

Aan de slag

Voeg wie zei wat toe aan je iOS or macOS or Android-app in een paar regels code. Who docs.

// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "4.0.0")
// target dependency
.product(name: "Who", package: "desert-ant-core")

import Who

let who = Who()                       // downloads on first use
let result = try await who.diarize(contentsOf: url)

result.speakerCount                   // 3
for turn in result.turns {
    print(turn.speaker, turn.start, turn.end)   // 0 12.4 15.9
}

Add Who from Desert Ant Labs to this Swift project (iOS, macOS).

What it does: on-device sprekerlabeling voor audio en video.

SDK:

Swift (iOS, macOS)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "4.0.0")
// target dependency
.product(name: "Who", package: "desert-ant-core")

Reference:
- Model page: https://desertant.com/models/who/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

// build.gradle.kts (Maven Central)
implementation("ai.desertant:who:4.0.0")

import ai.desertant.who.Who

val who = Who(context)                       // downloads on first use
val result = who.diarize(samples, 16_000.0)

result.speakerCount                          // 3
for (turn in result.turns) {
    println("${turn.speaker} ${turn.start} ${turn.end}")   // 0 12.4 15.9
}
who.close()

Add Who from Desert Ant Labs to this Kotlin project (Android).

What it does: on-device sprekerlabeling voor audio en video.

SDK:

Kotlin (Android)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// build.gradle.kts (Maven Central)
implementation("ai.desertant:who:4.0.0")

Reference:
- Model page: https://desertant.com/models/who/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

Specs

Snelheid

950x realtime op een MacBook Pro (M5 Pro), een interview van 50 minuten in 3s

Nauwkeurigheid

Diarisatiefoutpercentage van 12,6% op AMI-vergaderingen; 8,4% op VoxConverse met maximaal 4 sprekers

Sprekers

Maximaal 4 per fragment van vijf minuten, meer in een opname van elke lengte

Output

Beurten per spreker met begin- en eindtijden in seconden, tot op 10 ms nauwkeurig; overlappende spraak blijft behouden

Grootte op het apparaat

81 MB Core ML (float16, standaard); 42 MB met 8-bit-gewichten

Geheugen

275 MB met het model geladen; piek van 927 MB bij een opname van 2,65 uur

Platforms

iOS 18+, macOS 15+, tvOS 18+, visionOS 2+ (Core ML); Android, Linux en Windows (LiteRT, op de CPU)

FAQ

Bronnen

• Who docs
• Modelgewichten op Hugging Face
• Swift-modellen
• Kotlin-modellen