Who

Was das Modell macht

• Who kennzeichnet bis zu vier Sprecher in jedem fünfminütigen Abschnitt. Da Who Stimmen abschnittsübergreifend abgleicht, sind es über eine ganze Aufnahme hinweg auch mehr.
• Jeder Redebeitrag ist ein zusammenhängendes Stück Sprache eines einzelnen Sprechers, mit Sprechernummer sowie Start- und Endzeit in Sekunden, auf 10 ms genau. Redebeiträge verschiedener Sprecher überlappen sich, wenn Personen durcheinanderreden.
• Who nummeriert Sprecher im SDK ab null, in der Reihenfolge, in der sie zuerst zu Wort kommen, und identifiziert niemanden namentlich.
• Zwei Core-ML-Graphen auf der Neural Engine, ein Encoder und ein Query-Graph, lesen jeden Abschnitt. Ein dritter Graph erstellt für jeden Sprecher einen Stimmabdruck aus den Momenten, in denen er allein spricht, und Who gleicht alle Sprecher in einem Schritt über die gesamte Aufnahme hinweg ab.
• Ein Sprecher, der weniger als eine Sekunde allein spricht, bekommt keinen eigenen Stimmabdruck und wird dem zeitlich nächsten Sprecher zugeschlagen. Eine Sekunde Lachen mitten im Redebeitrag einer anderen Person wird dieser Person zugerechnet.
• 950x Echtzeit auf einem MacBook Pro mit dem M5 Pro, über das SDK: 544 Minuten AMI-Meetings in 34 s. Der 8-Bit-Build läuft mit 953x.
• Arbeitsspeicher über das SDK: 275 MB mit geladenem Modell und Spitzenwerte von 336 MB bei einer Aufnahme von 8 Minuten, 437 MB bei 34 Minuten und 927 MB bei 2,65 Stunden.
• Der Core-ML-Download umfasst 81 MB als float16 oder 42 MB mit 8-Bit-Gewichten, und beide Builds haben bei den AMI-Meetings dieselbe Fehlerrate von 12,6 %. Der 8-Bit-Build spart keinen Arbeitsspeicher, da die Neural Engine die Gewichte beim Laden dekomprimiert.
• Who gibt es außerdem als 49 MB großen LiteRT-Build, den das SDK unter Android, Linux und Windows ausführt, und als 99 MB großen ONNX-Build, den die SDKs noch nicht ausführen. Nur auf der CPU verarbeitet der LiteRT-Build 544 Minuten Audio in 87 s auf dem M5 Pro und in 191 s auf einem AMD-EPYC-Server mit 24 Kernen, gemessen außerhalb des SDK.
• keepingSpeakers(minimumShare:) entfernt jeden Sprecher, dessen Anteil an der Aufnahme unter einem festgelegten Wert liegt, und nummeriert die übrigen neu, sodass Lachen, Applaus und Jingles herausfallen. Bei 5 % hat der Filter in den Podcasts, die wir ausprobiert haben, Lachen und Publikum entfernt. Für eine Nachrichtensendung mit vielen kurzen Wortbeiträgen wählen Sie einen niedrigen Anteil oder schalten den Filter ab.
• Diarisieren Sie eine Audiodatei per URL oder Pfad, oder übergeben Sie Mono-Samples in beliebiger Abtastrate. Das SDK rechnet die Abtastrate für Sie um.
• Das SDK lädt die Gewichte bei der ersten Nutzung von Hugging Face herunter und hält sie im Cache. download(progress:) holt sie vorab, und Who(directory:) läuft offline aus einem Ordner, den Sie selbst verwalten.

Erste Schritte

Fügen Sie wer was gesagt hat mit wenigen Zeilen Code zu Ihrer iOS or macOS or Android-App hinzu. Who Docs.

// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "4.0.0")
// target dependency
.product(name: "Who", package: "desert-ant-core")

import Who

let who = Who()                       // downloads on first use
let result = try await who.diarize(contentsOf: url)

result.speakerCount                   // 3
for turn in result.turns {
    print(turn.speaker, turn.start, turn.end)   // 0 12.4 15.9
}

Add Who from Desert Ant Labs to this Swift project (iOS, macOS).

What it does: Sprecherzuordnung auf dem Gerät für Audio und Video.

SDK:

Swift (iOS, macOS)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "4.0.0")
// target dependency
.product(name: "Who", package: "desert-ant-core")

Reference:
- Model page: https://desertant.com/models/who/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

// build.gradle.kts (Maven Central)
implementation("ai.desertant:who:4.0.0")

import ai.desertant.who.Who

val who = Who(context)                       // downloads on first use
val result = who.diarize(samples, 16_000.0)

result.speakerCount                          // 3
for (turn in result.turns) {
    println("${turn.speaker} ${turn.start} ${turn.end}")   // 0 12.4 15.9
}
who.close()

Add Who from Desert Ant Labs to this Kotlin project (Android).

What it does: Sprecherzuordnung auf dem Gerät für Audio und Video.

SDK:

Kotlin (Android)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// build.gradle.kts (Maven Central)
implementation("ai.desertant:who:4.0.0")

Reference:
- Model page: https://desertant.com/models/who/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

Technische Daten

Geschwindigkeit

950x Echtzeit auf einem MacBook Pro (M5 Pro), ein 50-minütiges Interview in 3 s

Genauigkeit

12,6 % Diarisierungsfehlerrate bei AMI-Meetings; 8,4 % bei VoxConverse mit bis zu 4 Sprechern

Sprecher

Bis zu 4 pro fünfminütigem Abschnitt, mehr über eine Aufnahme beliebiger Länge hinweg

Ausgabe

Redebeiträge pro Sprecher mit Start- und Endzeit in Sekunden, auf 10 ms genau; überlappende Sprache bleibt erhalten

Größe auf dem Gerät

81 MB Core ML (float16, Standard) oder 42 MB mit 8-Bit-Gewichten

Arbeitsspeicher

275 MB mit geladenem Modell; Spitzenwert 927 MB bei einer Aufnahme von 2,65 Stunden

Plattformen

iOS 18+, macOS 15+, tvOS 18+, visionOS 2+ (Core ML); Android, Linux und Windows (LiteRT, auf der CPU)

FAQ

Ressourcen

• Who Docs
• Modellgewichte auf Hugging Face
• Swift-Modelle
• Kotlin-Modelle