Who

Vad modellen gör

• Who märker upp till fyra talare i varje femminutersdel, och fler i en hel inspelning, genom att matcha röster mellan delarna.
• Varje taltur är ett sammanhängande stycke tal från en talare, med ett talarnummer och start- och sluttider i sekunder, avrundade till närmaste 10 ms. Talturer från olika talare överlappar när folk pratar i munnen på varandra.
• I SDK:n numrerar Who talarna från noll, i den ordning de först talar, och identifierar ingen med namn.
• Två Core ML-grafer på Neural Engine läser varje del: en encoder och en query-graf. En tredje graf gör ett röstavtryck av varje talare från de stunder då talaren pratar ensam, och Who matchar alla talare i hela inspelningen på en gång.
• En talare som pratar ensam i mindre än en sekund får inget eget röstavtryck och slås ihop med den talare som ligger närmast i tid. En sekunds skratt inne i någon annans taltur tillskrivs den talaren.
• 950x realtid på en MacBook Pro med M5 Pro, via SDK:n: 544 minuter AMI-möten på 34 s. 8-bitarsbygget når 953x.
• Minne via SDK:n: 275 MB med modellen laddad, och en topp på 336 MB för en inspelning på 8 minuter, 437 MB för 34 minuter och 927 MB för 2,65 timmar.
• Core ML-nedladdningen är 81 MB i float16 eller 42 MB med 8-bitarsvikter, och båda byggena har samma felfrekvens på AMI-mötena, 12,6%. 8-bitarsbygget sparar inget minne, eftersom Neural Engine packar upp vikterna när modellen laddas.
• Who finns också som ett LiteRT-bygge på 49 MB, som SDK:n kör på Android, Linux och Windows, och ett ONNX-bygge på 99 MB, som SDK:erna inte kör ännu. Enbart på CPU kör LiteRT-bygget 544 minuter ljud på 87 s på M5 Pro och på 191 s på en AMD EPYC-server med 24 kärnor, uppmätt utanför SDK:n.
• keepingSpeakers(minimumShare:) tar bort varje talare under en viss andel av inspelningen och numrerar om resten, så att skratt, applåder och jinglar försvinner. Vid 5% rensade filtret bort skratten och publiken i poddarna vi testade. För ett nyhetsprogram med många talare som bara hörs kort, håll andelen låg eller stäng av filtret.
• Diarisera en ljudfil via URL eller sökväg, eller skicka in sampel i mono med valfri samplingsfrekvens. SDK:n omsamplar åt dig.
• SDK:n laddar ned vikterna från Hugging Face vid första användningen och cachar dem. download(progress:) hämtar dem i förväg, och Who(directory:) körs offline från en mapp du själv hanterar.

Kom igång

Lägg till vem sa vad i din iOS or macOS or Android-app med några rader kod. Who-dokumentation.

// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "4.0.0")
// target dependency
.product(name: "Who", package: "desert-ant-core")

import Who

let who = Who()                       // downloads on first use
let result = try await who.diarize(contentsOf: url)

result.speakerCount                   // 3
for turn in result.turns {
    print(turn.speaker, turn.start, turn.end)   // 0 12.4 15.9
}

Add Who from Desert Ant Labs to this Swift project (iOS, macOS).

What it does: Talarmärkning på enheten för ljud och video.

SDK:

Swift (iOS, macOS)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "4.0.0")
// target dependency
.product(name: "Who", package: "desert-ant-core")

Reference:
- Model page: https://desertant.com/models/who/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

// build.gradle.kts (Maven Central)
implementation("ai.desertant:who:4.0.0")

import ai.desertant.who.Who

val who = Who(context)                       // downloads on first use
val result = who.diarize(samples, 16_000.0)

result.speakerCount                          // 3
for (turn in result.turns) {
    println("${turn.speaker} ${turn.start} ${turn.end}")   // 0 12.4 15.9
}
who.close()

Add Who from Desert Ant Labs to this Kotlin project (Android).

What it does: Talarmärkning på enheten för ljud och video.

SDK:

Kotlin (Android)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// build.gradle.kts (Maven Central)
implementation("ai.desertant:who:4.0.0")

Reference:
- Model page: https://desertant.com/models/who/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

Specifikationer

Hastighet

950x realtid på en MacBook Pro (M5 Pro), en 50 minuter lång intervju på 3 s

Noggrannhet

12,6% diariseringsfelfrekvens på AMI-möten; 8,4% på VoxConverse med upp till 4 talare

Talare

Upp till 4 i varje femminutersdel, fler i en inspelning av valfri längd

Utdata

Talturer per talare med start- och sluttider i sekunder, avrundade till närmaste 10 ms; överlappande tal behålls

Storlek på enheten

81 MB Core ML (float16, standard); 42 MB med 8-bitarsvikter

Minne

275 MB med modellen laddad; topp på 927 MB för en inspelning på 2,65 timmar

Plattformar

iOS 18+, macOS 15+, tvOS 18+, visionOS 2+ (Core ML); Android, Linux och Windows (LiteRT, på CPU)

Vanliga frågor

Resurser

• Who-dokumentation
• Modellvikter på Hugging Face
• Swift-modeller
• Kotlin-modeller