Who

Cosa fa il modello

• Who etichetta fino a quattro parlanti in ogni segmento di cinque minuti, e di più sull'intera registrazione, abbinando le voci tra i segmenti.
• Ogni turno è un tratto continuo in cui parla una sola persona, con il numero del parlante e i tempi di inizio e di fine in secondi, arrotondati ai 10 ms. I turni di parlanti diversi si sovrappongono quando le persone parlano una sopra l'altra.
• Nell'SDK Who numera i parlanti partendo da zero, nell'ordine in cui prendono la parola per la prima volta, e non identifica nessuno per nome.
• Due grafi Core ML sul Neural Engine leggono ogni segmento: un encoder e un grafo di query. Un terzo grafo ricava un'impronta vocale di ogni parlante dai momenti in cui parla da solo, e Who abbina tutti i parlanti dell'intera registrazione in un'unica operazione.
• Chi parla da solo per meno di un secondo non ha un'impronta vocale propria e viene unito al parlante più vicino nel tempo. Un secondo di risate dentro il turno di un altro viene attribuito a quel parlante.
• 950x rispetto al tempo reale su un MacBook Pro con M5 Pro, tramite l'SDK: 544 minuti di riunioni AMI in 34 s. La build a 8 bit gira a 953x.
• Memoria tramite l'SDK: 275 MB con il modello caricato, e picchi di 336 MB su una registrazione di 8 minuti, di 437 MB su una di 34 minuti e di 927 MB su una di 2,65 ore.
• Il download Core ML è di 81 MB in float16 o di 42 MB con pesi a 8 bit, e le due build hanno lo stesso tasso di errore sulle riunioni AMI, il 12,6%. La build a 8 bit non fa risparmiare memoria, perché il Neural Engine decomprime i pesi al caricamento.
• Who è disponibile anche come build LiteRT da 49 MB, che l'SDK esegue su Android, Linux e Windows, e come build ONNX da 99 MB, che gli SDK non eseguono ancora. Solo su CPU, la build LiteRT elabora 544 minuti di audio in 87 s sull'M5 Pro e in 191 s su un server AMD EPYC a 24 core, con misure prese fuori dall'SDK.
• keepingSpeakers(minimumShare:) scarta ogni parlante sotto una certa percentuale della registrazione e rinumera gli altri, così risate, applausi e jingle spariscono. Al 5%, il filtro ha eliminato risate e pubblico nei podcast che abbiamo provato. Per un notiziario con molti interventi brevi, tieni la percentuale bassa o disattiva il filtro.
• Esegui la diarizzazione di un file audio da URL o da percorso, oppure passa campioni mono a qualsiasi frequenza di campionamento. L'SDK si occupa della conversione.
• L'SDK scarica i pesi da Hugging Face al primo utilizzo e li tiene in cache. download(progress:) li recupera in anticipo, e Who(directory:) funziona offline da una cartella che gestisci tu.

Per iniziare

Aggiungi chi ha detto cosa alla tua app iOS or macOS or Android in poche righe di codice. Documentazione di Who.

// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "4.0.0")
// target dependency
.product(name: "Who", package: "desert-ant-core")

import Who

let who = Who()                       // downloads on first use
let result = try await who.diarize(contentsOf: url)

result.speakerCount                   // 3
for turn in result.turns {
    print(turn.speaker, turn.start, turn.end)   // 0 12.4 15.9
}

Add Who from Desert Ant Labs to this Swift project (iOS, macOS).

What it does: etichettatura dei parlanti on-device per audio e video.

SDK:

Swift (iOS, macOS)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "4.0.0")
// target dependency
.product(name: "Who", package: "desert-ant-core")

Reference:
- Model page: https://desertant.com/models/who/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

// build.gradle.kts (Maven Central)
implementation("ai.desertant:who:4.0.0")

import ai.desertant.who.Who

val who = Who(context)                       // downloads on first use
val result = who.diarize(samples, 16_000.0)

result.speakerCount                          // 3
for (turn in result.turns) {
    println("${turn.speaker} ${turn.start} ${turn.end}")   // 0 12.4 15.9
}
who.close()

Add Who from Desert Ant Labs to this Kotlin project (Android).

What it does: etichettatura dei parlanti on-device per audio e video.

SDK:

Kotlin (Android)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// build.gradle.kts (Maven Central)
implementation("ai.desertant:who:4.0.0")

Reference:
- Model page: https://desertant.com/models/who/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

Specifiche

Velocità

950x rispetto al tempo reale su un MacBook Pro (M5 Pro), un'intervista di 50 minuti in 3 s

Accuratezza

Tasso di errore di diarizzazione del 12,6% sulle riunioni AMI; 8,4% su VoxConverse con al massimo 4 parlanti

Parlanti

Fino a 4 in ogni segmento di cinque minuti, di più su una registrazione di qualsiasi durata

Output

Turni per parlante con tempi di inizio e di fine in secondi, arrotondati ai 10 ms; il parlato sovrapposto viene mantenuto

Dimensione sul dispositivo

81 MB in Core ML (float16, predefinito); 42 MB con pesi a 8 bit

Memoria

275 MB con il modello caricato; picco di 927 MB su una registrazione di 2,65 ore

Piattaforme

iOS 18+, macOS 15+, tvOS 18+, visionOS 2+ (Core ML); Android, Linux e Windows (LiteRT, su CPU)

FAQ

Risorse

• Documentazione di Who
• Pesi del modello su Hugging Face
• Modelli Swift
• Modelli Kotlin