Who

Ce que fait le modèle

• Who étiquette jusqu'à quatre locuteurs par segment de cinq minutes, et davantage sur un enregistrement entier, en faisant correspondre les voix d'un segment à l'autre.
• Chaque tour de parole est un passage continu d'un seul locuteur, avec son numéro et ses temps de début et de fin en secondes, à 10 ms près. Les tours de locuteurs différents se chevauchent quand des personnes parlent les unes par-dessus les autres.
• Dans le SDK, Who numérote les locuteurs à partir de zéro, dans l'ordre de leur première prise de parole, et n'identifie personne par son nom.
• Deux graphes Core ML sur le Neural Engine lisent chaque segment : un encodeur et un graphe de requêtes. Un troisième graphe produit une empreinte vocale de chaque locuteur à partir des moments où il parle seul, et Who fait correspondre tous les locuteurs sur l'ensemble de l'enregistrement en une seule fois.
• Un locuteur qui parle seul moins d'une seconde n'a pas d'empreinte vocale propre et est rattaché au locuteur le plus proche dans le temps. Une seconde de rire au milieu du tour de parole de quelqu'un d'autre revient à ce locuteur.
• 950x le temps réel sur un MacBook Pro avec puce M5 Pro, via le SDK : 544 minutes de réunions AMI en 34 s. La version 8 bits tourne à 953x.
• Mémoire via le SDK : 275 MB avec le modèle chargé, et un pic de 336 MB sur un enregistrement de 8 minutes, de 437 MB sur un enregistrement de 34 minutes et de 927 MB sur un enregistrement de 2,65 heures.
• Le téléchargement Core ML pèse 81 MB en float16 ou 42 MB avec des poids 8 bits, et les deux versions ont le même taux d'erreur sur les réunions AMI : 12,6 %. La version 8 bits n'économise pas de mémoire, car le Neural Engine décompresse les poids au chargement.
• Who existe aussi en version LiteRT de 49 MB, que le SDK exécute sur Android, Linux et Windows, et en version ONNX de 99 MB, que les SDK n'exécutent pas encore. Sur CPU seul, la version LiteRT traite 544 minutes d'audio en 87 s sur le M5 Pro et en 191 s sur un serveur AMD EPYC à 24 cœurs, chiffres mesurés hors du SDK.
• keepingSpeakers(minimumShare:) écarte tout locuteur dont le temps de parole est inférieur à une part donnée de l'enregistrement et renumérote les autres, si bien que les rires, les applaudissements et les jingles disparaissent. À 5 %, le filtre a retiré les rires et le public sur les podcasts que nous avons testés. Pour une émission d'information où beaucoup de personnes parlent brièvement, gardez une part faible ou désactivez le filtre.
• Lancez la diarisation sur un fichier audio à partir d'une URL ou d'un chemin, ou passez des échantillons mono à n'importe quelle fréquence d'échantillonnage. Le SDK la convertit pour vous.
• Le SDK télécharge les poids depuis Hugging Face à la première utilisation et les met en cache. download(progress:) les récupère à l'avance, et Who(directory:) fonctionne hors ligne à partir d'un dossier que vous gérez.

Prise en main

Ajoutez qui a dit quoi à votre application iOS or macOS or Android en quelques lignes de code. Docs Who.

// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "4.0.0")
// target dependency
.product(name: "Who", package: "desert-ant-core")

import Who

let who = Who()                       // downloads on first use
let result = try await who.diarize(contentsOf: url)

result.speakerCount                   // 3
for turn in result.turns {
    print(turn.speaker, turn.start, turn.end)   // 0 12.4 15.9
}

Add Who from Desert Ant Labs to this Swift project (iOS, macOS).

What it does: Who : étiquetage des locuteurs sur l'appareil pour l'audio et la vidéo.

SDK:

Swift (iOS, macOS)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "4.0.0")
// target dependency
.product(name: "Who", package: "desert-ant-core")

Reference:
- Model page: https://desertant.com/models/who/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

// build.gradle.kts (Maven Central)
implementation("ai.desertant:who:4.0.0")

import ai.desertant.who.Who

val who = Who(context)                       // downloads on first use
val result = who.diarize(samples, 16_000.0)

result.speakerCount                          // 3
for (turn in result.turns) {
    println("${turn.speaker} ${turn.start} ${turn.end}")   // 0 12.4 15.9
}
who.close()

Add Who from Desert Ant Labs to this Kotlin project (Android).

What it does: Who : étiquetage des locuteurs sur l'appareil pour l'audio et la vidéo.

SDK:

Kotlin (Android)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// build.gradle.kts (Maven Central)
implementation("ai.desertant:who:4.0.0")

Reference:
- Model page: https://desertant.com/models/who/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

Spécifications

Vitesse

950x le temps réel sur un MacBook Pro (M5 Pro), un entretien de 50 minutes en 3 s

Exactitude

Taux d'erreur de diarisation de 12,6 % sur les réunions AMI ; 8,4 % sur VoxConverse avec jusqu'à 4 locuteurs

Locuteurs

Jusqu'à 4 par segment de cinq minutes, davantage sur un enregistrement de toute durée

Sortie

Tours de parole par locuteur, avec temps de début et de fin en secondes, à 10 ms près ; parole superposée conservée

Taille sur l'appareil

81 MB Core ML (float16, par défaut) ; 42 MB avec des poids 8 bits

Mémoire

275 MB avec le modèle chargé ; pic de 927 MB sur un enregistrement de 2,65 heures

Plateformes

iOS 18+, macOS 15+, tvOS 18+, visionOS 2+ (Core ML) ; Android, Linux et Windows (LiteRT, sur le CPU)

FAQ

Ressources

• Docs Who
• Poids du modèle sur Hugging Face
• Modèles Swift
• Modèles Kotlin