Who

모델이 하는 일

• Who는 5분 구간마다 최대 4명의 화자를 구분하며, 구간을 넘나들며 목소리를 대조하므로 녹음 전체에서는 그보다 많은 화자도 라벨링합니다.
• 각 발화 구간(turn)은 한 화자가 이어서 말한 부분으로, 화자 번호와 초 단위 시작·종료 시각(10ms 단위)을 담습니다. 여러 사람이 겹쳐 말하면 서로 다른 화자의 구간이 겹칩니다.
• SDK에서 Who는 처음 말한 순서대로 화자에게 0부터 번호를 매기며, 누구인지 이름으로 식별하지는 않습니다.
• Neural Engine에서 실행되는 두 Core ML 그래프인 인코더와 쿼리 그래프가 각 구간을 읽습니다. 세 번째 그래프는 혼자 말하는 순간들로 화자마다 목소리 지문(voice print)을 만들고, Who는 녹음 전체의 모든 화자를 한 번에 대조합니다.
• 혼자 말한 시간이 1초 미만인 화자는 자기 목소리 지문이 없어, 시간상 가장 가까운 화자에 합쳐집니다. 다른 사람의 발화 구간 안에 있는 1초짜리 웃음은 그 화자에게 돌아갑니다.
• SDK를 통해 M5 Pro 탑재 MacBook Pro에서 실시간의 950배: AMI 회의 544분을 34초에 처리합니다. 8-bit 빌드는 953배입니다.
• SDK 기준 메모리: 모델을 로드한 상태에서 275MB, 최대 사용량은 8분 녹음에서 336MB, 34분 녹음에서 437MB, 2.65시간 녹음에서 927MB입니다.
• Core ML 다운로드는 float16이 81MB, 8-bit 가중치가 42MB이며, 두 빌드의 AMI 회의 오류율은 12.6%로 같습니다. Neural Engine이 로드할 때 가중치의 압축을 풀기 때문에 8-bit 빌드로 메모리가 줄지는 않습니다.
• Who는 49MB LiteRT 빌드와 99MB ONNX 빌드로도 제공됩니다. LiteRT 빌드는 SDK를 통해 Android, Linux, Windows에서 실행되고, ONNX 빌드는 아직 어느 SDK에서도 실행되지 않습니다. SDK 밖에서 CPU만으로 측정했을 때 LiteRT 빌드는 오디오 544분을 M5 Pro에서 87초, 24코어 AMD EPYC 서버에서 191초에 처리합니다.
• keepingSpeakers(minimumShare:)는 녹음에서 차지하는 비율이 기준보다 낮은 화자를 모두 빼고 나머지의 번호를 다시 매기므로, 웃음, 박수, 징글이 걸러집니다. 우리가 시험한 팟캐스트에서는 5%로 설정했을 때 웃음소리와 청중 소리가 깨끗이 빠졌습니다. 짧게 말하는 화자가 많은 뉴스 프로그램에서는 비율을 낮게 두거나 필터를 끄세요.
• URL이나 경로로 지정한 오디오 파일에 화자 분리를 실행하거나, 샘플레이트에 관계없이 모노 샘플을 넘기세요. 샘플레이트 변환은 SDK가 알아서 합니다.
• SDK는 처음 쓸 때 Hugging Face에서 가중치를 내려받아 캐시합니다. download(progress:)로 미리 받아 둘 수 있고, Who(directory:)는 직접 관리하는 폴더에서 오프라인으로 실행됩니다.

시작하기

누가 무엇을 말했는지을(를) 몇 줄의 코드로 iOS or macOS or Android 앱에 추가하세요. Who 문서.

// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "4.0.0")
// target dependency
.product(name: "Who", package: "desert-ant-core")

import Who

let who = Who()                       // downloads on first use
let result = try await who.diarize(contentsOf: url)

result.speakerCount                   // 3
for turn in result.turns {
    print(turn.speaker, turn.start, turn.end)   // 0 12.4 15.9
}

Add Who from Desert Ant Labs to this Swift project (iOS, macOS).

What it does: 오디오와 동영상을 위한 온디바이스 화자 라벨링.

SDK:

Swift (iOS, macOS)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "4.0.0")
// target dependency
.product(name: "Who", package: "desert-ant-core")

Reference:
- Model page: https://desertant.com/models/who/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

// build.gradle.kts (Maven Central)
implementation("ai.desertant:who:4.0.0")

import ai.desertant.who.Who

val who = Who(context)                       // downloads on first use
val result = who.diarize(samples, 16_000.0)

result.speakerCount                          // 3
for (turn in result.turns) {
    println("${turn.speaker} ${turn.start} ${turn.end}")   // 0 12.4 15.9
}
who.close()

Add Who from Desert Ant Labs to this Kotlin project (Android).

What it does: 오디오와 동영상을 위한 온디바이스 화자 라벨링.

SDK:

Kotlin (Android)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// build.gradle.kts (Maven Central)
implementation("ai.desertant:who:4.0.0")

Reference:
- Model page: https://desertant.com/models/who/
- Full catalog and other models: https://desertant.com/llms.txt

Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.

사양

속도

MacBook Pro (M5 Pro)에서 실시간의 950배, 50분짜리 인터뷰를 3초에

정확도

AMI 회의에서 화자 분리 오류율 12.6%; 화자 최대 4명인 VoxConverse에서 8.4%

화자 수

5분 구간마다 최대 4명, 길이에 관계없이 녹음 전체로는 그 이상

출력

화자별 발화 구간과 초 단위 시작·종료 시각(10ms 단위); 겹친 발화도 유지

온디바이스 크기

Core ML 81MB (float16, 기본값); 8-bit 가중치는 42MB

메모리

모델 로드 시 275MB; 2.65시간 녹음에서 최대 927MB

플랫폼

iOS 18+, macOS 15+, tvOS 18+, visionOS 2+ (Core ML); Android, Linux, Windows (LiteRT, CPU에서 실행)

자주 묻는 질문

리소스

• Who 문서
• Hugging Face의 모델 가중치
• Swift 모델
• Kotlin 모델