Ear.
Identificazione della lingua parlata on-device tra 99 lingue, da un breve tratto di audio, prima che inizi la trascrizione.
Riconosce la lingua da 30 secondi di audio.
Arriva un messaggio vocale e il trascrittore è impostato sull'inglese. Dopo 30 secondi Ear dice portoghese, e il trascrittore che parte è quello portoghese invece di uno inglese che restituisce sciocchezze con sicurezza.
Ear non ascolta l'intero file. Ear trova i tre tratti da trenta secondi che suonano più come parlato, salta il jingle e il silenzio, e nomina la lingua in 250 ms. La risposta arriva con un livello di affidabilità e un flag che dice se fidarsi.
Quando i due candidati migliori sono troppo vicini per essere distinti, Ear lo dice. Chiedi all'utente o ripieghi su un modello generale invece di trascrivere nella lingua sbagliata. Un solo SDK, ogni piattaforma: Swift su Apple, Kotlin su Android, JavaScript nel browser e in Node. Non viene caricato nulla.
Il trascrittore giusto, nel 98,5% dei casi.
Su 162 registrazioni, il 98,5% delle risposte che Ear ha segnato come affidabili è stato instradato al trascrittore giusto; su 12 caricamenti ordinari e 10 ricostruiti come podcast, nessuna risposta sicura era sbagliata.
Misurato end-to-end attraverso l'SDK e pubblicato sulla scheda del modello. Il parlato mescolato sotto una musica più forte viene letto correttamente circa il 60% delle volte.
Scegli prima il trascrittore giusto
Un trascrittore puntato sulla lingua sbagliata restituisce sciocchezze con sicurezza. In un registratore di riunioni o in un'app di note vocali, esegui Ear sui primi 30 secondi e avvia il trascrittore, i sottotitoli e la traduzione nella lingua effettivamente parlata.
Ordina un archivio di registrazioni
Fai passare Ear su una libreria di note vocali, chiamate o episodi in uno script Node o in un'app per Mac durante la notte, e al mattino ogni file ha la sua lingua. Non viene caricato nulla e non si paga per file.
Instrada una chiamata o un messaggio in segreteria
In un'app di assistenza o in un prodotto di messaggistica, riconosci la lingua di una chiamata in arrivo o di un messaggio in segreteria prima che raggiunga una persona. La chiamata arriva a chi la parla, o al modello vocale giusto.
Sottotitola nel browser
Uno strumento video web identifica la lingua parlata lato client, con lo stesso SDK nel browser e in Node, e sceglie la lingua dei sottotitoli così chi carica non deve farlo mai.
Ispirazione
Idee da costruire con Ear. Copia un prompt nel tuo coding agent e parti.
Detect a caller's language and route the voicemail.
In a voicemail or call app, run Desert Ant's Ear on the first ~30 seconds of audio to identify the spoken language on-device, then route the message. For a very short voicemail, accumulate audio first, and treat a low-reliability answer as unknown and ask. Build it with the Desert Ant SDK. Ear (Swift, Kotlin, JavaScript / TypeScript). Install and API: https://desertant.com/docs/ear/. Install: SwiftPM desert-ant-core; Maven ai.desertant:ear:3.1.0; npm i @desert-ant-labs/ear @litertjs/core # browser. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Sort an archive of recordings by spoken language.
Build a batch tool that runs Desert Ant's Ear over a folder of recordings to tag each by spoken language, so a mixed archive sorts itself. On-device. Build it with the Desert Ant SDK. Ear (Swift, Kotlin, JavaScript / TypeScript). Install and API: https://desertant.com/docs/ear/. Install: SwiftPM desert-ant-core; Maven ai.desertant:ear:3.1.0; npm i @desert-ant-labs/ear @litertjs/core # browser. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Detect the language of a voice note, then transcribe with the right model.
Before transcribing, run Desert Ant's Ear on the first ~30 seconds to identify the spoken language on-device, then run Voz. Handle low confidence by asking the user instead of guessing. Build it with the Desert Ant SDK. Ear (Swift, Kotlin, JavaScript / TypeScript). Install and API: https://desertant.com/docs/ear/. Voz (Swift). Install and API: https://desertant.com/docs/voz/. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Pick the dominant language of a recording to route it.
Use Desert Ant's Ear on-device to identify the dominant spoken language of a recording (from its most speech-like 30-second windows) and route it to the right transcriber or team. Build it with the Desert Ant SDK. Ear (Swift, Kotlin, JavaScript / TypeScript). Install and API: https://desertant.com/docs/ear/. Install: SwiftPM desert-ant-core; Maven ai.desertant:ear:3.1.0; npm i @desert-ant-labs/ear @litertjs/core # browser. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Detect the language of a voicemail or dictation before transcribing.
Run Desert Ant's Ear on the first ~30 seconds of a voicemail or dictation on-device to identify the language, then pick the right transcriber. Ear needs about 30 seconds, so accumulate audio before deciding on very short clips. Build it with the Desert Ant SDK. Ear (Swift, Kotlin, JavaScript / TypeScript). Install and API: https://desertant.com/docs/ear/. Install: SwiftPM desert-ant-core; Maven ai.desertant:ear:3.1.0; npm i @desert-ant-labs/ear @litertjs/core # browser. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Gate transcription so it only runs on languages you support.
Use Desert Ant's Ear to detect the spoken language on-device and skip or reroute recordings in languages your transcriber does not support. Build it with the Desert Ant SDK. Ear (Swift, Kotlin, JavaScript / TypeScript). Install and API: https://desertant.com/docs/ear/. Install: SwiftPM desert-ant-core; Maven ai.desertant:ear:3.1.0; npm i @desert-ant-labs/ear @litertjs/core # browser. SDK source: https://github.com/Desert-Ant-Labs/desert-ant-core. Machine-readable catalog of every model and SDK: https://desertant.com/llms.txt.
Cosa fa il modello
- 99 lingue, dall'afrikaans allo yoruba, comprese le principali lingue europee, asiatiche e africane.
- Sceglie le tre finestre da trenta secondi che suonano più come parlato invece di leggere per posizione, così un'introduzione musicale o un tratto silenzioso non lo ingannano. Scegliere per posizione trova la lingua nel 4% dei casi su una registrazione di cinque minuti con parlato in un decimo di essa.
- Restituisce la lingua, un livello di affidabilità, i candidati ordinati e un flag
isReliable. Il flag è false quando i due migliori sono troppo vicini per decidere, e false per norvegese, svedese e danese, che il modello confonde tra loro. - L'audio già decodificato a qualsiasi frequenza di campionamento funziona; un URL di file funziona su Apple.
- I pesi vengono scaricati al primo utilizzo e tenuti in cache; la costruzione non fa alcun lavoro e non avvia alcun download.
Per iniziare
Aggiungi riconoscimento della lingua parlata alla tua app iOS or macOS, Android or web in poche righe di codice. Documentazione di Ear.
// Swift Package Manager
.package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0")
// target dependency
.product(name: "Ear", package: "desert-ant-core")import Ear
let ear = Ear() // downloads on first use
let detection = try await ear.identify(contentsOf: url)
detection.language // "pt"
detection.isReliable // trueAdd Ear from Desert Ant Labs to this Swift project (iOS, macOS). What it does: identificazione della lingua parlata on-device. SDK: Swift (iOS, macOS) Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme // Swift Package Manager .package(url: "https://github.com/Desert-Ant-Labs/desert-ant-core.git", from: "3.1.0") // target dependency .product(name: "Ear", package: "desert-ant-core") Reference: - Model page: https://desertant.com/models/ear/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
// build.gradle.kts (Maven Central)
implementation("ai.desertant:ear:3.1.0")import ai.desertant.ear.Ear
val ear = Ear(context) // downloads on first use
val detection = ear.identify(samples, 16_000.0)
detection.language // "pt"
detection.isReliable // true
ear.close()Add Ear from Desert Ant Labs to this Kotlin project (Android).
What it does: identificazione della lingua parlata on-device.
SDK:
Kotlin (Android)
Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme
// build.gradle.kts (Maven Central)
implementation("ai.desertant:ear:3.1.0")
Reference:
- Model page: https://desertant.com/models/ear/
- Full catalog and other models: https://desertant.com/llms.txt
Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
npm i @desert-ant-labs/ear @litertjs/core # browser
npm i @desert-ant-labs/ear # Nodeimport { Ear } from "@desert-ant-labs/ear";
const ear = await Ear.load();
const detection = await ear.identify(samples, 16000);
detection.language // "pt"
detection.isReliable // trueAdd Ear from Desert Ant Labs to this JavaScript / TypeScript project (Web, Node.js). What it does: identificazione della lingua parlata on-device. SDK: JavaScript / TypeScript (Web, Node.js) Repo: https://github.com/Desert-Ant-Labs/desert-ant-core#readme npm i @desert-ant-labs/ear @litertjs/core # browser npm i @desert-ant-labs/ear # Node Reference: - Model page: https://desertant.com/models/ear/ - Full catalog and other models: https://desertant.com/llms.txt Add the SDK, then follow its README for the exact API and current version. Do not invent API names or method signatures; confirm them against the README.
Specifiche
- Lingue
- 99
- Input
- Tre finestre da trenta secondi della registrazione; qualsiasi frequenza di campionamento
- Velocità
- Circa 250 ms per identificazione, tre finestre
- Piattaforme
- iOS, macOS, tvOS, visionOS (Core ML); Android, Linux, Windows (LiteRT); browser (WebAssembly e LiteRT.js); Node
Ear nomina la lingua; non trascrive. Il parlato sotto una musica più forte viene letto correttamente circa sei volte su dieci, e norvegese, svedese e danese vengono confusi tra loro, quindi Ear li segna come inaffidabili per scelta.
Le registrazioni più corte di 30 secondi ottengono una sola finestra e una risposta meno certa. Tratta una risposta inaffidabile come una domanda da porre all'utente, non come un'impostazione del trascrittore.
FAQ
Cos'è Ear?
Identificazione della lingua parlata on-device tra 99 lingue, da un breve tratto di audio, prima che inizi la trascrizione.
Ear funziona sul dispositivo?
Sì. Ear funziona sul dispositivo, senza chiamate a un server, quindi i dati restano con l'utente.
Quali piattaforme supporta Ear?
Ear è distribuito come SDK nativo on-device per Swift, Kotlin, JavaScript / TypeScript.
Quanto costa Ear?
Ogni modello è gratuito fino a 100k dispositivi attivi mensili per SDK. Inferenza illimitata per utente. Contattaci per licenze personalizzate.
Quanto è preciso o veloce Ear?
Su 162 registrazioni, il 98,5% delle risposte che Ear ha segnato come affidabili è stato instradato al trascrittore giusto; su 12 caricamenti ordinari e 10 ricostruiti come podcast, nessuna risposta sicura era sbagliata.