ヘイトスピーチを、投稿される前に。
Toxic は 3 つを別々に採点するので、プロダクト側で扱いを変えられます。ヘイトスピーチとは、保護対象の集団に対する暴力や憎悪を公然と煽るものです。暴言は、深刻さに応じて段階付けられた侮辱です。脅迫は、個人や集団に対する暴力を指します。
人が書いた例を集めた公開スイート Multilingual HateCheck で、Toxic は EU 7 言語にわたり 100 点満点中およそ 85 点を取ります。Mistral の Shieldstral は 79 点で、16GB の GPU を必要とします。スマートフォン向けのサイズのガードモデルは 65 点です。
実際のヘイトスピーチで 0.847、80MB で。
対応する EU 7 言語における実際の Multilingual HateCheck で、マクロ F1 は 0.847。オンデバイスで動く 80MB のモデルによるものです。同じ評価ハーネスを通した最も近いガードモデルは Mistral の Shieldstral-1.0-3B で 0.786、しかも 16GB の GPU を必要とします。スマートフォン向けのサイズのものは約 0.65 です。
学習チェックポイントからの外挿ではなく、出荷する重みで計測しています。同じレシピでの 3 回の実行は平均 0.834 です。しきい値は、ヘイトのスコアが 0.40、他の 2 つが 0.50 です。系統を共有しないコーパスでのドメイン外の結果は、5 言語の textdetox で 0.724、3 言語の offenseval2020 で 0.658 です。EU 7 言語は実際の Multilingual HateCheck で採点し、残りの 15 言語は合成セットで採点しています。HateCheck にそれらの実データセットがないためで、これらの数値は比較可能なスコアではなく開発時の推定値です。遅延はまだ計測していません。
ユースケース
ヘイトスピーチを、投稿される前に。.
メッセージが送られる前に警告する
送信するメッセージを、手元のデバイスで先に採点します。ヘイト、暴言、脅迫にあたる内容は、サーバーに届くことなく、インラインの警告やレビュー経路を起動できます。
インフラ不要のコメント振り分け
受信したコメントをすべてクライアント側でローカルに Toxic へ通し、ヘイトスピーチの可能性が高いものだけをモデレーターのキューに送ります。残りは人の手を借りずに済み、どのコメントもクラウド呼び出しの費用がかかりません。
欧州 23 言語でモデレーション
1 つのモデルファイルが、英語、スペイン語、ポーランド語からブルガリア語、エストニア語、アイルランド語まで 23 言語をカバーします。言語ごとのモデルも、別立ての言語判定の工程も要りません。
モデルができること
- テキスト 1 件につき 3 つのスコア：ヘイト、暴言、脅迫。
- ヘイトのスコアの下に 10 個のターゲットシグナル：人種、肌の色、宗教、家系、国籍または民族的出自、性的指向、ジェンダー、障害、年齢、その他。
- 1 つのモデルファイルで 23 言語。言語ごとの推奨しきい値はモデルメタデータに同梱。
- 完全にオンデバイスで動作。採点のためにテキストがデバイスの外に出ることはありません。
仕様
- 対応言語
- 23 言語。英語、ドイツ語、フランス語からギリシャ語、リトアニア語、アイルランド語まで
- オンデバイスサイズ
- 80MB Core ML（4-bit）、91MB LiteRT（int4）、100MB ONNX（ブラウザ）
- モデル
- XLM-R-base、12 層、159.6M パラメータ
- 精度
- Multilingual HateCheck の EU 7 言語でマクロ F1 0.847、出荷する重み。23 言語に対応
- プラットフォーム
- iOS と macOS（Core ML）、Android（LiteRT）、ブラウザ（ONNX）。重みは Hugging Face にあり、SDK にはまだ含まれていません
Toxic はトリアージの補助であって、最終判断ではありません。自動で削除するのではなく、フラグは人のレビュアーか、より重いローカルの階層へ回してください。Toxic は、引用や非難のためであっても憎悪的な言葉に反応するため、反論のための発言（カウンタースピーチ）や報道がフラグに引っかかることがあります。既定の設定では、計測した EU 7 言語で無害なテキストの 26〜30%、英語で 12% にフラグを立てます。Toxic はヘイトスピーチを通常のテキストからはうまく分けますが、単なる無礼からは分けにくく、怒っている顧客が憎悪的だと読まれることがあります。
FAQ
Toxic とは？
オンデバイスのモデレーション。欧州 23 言語のヘイト、暴言、脅迫を送信前に検知します。
Toxic はオンデバイスで動作しますか？
はい。Toxic はデバイス上で動作し、サーバーへの通信は発生しません。データはユーザーの手元に残ります。
Toxic はもう利用できますか？
Toxic はクローズドベータです。このページから早期アクセスをリクエストできます。
Toxic の料金はいくらですか？
すべてのモデルは、SDK ごとに月間アクティブデバイス 100k 台まで無料です。各ユーザーがモデルを実行する回数に制限はありません。 カスタムライセンスについては、お問い合わせください。
Toxic の精度や速度はどれくらいですか？
対応する EU 7 言語における実際の Multilingual HateCheck で、マクロ F1 は 0.847。オンデバイスで動く 80MB のモデルによるものです。同じ評価ハーネスを通した最も近いガードモデルは Mistral の Shieldstral-1.0-3B で 0.786、しかも 16GB の GPU を必要とします。スマートフォン向けのサイズのものは約 0.65 です。
早期アクセス
開発中のプロダクトについてお聞かせください。セットアップをお手伝いします。