Omnilingual ASR

概要

Omnilingual ASRは、1,600以上のネイティブ言語に対応し、さらにはfew-shot学習を用いて5,000以上の言語への拡張も可能な、最先端の自動音声認識システムです。高度なwav2vecスタイルの自己教師ありエンコーダー、大規模言語モデル（LLM）強化デコーダー、そしてバランスの取れた多言語コーパスを組み合わせることで、Omnilingual ASRは多言語音声技術の革新的な飛躍を実現しています。Meta、Google、OpenAIなどのトップAIラボによる基礎研究に支えられ、Common Voice、MLS、Babel、VoxPopuliなど多様なデータセットを活用し、1,200万時間超の音声で学習。低リソース言語や稀少言語でも高精度かつ低誤差の文字起こしを提供します。

Omnilingual ASRは、MetaのMassively Multilingual Speech（MMS）モデルやGoogleのUniversal Speech Model（USM）などの技術と、高度なトランスフォーマーベースのデコーダーを融合させ、単一の統合モデルで幅広い言語カバレッジを実現。オープンソース（Apache 2.0ライセンス）として公開されており、Google、Microsoft、AWSによるクラウド展開可能なAPIも提供、研究および商用利用に柔軟に対応可能です。

主な特徴

• 言語適応型エンコーダー： wav2vec 2.0、Conformer、MMSエンコーダーを採用し、言語間で音響表現を共有。低リソース言語がデータ豊富な言語から恩恵を受けられます。
• LLM強化デコーダー： トランスフォーマーデコーダーを言語モデルとして微調整し、文法精度を向上。翻訳との同時処理も可能です。
• Few-shot拡張性： few-shotプロンプトによって1,600言語から5,000言語以上への対象拡大が可能。コミュニティ主導でモデルの成長を支援します。
• 言語識別統合： Whisperのように言語IDトークンを先頭に出力、MMSは4,000言語の分類を実現し、コードスイッチングや混合言語音声の正確な処理を可能にします。
• バランストレーニング戦略： 低リソース言語のオーバーサンプリングにより、高リソースと低リソース言語間の誤認識率の差を縮小し、普遍性を向上。
• 展開の柔軟性： オープンソースのチェックポイント利用やクラウドネイティブAPIによる利用が可能。話者分離、ストリーミング、翻訳、ファインチューニング、外部語彙対応もサポート。

利用例

• グローバルキャプショニング・字幕付け： メディア、会議、教育向けに数百言語で高精度な字幕を生成。
• 多言語バーチャルアシスタント： 1,000以上の言語で自然な対話が可能な音声アシスタントを実現。
• コールセンター解析： 多言語通話録音の解析により洞察を抽出し、顧客体験を向上。
• 低リソース言語保存： 少量データによるfew-shot学習でマイナー言語コミュニティに最新の音声技術を提供。
• 研究開発： オープンソースのチェックポイントやデータセットを活用し、独自ドメインのASRモデルの微調整やベンチマークに利用可能。

FAQ

Q: Omnilingual ASRは何語をサポートしていますか？ A: ネイティブで1,600以上の言語をサポートし、few-shot学習プロンプトにより5,000以上に拡張可能です。

Q: Omnilingual ASRはオープンソースですか？ A: はい、MetaのOmnilingual ASRモデルやMMSを含むコアコンポーネントはApache 2.0ライセンスで公開されています。

Q: Omnilingual ASRはコードスイッチングに対応していますか？ A: はい、統合された言語識別モデルにより、混合言語音声の正確な認識が可能です。

Q: どのような展開オプションがありますか？ A: オープンソースモデルをローカルに展開可能、またGoogle、Microsoft、AWSによるクラウドAPIを利用可能で、遅延、スケーラビリティ、コンプライアンスに応じて選択できます。

Q: どのデータセットでトレーニングされていますか？ A: Common Voice、Multilingual LibriSpeech、Babel、VoxPopuliなど多様なコーパスを用い、合計で1,200万時間超の音声データで学習しています。

Q: 精度はどの程度ですか？ A: FLEURSなどの多言語ベンチマークにおいて、特に低リソース言語でOpenAI Whisperに比べて単語誤り率を半減しています。

Q: どのようにファインチューニングやカスタマイズができますか？ A: Hugging Face Transformers、ESPnet、NVIDIA NeMoなどのフレームワークを使用し、最小限のラベル付き音声でドメイン特化型に調整可能です。

Q: リアルタイム文字起こしに適していますか？ A: はい、ストリーミング対応のOmniASRバリアントやAPIサービスは、低遅延の文字起こし、話者分離、翻訳機能をサポートしています。