はじめに(Introduction)
1.1 日本語NLPの特徴と課題
日本語は、自然言語処理において独特の課題を提示する言語です。その主な特徴と課題は以下の通りです。
形態素境界の曖昧さ:日本語は英語のように単語間にスペースを置かないため、テキストから個々の単語(形態素)を切り出す「分かち書き」が必要となります。この形態素解析は日本語NLPの最も基本的かつ重要な処理であり、後続のすべてのNLPタスクの精度に影響を与えます。
文字種の多様性:日本語は、ひらがな、カタカナ、漢字、ラテン文字、数字など複数の文字体系を混在して使用します。これにより、文字の正規化、変換、エンコーディングなどの前処理が複雑化します。
敬語・文体の多様性:敬語体系や「です・ます」調と「だ・である」調の使い分けなど、文体の多様性も日本語NLPの課題です。
語順の柔軟性:日本語はSOV(主語-目的語-動詞)語順を基本とするが、助詞によって文法関係が明示されるため語順が比較的自由であり、構文解析を困難にします。
漢字の多義性・異読:同一の漢字が複数の読み方と意味を持つことが多く、文脈に応じた読みの判定(異音異義語の曖昧性解消)が必要となります。
1.2 本サーベイの目的と貢献
本サーベイの目的は、日本語NLP分野で利用可能なオープンソースリソースを網羅的に調査・分類し、研究者および実務者に対して以下の貢献を行うことです。
- 包括的なリソースカタログの提供:898件のGitHubリポジトリと497件のHugging Faceリポジトリを体系的に分類
- 定量的な比較分析:ダウンロード数、Star数、更新頻度に基づく各ツールの人気度と活発度の評価
- 技術トレンドの分析:ルールベース手法から深層学習、さらにLLMへの技術移行の全体像の提示
- 多言語実装の俯瞰:Python、C++、Rust、Go、Java、JavaScriptなど多言語にわたる実装の比較
- 実践的な選択指針:各タスクにおいてどのツールを選択すべきかの判断材料の提供
1.3 調査方法
本サーベイは、taishi-i氏が運営するawesome-japanese-nlp-resourcesリポジトリ(CC0-1.0ライセンス)を基盤データとして使用しました。同リポジトリは2026年11月17日時点で898件のGitHubリポジトリ情報と497件のHugging Faceリポジトリ情報を収録しており、各リポジトリについて以下の定量的情報を提供しています。
- 週間ダウンロード数(downloads/week)
- 累計ダウンロード数(total downloads)
- GitHub Star数
- 最終コミット日
本サーベイでは、これらのデータを活用しつつ、各カテゴリの代表的ツールについてその技術的特徴、設計思想、利用場面を分析します。
1.4 データソース
本サイトは、taishi-i/awesome-japanese-nlp-resources の情報をもとに作成しました。
最新の更新情報(Recent Updates)
2026年11月17日時点。各トピックの詳細は対応セクションをご参照ください。
HuggingFaceモデルの動向
音声認識(ASR):wav2vec2が16Mへ急増し首位を維持
wav2vec2-large-xlsr-53-japaneseは2M→16Mダウンロードと大きく伸び、全HFモデル中1位を維持しました。ひらがなで出力するwav2vec2-large-xlsr-japanese-hiraganaも14k→153k(12位)へ急伸しています。一方、kotoba-whisper-v2.2は221k→16k(⭐134)、anime-whisperは37k→33k(⭐165)となりました。→ 13.1 音声認識
LLM:llm-jp-4.1の推論モデルとGGUF配布が伸長
japanese-gpt-neox-small(rinna)は242k→656kで全体2位に浮上しました。新たに公開されたllm-jp-4.1-8b-thinking(80k、⭐18)とGGUF形式のllm-jp-4-33b-thinking-gguf(271k、10位)が伸びる一方、前回上位のllm-jp-4-8b-thinkingは21k→3k、LFM2.5-1.2B-JP-202606は20k→4kと落ち着きました。拒否応答を抑えたコミュニティ改変モデルのGGUF版Spark-X2.5-4B-Heretic-jp-ggufも589k(4位)に入っており、ローカル実行向けGGUF形式の利用拡大がうかがえます。→ 10.1 LLM開発プロジェクト
文埋め込み:PLaMo-Embedding-1Bが486kへ急伸
ruri-v3-310mは782k→634k(⭐89、3位)で文埋め込みの首位を維持しています。plamo-embedding-1b(Preferred Networks)は21k→486k(6位)と大きく伸び、GLuCoSE-base-ja-v2は205k→6kへ減少しました。→ 14.1 文埋め込みモデル
リランキング:japanese-reranker-cross-encoder-small-v1が首位を奪還
japanese-reranker-cross-encoder-small-v1は235k→156k(11位)、ruri-v3-reranker-310mは286k→137k(13位)となり、text-rankingカテゴリの首位が再び入れ替わりました。→ 14.3 テキストリランキング
BERT系・分類:whole-word-maskingが462kでfill-maskの首位に
bert-base-japanese-whole-word-maskingは388k→462k(7位)でfill-maskカテゴリの首位となりました。前回全体2位のjapanese-roberta-base(rinna)は2M→9k、deberta-v2-large-japanese-char-wwmは480k→76kへ減少しています。text-classificationではbert-finetuned-japanese-sentimentが24k→329k(8位)と急伸しました。→ 9.2 BERT系モデル、5.3 BERTファインチューニングによる手法
音声対話・翻訳:LFM2.5-Audioが5位、翻訳はOPUS-MTが首位に
音声認識と音声合成を1つのモデルで扱うLFM2.5-Audio-1.5B-JP-GGUF(Liquid AI)は506k(5位)に達しました。翻訳ではvntl-llama3-8b-v2-ggufが714k→20k、Sugoi-14B-Ultra-GGUFが172k→10kと減少し、opus-mt-ja-en(37k、⭐77)が翻訳カテゴリの首位となっています。→ 13.1 音声認識、8.3 翻訳評価
画像・OCR:manga-ocr-baseは299kで9位
manga-ocr-baseは424k→299k(⭐192)で9位、ゲーム画面向けのmeiki.txt.recognition.v0は45k→42kと定着しています。→ 7.1 マンガOCR
新規追加リポジトリ(2026年8〜11月)
日本語の文章を整えるエージェントスキル
yomiyasu(nanaism、⭐3,300)はAIが生成した日本語を自然な日本語に推敲するエージェントスキル、natural-japanese(coji、⭐2,100)は仕事の日本語を読みやすく書く・直すためのAgent Skillです。suiko(nwiizo、⭐114)は日本語文書の自然さと読みやすさを再現可能に診断するRust製CLIで、LLM時代の「日本語の質」を扱うツールが相次いで登場しています。→ 10.2 ChatGPT/LLM応用
マンガ翻訳とOCR
koharu(koharu-rs、⭐6,700)はLLMを用いたRust製の自動マンガ翻訳ツールです。ndlocr-lite(国立国会図書館、⭐1,400)は軽量版NDLOCRのアプリケーション、Kindai-OCR(deepapps91、⭐153)は近代日本の雑誌を対象とするOCRです。→ 7. OCR、8. 機械翻訳
辞書・入力とリポジトリの移転
Meltype(yksr-melt、⭐1,600)は半角/全角キーを押さずに日本語と英語を打ち分けられるWindows常駐ツール、jmdict-yomitan(yomidevs、⭐332)はYomitan向けのJMdict・JMnedict・KANJIDIC辞書です。また、fcitx5-hazkeyはhazkey(⭐254)へ改名され、形態素解析器linderaはlindera/lindera(⭐708)へ移転しました。→ 11.3 入力メソッド(IME)、2.5 多言語実装の比較
音声合成
AivisSpeech Engine(aivis-project、⭐186)はAI音声合成エンジン、sanoTTS-jp(ayutaz、⭐71)は559Kパラメータの日本語TTSをESP32-S3上で実時間合成するプロジェクトです。多言語ツールでは、Apple Silicon向けの音声合成・認識ライブラリmlx-audio(⭐8,000)も加わりました。→ 13.2 音声合成(TTS)
評価ベンチマーク
指示追従を評価するJFBenchとpfgen-bench(Preferred Networks)、ツールエージェントを評価するJ-tau-bench(SB Intuitions)、会議タスクのJ-MeetEval(Nishika)、言語受容性コーパスJCoLA(osekilab)、金融テキスト埋め込みベンチマークJFinTEB(retarfi)が追加されました。→ 10.3 評価ベンチマーク
Hugging Face:llm-jp-4.1と大規模事前学習コーパス
NII LLM-jpはllm-jp-4.1系の推論モデル(llm-jp-4.1-8b-thinking、llm-jp-4.1-33b-thinkingなど、各GGUF版あり)と、視覚言語モデルllm-jp-4-vl-9bを公開しました。データセットでは、LLM-jp Corpus v4から抽出した3,000億トークンの日本語事前学習コーパスClimbLab-Ja(15k)が、音声認識ではHaas-ja-v1.0(⭐79)が加わっています。→ 10.1 LLM開発プロジェクト、12.6 LLM学習用コーパス
新規追加リポジトリ(2026年7月28日)
日本語データAPI向けSDKとPIIマスキング
shirabe-sdk(techwell-inc-jp)とshirabe-sdk-pythonは、日本語の氏名分割・読み推定(JMnedict由来の候補)、住所正規化、法人番号検索、六曜カレンダーを扱うShirabe Japan データAPIの公式SDKです。LangChain / OpenAI Agents SDK / Vercel AI SDK 向けのツール定義が同梱されており、LLMエージェントから日本固有のデータ処理を呼び出す用途を想定しています。fuseji(sserada)はLLMオブザーバビリティ向けの日本語特化PII検出・マスキングミドルウェアです。→ 4.2 テキスト正規化、10.2 ChatGPT/LLM応用
辞書データとプロンプト圧縮
JMdictSQLite(seanmcbroom)はJMdictとKanjidicを日次で自動更新するSQLiteデータベースとして提供し、日英辞書データをSQLから直接扱えるようにします。genshijin(interfacex-co-jp、⭐263)はClaude Code / Codex等のAIエージェント向け超圧縮コミュニケーションスキルで、cavemanの日本語版をベースに日本語特有の冗長表現を削る点に最適化されています。→ 11.2 電子辞書、4.1 文字変換
新規追加リポジトリ(2026年6月30日)
LLMベースの日本語入力システムが相次いで登場
rakukan(fukuyori)はローカルLLMを利用したWindows向け日本語IME、Sumibi(kiyoka)はChatGPT APIを活用した日本語入力メソッドで、大規模言語モデルをかな漢字変換に応用する新しい潮流を示しています。あわせてViolet/japanesekeyboard(kazumaproject)は完全オフライン動作の日本語キーボードアプリを提供します。→ 11.3 IME
医療特化の音声認識・評価リソースの拡充
medvoice-jp-asr(nikotora)はwhisper-small + LoRAで日本語医療音声に特化したASRモデルと国内初の医療ASRベンチマークを公開、medLLM_QA_benchmark(産総研)は英語・日本語・中国語の3言語からなる医療LLM向けQAベンチマークです。→ 13.1 音声認識、10.3 評価ベンチマーク
音声対話・マルチモーダル評価の基盤整備
moshi-finetune(名古屋大・対話研)はMoshi/J-Moshiを独自の音声対話データでファインチューニングするツール、simple-evals-mm(llm-jp)は日英ベンチマークで視覚言語モデルを評価する軽量ライブラリ、jvs_nonpara_kana(CyberAgent AI Lab)はG2P評価向けにJVS nonparaコーパスへカタカナ注釈を付与したデータです。→ 13. 音声処理、15.1 VLM
Rust形態素解析エコシステムの拡張
mecab-dic-converter(tomokane)はMeCab用のコンパイル済み辞書を解析・再構成し、VibratoやLinderaなどMeCab互換トークナイザーで使える辞書へ変換するRust crateで、既存のMeCab資産をRustエコシステムへ移行しやすくします。→ 2.5 形態素解析の他言語実装
新規追加リポジトリ(2026年6月7日)
LLM × 小説執筆ツールの追加
novel2hermes_jp(kgmkm、⭐83)は、メモリ機能の強力な hermes-agent と日本語検索に強い外部メモリ vecmemori を活かして長文小説を企画・プロッティング・執筆するための skills.md です。LLMを活用した日本語創作支援ツールの一例です。→ 10.2 ChatGPT/LLM応用
azooKeyリポジトリが公式組織に移管
azooKey(iOS版 ⭐710)、azooKey-Desktop(macOS版 ⭐927)、AzooKeyKanaKanjiConverter(⭐148)が ensan-hcl 個人アカウントから azooKey 組織アカウントへ移管されました。機能面の変更はありませんが、リポジトリURLが更新されています。→ 11.3 IME
新規追加リポジトリ(2026年6月2日)
翻訳評価ベンチマークの追加
jp-tl-bench(shisa-ai)は双方向日英翻訳タスクでLLMを評価するアンカードペアワイズ評価フレームワークで、翻訳品質の人手評価に代わる手法を提供します。→ 8. 機械翻訳
新規追加リポジトリ(2026年5月)
LLM評価ベンチマーク・ファクトチェックデータセットの集中追加
2026年5月13日、LLMの能力を多角的に評価するベンチマーク・データセットが集中して追加されました。japanese-llm-benchmark(shi3z)は様々なLLMの日本語能力を評価する汎用ベンチマークツール、JTruthfulQA(早稲田大NLP)はTruthfulQA(Lin+, 2022)を翻訳ではなくゼロから日本語で構築した真実性評価データセットです。LCTG-Bench(CyberAgentAILab)はLLMの制御可能テキスト生成を評価するベンチマーク、EDINET-Bench(SakanaAI、ICLR 2026)は日本の難しい金融タスクでのLLMパフォーマンス評価、japanese-dataset-for-automated-fact-checking(FujitsuResearch)は自動ファクトチェック向け日本語データセット(JAD-AFC)、llm-jp-longbench(llm-jp)はjemhopデータセットを活用した日本語版LongBenchです。→ 10.3 評価ベンチマーク、12.4 質問応答・推論コーパス
マルチモーダル・音声データセットの拡張
LookVQA(riken-grp、LREC-COLING 2024)は曖昧な日本語質問を明確化するために視線情報を組み込んだVQAデータセット、Kokoro-Speech-Dataset(kaiidams)はパブリックドメインの単一話者日本語音声データセットです。マルチモーダル・音声分野のオープンリソースがさらに充実しました。→ 15. マルチモーダル処理、13. 音声処理
Rust製形態素解析ツールの拡張
lindera-sqlite(lindera)はSQLite FTS5拡張機能用のLindera統合で、データベースに直接日本語形態素解析・全文検索機能を組み込めるようになりました。→ 2.5 形態素解析の他言語実装
新規追加リポジトリ(2026年3〜4月)
マルチモーダル・LLM評価ベンチマークの充実
視覚言語モデル(VLM)を対象とした評価ベンチマークが相次いで追加されました。eval_vertical_ja(llm-jp、2026-03-08追加)は縦書き日本語テキストにおけるマルチモーダルLLMの性能評価、modelvista-3lang(kuramitsulab、2026-03-22追加)はソフトウェア図の理解を日英韓3言語で評価します。business-slide-questions(Stockmark)はビジネス資料(スライド)を対象とするVQAベンチマーク(BusinessSlideVQA)です。またjapanese-hr-niah(kufu)はNeedle-In-A-Haystack(NIAH)形式で人事労務ドメインのロングコンテキスト処理能力を測定します。→ 15.1 VLM、10.3 評価ベンチマーク
対話コーパスの拡充
日本語特有の文化・言語現象を扱った対話コーパスが複数追加されました。HOTATE(愛媛大NLPグループ)は「本音」と「建前」という日本文化固有の概念を組み込んだ対話データセットです。ETCDataset(電気通信大・稲葉研究室)は対話中の話者が心情を自己記述した約1,000件の会話データを収録しています。diafill-toolkit(SB Intuitions)はLLMを用いて「えー」「あの」などのフィラーを豊富に含む自然な短発話対話を合成するPythonツールキットです。JMultiWOZ-TC(llm-jp)はマルチターン対話でのエージェントFunction Calling評価、Novel2DialCorpus(ganbon)は小説テキストから雑談対話コーパスを構築する手法を提供します。→ 12.3 対話コーパス
ドメイン特化型評価データセット
JMedWiC(愛媛大NLPグループ)は日本語医療分野の語義同一性判定、JBE-QA(hancules)は日本の司法試験Q&A、JSTS-Neg(reiko-y)は否定表現の理解を評価する意味的類似度データセットです。Doppelganger-JC(0017-alt)は中日間のクロスリンガル同音異義語誤用ベンチマークで、「手紙」(日本語:手紙、中国語:トイレットペーパー)のように意味が異なる同形異義語をLLMが正しく扱えるかを検証します。E2U(sociocom)はテキストの「つたわる化」(認知的バリアを持つ人にも伝わる表現への変換)に関するデータセットです。→ 12.4 質問応答・推論コーパス、10.3 評価ベンチマーク
古典・歴史資料のデジタル化
nijl-manyoshutei(国文学研究資料館、2026-03-29追加)は関西大学所蔵廣瀬本万葉集のTEI/XMLデータをCC-BYライセンスで公開しました。jhpt(nict-astrec-att)は歴史的日本語資料の原文と現代語訳をセグメント単位で対応付けた対訳データセットです。古典日本語テキストのデジタル化・NLP研究基盤の整備が着実に進んでいます。→ 12.1 コーパス、12.2 対訳コーパス
辞書・IMEの拡充
kamuskita(matbahasa、2026-04-06追加)はマレー語勉強会が制作したオープンなマレー語・日本語辞典『みんなのマレー語辞典』です。dvorakjp-roman-table(shinespark、2026-04-12追加)はazooKey・Google日本語入力向けDvorakJPローマ字テーブルで、非QWERTY配列ユーザーの日本語入力をサポートします。→ 11.2 電子辞書、11.4 専門辞書・IME辞書
LLM量子化ツールの拡充
OneCompression(FujitsuResearch、2026-04-21追加、⭐398)は富士通研究所によるLLM向け後学習量子化(PTQ)パイプラインです。QEP(NeurIPS 2025)、ILP混合精度、回転前処理、vLLMプラグインを統合しており、ローカルLLM実行の効率化に活用できます。→ 10.1 LLM開発プロジェクト