01

簡介

1.1 日本語 NLP 的特性與挑戰

日本語在自然語言處理上具有獨特的挑戰。其主要特性與挑戰如下。

語素邊界歧義:與英語不同,日文文字之間不以空格分隔,因此必須進行「斷詞」——從文字中切分出個別單字(語素)。這種形態素分析是日本語 NLP 中最基礎且最重要的處理步驟,影響所有下游 NLP 任務的精確度。

字元種類多樣性:日語同時使用多種書寫系統,包括平假名、片假名、漢字、拉丁字母及數字。這使得字元正規化、轉換及編碼等前處理工作更加複雜。

敬語與文體的多樣性:日語敬語系統的複雜性,以及正式體(丁寧語)與普通體(常體)之間的區別,對日本語 NLP 亦構成挑戰。

靈活的語序:日語基本上遵循 SOV(主語-受詞-動詞)語序,但由於文法關係由助詞表示,語序相對自由,使句法剖析更加困難。

漢字的多義性與多音性:相同的漢字往往具有多種讀音與意義,需要根據上下文進行讀音消歧(同字異音歧義消解)。

1.2 本調查的目標與貢獻

本調查的目標是對日本語 NLP 領域的開源資源進行全面調查與分類,並為研究人員和從業者提供以下貢獻:

  1. 提供全面的資源目錄:系統性分類 898 個 GitHub 儲存庫及 497 個 Hugging Face 儲存庫
  2. 量化比較分析:基於下載量、Stars 數及更新頻率評估各工具的普及度與活躍度
  3. 技術趨勢分析:概述從基於規則的方法到深度學習再到 LLM 的技術演進
  4. 多語言實作概覽:比較 Python、C++、Rust、Go、Java、JavaScript 等多種語言的實作
  5. 實用選擇指南:為各任務提供工具選擇的參考依據

1.3 調查方法

本調查以 taishi-i 維護的 awesome-japanese-nlp-resources 儲存庫(CC0-1.0 授權)作為基礎資料。截至 2026 年 11 月 17 日,該儲存庫包含 898 個 GitHub 儲存庫及 497 個 Hugging Face 儲存庫的資訊,並為每個項目提供以下量化資訊:

  • 週間下載數(下載次數/週)
  • 累計下載數(總下載次數)
  • GitHub Stars 數
  • 最後提交日期

本調查在使用此資料的同時,亦分析各類別中代表性工具的技術特性、設計理念及使用場景。

1.4 資料來源

本站基於 taishi-i/awesome-japanese-nlp-resources 的資訊所建立。


最新更新資訊(Recent Updates)

截至2026年11月17日。各主題的詳細資訊請參閱對應章節。

HuggingFace 模型動態

語音辨識(ASR):wav2vec2 激增至 16M 並維持首位

wav2vec2-large-xlsr-53-japanese 的下載數從 2M 大幅成長至 16M,在全部 HF 模型中維持第 1 名。輸出平假名的 wav2vec2-large-xlsr-japanese-hiragana 也從 14k 急升至 153k(第 12 名)。另一方面,kotoba-whisper-v2.2 從 221k 變為 16k(⭐134),anime-whisper 從 37k 變為 33k(⭐165)。→ 13.1 語音辨識

LLM:llm-jp-4.1 推理模型與 GGUF 版本成長

japanese-gpt-neox-small(rinna)從 242k 增至 656k,躍升至整體第 2 名。新發布的 llm-jp-4.1-8b-thinking(80k,⭐18)與 GGUF 格式的 llm-jp-4-33b-thinking-gguf(271k,第 10 名)持續成長,而上次居前的 llm-jp-4-8b-thinking(21k→3k)與 LFM2.5-1.2B-JP-202606(20k→4k)則趨於平穩。抑制拒絕回應的社群改造模型 GGUF 版 Spark-X2.5-4B-Heretic-jp-gguf 也達到 589k(第 4 名),顯示面向本地執行的 GGUF 格式使用正在擴大。→ 10.1 LLM 開發專案

句子嵌入:PLaMo-Embedding-1B 急升至 486k

ruri-v3-310m 從 782k 變為 634k(⭐89,第 3 名),維持句子嵌入的首位。plamo-embedding-1b(Preferred Networks)從 21k 大幅成長至 486k(第 6 名),GLuCoSE-base-ja-v2 則從 205k 減少至 6k。→ 14.1 句子嵌入模型

重排序:japanese-reranker-cross-encoder-small-v1 重回首位

japanese-reranker-cross-encoder-small-v1(235k→156k,第 11 名)與 ruri-v3-reranker-310m(286k→137k,第 13 名)在 text-ranking 類別的首位再度互換。→ 14.3 文字重排序

BERT 與分類:whole-word-masking 以 462k 居 fill-mask 首位

bert-base-japanese-whole-word-masking 從 388k 成長至 462k(第 7 名),成為 fill-mask 類別的首位。上次整體第 2 名的 japanese-roberta-base(rinna)從 2M 減少至 9k,deberta-v2-large-japanese-char-wwm 從 480k 減少至 76k。在 text-classification 中,bert-finetuned-japanese-sentiment 從 24k 急升至 329k(第 8 名)。→ 9.2 BERT 系列模型、5.3 BERT 微調方法

語音對話與翻譯:LFM2.5-Audio 第 5 名,翻譯由 OPUS-MT 居首

以單一模型同時處理語音辨識與語音合成的 LFM2.5-Audio-1.5B-JP-GGUF(Liquid AI)達到 506k(第 5 名)。翻譯方面,vntl-llama3-8b-v2-gguf 從 714k 減少至 20k,Sugoi-14B-Ultra-GGUF 從 172k 減少至 10k,opus-mt-ja-en(37k,⭐77)成為翻譯類別的首位。→ 13.1 語音辨識、8.3 翻譯評估

影像與 OCR:manga-ocr-base 以 299k 居第 9 名

manga-ocr-base 從 424k 變為 299k(⭐192,第 9 名),面向遊戲畫面的 meiki.txt.recognition.v0 從 45k 變為 42k,已逐漸站穩。→ 7.1 漫畫 OCR

新增儲存庫(2026年8〜11月)

潤飾日語文章的代理技能

yomiyasu(nanaism,⭐3,300)是將 AI 生成的日語潤飾為自然日語的代理技能,natural-japanese(coji,⭐2,100)是用於撰寫與修改工作日語、使其易讀易懂的 Agent Skill。suiko(nwiizo,⭐114)是可重現地診斷日語文件自然度與易讀性的 Rust CLI,處理 LLM 時代「日語品質」的工具接連登場。→ 10.2 ChatGPT/LLM 應用

漫畫翻譯與 OCR

koharu(koharu-rs,⭐6,700)是以 Rust 撰寫、運用 LLM 的自動漫畫翻譯工具。ndlocr-lite(日本國立國會圖書館,⭐1,400)是輕量版 NDLOCR 的應用程式,Kindai-OCR(deepapps91,⭐153)是以近代日本雜誌為對象的 OCR。→ 7. OCR、8. 機器翻譯

辭典、輸入與儲存庫遷移

Meltype(yksr-melt,⭐1,600)是無需按半形/全形鍵即可切換輸入日文與英文的 Windows 常駐工具,jmdict-yomitan(yomidevs,⭐332)提供 Yomitan 用的 JMdict、JMnedict 與 KANJIDIC 辭典。此外,fcitx5-hazkey 已更名為 hazkey(⭐254),形態素分析器 lindera 已遷移至 lindera/lindera(⭐708)。→ 11.3 輸入法(IME)、2.5 多語言實作比較

語音合成

AivisSpeech Engine(aivis-project,⭐186)是 AI 語音合成引擎,sanoTTS-jp(ayutaz,⭐71)以 559K 參數的日語 TTS 在 ESP32-S3 上即時合成語音。多語言工具方面,也新增了適用於 Apple Silicon 的語音合成與辨識函式庫 mlx-audio(⭐8,000)。→ 13.2 文字轉語音(TTS)

評估基準測試

新增了評估指令遵循的 JFBench 與 pfgen-bench(Preferred Networks)、評估工具代理的 J-tau-bench(SB Intuitions)、會議任務的 J-MeetEval(Nishika)、語言可接受性語料庫 JCoLA(osekilab),以及金融文本嵌入基準 JFinTEB(retarfi)。→ 10.3 評估基準測試

Hugging Face:llm-jp-4.1 與大規模預訓練語料庫

NII LLM-jp 發布了 llm-jp-4.1 系列推理模型(llm-jp-4.1-8b-thinking、llm-jp-4.1-33b-thinking 等,各附 GGUF 版)以及視覺語言模型 llm-jp-4-vl-9b。資料集方面新增了從 LLM-jp Corpus v4 篩選出的 3,000 億 token 日語預訓練語料庫 ClimbLab-Ja(15k),語音辨識方面則新增了 Haas-ja-v1.0(⭐79)。→ 10.1 LLM 開發專案、12.6 LLM 訓練語料庫

新增儲存庫(2026年7月28日)

面向日語資料 API 的 SDK 與 PII 遮蔽

shirabe-sdk(techwell-inc-jp)與 shirabe-sdk-python 是 Shirabe Japan 資料 API 的官方 SDK,涵蓋日語姓名拆分與讀音推定(基於 JMnedict 的候選)、地址正規化、法人編號查詢以及六曜日曆。它們內附面向 LangChain / OpenAI Agents SDK / Vercel AI SDK 的工具定義,適用於讓 LLM 代理呼叫日本特有的資料處理。fuseji(sserada)則是面向 LLM 可觀察性的日語專用 PII 檢測與遮蔽中介軟體。→ 4.2 文字正規化、10.2 ChatGPT/LLM 應用

辭典資料與提示壓縮

JMdictSQLite(seanmcbroom)將 JMdict 與 Kanjidic 以每日自動更新的 SQLite 資料庫形式提供,使日英辭典資料可直接以 SQL 操作。genshijin(interfacex-co-jp、⭐263)是面向 Claude Code / Codex 等 AI 代理的超壓縮溝通技巧,基於 caveman 的日語版本,針對削減日語特有的冗長表達進行最佳化。→ 11.2 電子辭典、4.1 字元轉換

新增儲存庫(2026年6月30日)

基於 LLM 的日語輸入法相繼登場

rakukan(fukuyori)是利用本地 LLM 的 Windows 日語輸入法,Sumibi(kiyoka)是藉助 ChatGPT API 的日語輸入法,展現了將大型語言模型應用於假名漢字轉換的新潮流。此外 Violet/japanesekeyboard(kazumaproject)提供完全離線運行的日語鍵盤應用。→ 11.3 輸入法(IME)

醫療專用語音辨識與評估資源的擴充

medvoice-jp-asr(nikotora)發布了基於 whisper-small + LoRA、專注日語醫療語音的 ASR 模型以及國內首個醫療 ASR 基準,medLLM_QA_benchmark(產綜研)是面向醫療 LLM 的英日中三語 QA 基準。→ 13.1 語音辨識、10.3 評估基準

語音對話與多模態評估的基礎建設

moshi-finetune(名古屋大學對話研究室)用於以自有語音對話資料微調 Moshi/J-Moshi,simple-evals-mm(llm-jp)是在英日基準上評估視覺語言模型的輕量函式庫,jvs_nonpara_kana(CyberAgent AI Lab)為 G2P 評估對 JVS nonpara 語料庫加入片假名標註。→ 13. 語音處理、15.1 VLM

Rust 形態素分析生態的擴展

mecab-dic-converter(tomokane)是一個 Rust crate,可讀取、解析並重構 MeCab 的已編譯詞典,轉換為 Vibrato、Lindera 等 MeCab 相容分詞器可用的詞典,便於將既有 MeCab 資產遷移到 Rust 生態。→ 2.5 形態素分析的其他語言實作

新增儲存庫(2026年6月7日)

LLM × 小說寫作工具

novel2hermes_jp(kgmkm,⭐83)是一個利用具備強大記憶功能的 hermes-agent 與擅長日語檢索的外部記憶 vecmemori 來企劃、構思與撰寫長篇小說的 skills.md,是利用 LLM 輔助日語創作的一個範例。→ 10.2 ChatGPT/LLM 應用

azooKey 儲存庫遷移至官方組織

azooKey(iOS 版 ⭐710)、azooKey-Desktop(macOS 版 ⭐927)、AzooKeyKanaKanjiConverter(⭐148)已從 ensan-hcl 個人帳號遷移至 azooKey 組織帳號。功能未變,但儲存庫 URL 已更新。→ 11.3 輸入法(IME)

新增儲存庫(2026年6月2日)

新增翻譯評估基準

jp-tl-bench(shisa-ai)是基於錨定對比的 LLM 雙向日英翻譯品質評估框架。→ 8. 機器翻譯

新增儲存庫(2026年5月)

LLM 評估基準與事實查核資料集集中追加

2026 年 5 月 13 日,多角度評估 LLM 能力的基準與資料集集中追加。japanese-llm-benchmark(shi3z)是評估各種 LLM 日語能力的通用基準工具;JTruthfulQA(早稻田大 NLP)並非翻譯自 TruthfulQA(Lin+, 2022),而是從零開始以日語構建的真實性評估資料集。LCTG-Bench(CyberAgentAILab)評估 LLM 的可控文字生成;EDINET-Bench(SakanaAI,ICLR 2026)評估 LLM 在日本困難金融任務上的表現;japanese-dataset-for-automated-fact-checking(FujitsuResearch)是自動事實查核日語資料集(JAD-AFC);llm-jp-longbench(llm-jp)則活用 jemhop 資料集建構日語版 LongBench。→ 10.3 評估基準、12.4 問答・推理語料庫

多模態與語音資料集擴展

LookVQA(riken-grp,LREC-COLING 2024)是為了釐清模糊日語問題而結合視線資訊的 VQA 資料集,Kokoro-Speech-Dataset(kaiidams)則是公有領域單一說話人日語語音資料集。多模態與語音領域的開源資源持續擴充。→ 15. 多模態處理、13. 語音處理

Rust 形態素分析工具擴展

lindera-sqlite(lindera)是 SQLite FTS5 擴展模組的 Lindera 整合,可直接在資料庫中嵌入日語形態素分析與全文搜尋功能。→ 2.5 形態素分析的其他語言實作

新增儲存庫(2026年3—4月)

多模態與LLM評估基準不斷豐富

面向視覺語言模型(VLM)的評估基準相繼入庫。eval_vertical_ja(llm-jp,2026-03-08 收錄)用於評估多模態 LLM 處理縱排日語文字的能力,modelvista-3lang(kuramitsulab,2026-03-22 收錄)以日英韓三語評估軟體圖理解能力。business-slide-questions(Stockmark)是面向商務簡報的 VQA 基準(BusinessSlideVQA)。japanese-hr-niah(kufu)則採用 Needle-In-A-Haystack(NIAH)格式,評估人事勞務領域的長上下文處理能力。→ 15.1 VLM、10.3 評估基準

對話語料庫持續擴充

多個涵蓋日語特有文化與語言現象的對話語料庫相繼加入。HOTATE(愛媛大學NLP組)是一個融入「本音」(真實想法)與「建前」(表面態度)這一日本文化特有概念的對話資料集。ETCDataset(電氣通信大學・稲葉研究室)收錄了約1,000組含說話人情感自我描述的會話資料。diafill-toolkit(SB Intuitions)是一個利用 LLM 合成富含「嗯」「那個」等填充詞的自然短發話日語對話的 Python 工具包。JMultiWOZ-TC(llm-jp)面向多輪對話中的智能體 Function Calling 評估,Novel2DialCorpus(ganbon)則提供了從小說文字構建閒聊對話語料庫的方法。→ 12.3 對話語料庫

領域專用評估資料集

JMedWiC(愛媛大學NLP組)是日語醫療領域詞義同一性判定資料集,JBE-QA(hancules)是日本司法考試Q&A資料集,JSTS-Neg(reiko-y)是用於評估否定表達理解能力的語義相似度資料集。Doppelganger-JC(0017-alt)是中日跨語言同形異義詞誤用基準,專門驗證 LLM 能否正確區分「手紙」(日語:信件;中文:衛生紙)等兩種語言中意義截然不同的同形詞。E2U(sociocom)是日語文字「易懂化」(面向認知障礙人士的無障礙表達轉換)相關資料集。→ 12.4 問答・推理語料庫、10.3 評估基準

古典與歷史文獻數位化

nijl-manyoshutei(國文學研究資料館,2026-03-29 收錄)以 CC-BY 授權公開了關西大學館藏廣瀬本《萬葉集》的 TEI/XML 資料。jhpt(nict-astrec-att)提供了歷史日語文獻原文與現代語譯文的段落級對齊平行資料集。日語古典文獻的數位化與 NLP 研究基礎設施建設正在穩步推進。→ 12.1 語料庫、12.2 平行語料庫

辭典與輸入法擴充

kamuskita(matbahasa,2026-04-06 收錄)是馬來語學習小組製作的開放式馬來語・日語辭典《大家的馬來語辭典》。dvorakjp-roman-table(shinespark,2026-04-12 收錄)是適用於 azooKey 和 Google 日語輸入的 DvorakJP 羅馬字表,為非 QWERTY 鍵盤用戶的日語輸入提供支援。→ 11.2 電子辭典、11.4 專業辭典・IME辭典

LLM 量化工具擴充

OneCompression(FujitsuResearch,2026-04-21 收錄,⭐398)是富士通研究所提供的 LLM 專用後訓練量化(PTQ)流程,整合了 QEP(NeurIPS 2025)、ILP 混合精度、旋轉前處理、vLLM 插件,為高效本地 LLM 推理提供一站式解決方案。→ 10.1 LLM 開發專案