01

简介

1.1 日本语 NLP 的特性与挑战

日本语在自然语言处理上具有独特的挑战。其主要特性与挑战如下。

语素边界歧义:与英语不同,日文文字之间不以空格分隔,因此必须进行「分词」——从文字中切分出个别单字(语素)。这种形态素分析是日本语 NLP 中最基础且最重要的处理步骤,影响所有下游 NLP 任务的精确度。

字元种类多样性:日语同时使用多种书写系统,包括平假名、片假名、汉字、拉丁字母及数字。这使得字元正规化、转换及编码等前处理工作更加复杂。

敬语与文体的多样性:日语敬语系统的复杂性,以及正式体(丁宁语)与普通体(常体)之间的区别,对日本语 NLP 亦构成挑战。

灵活的语序:日语基本上遵循 SOV(主语-受词-动词)语序,但由于文法关系由助词表示,语序相对自由,使句法解析更加困难。

汉字的多义性与多音性:相同的汉字往往具有多种读音与意义,需要根据上下文进行读音消歧(同字异音歧义消解)。

1.2 本调查的目标与贡献

本调查的目标是对日本语 NLP 领域的开源资源进行全面调查与分类,并为研究人员和从业者提供以下贡献:

  1. 提供全面的资源目录:系统性分类 898 个 GitHub 储存库及 497 个 Hugging Face 储存库
  2. 量化比较分析:基于下载量、Stars 数及更新频率评估各工具的普及度与活跃度
  3. 技术趋势分析:概述从基于规则的方法到深度学习再到 LLM 的技术演进
  4. 多语言实作概览:比较 Python、C++、Rust、Go、Java、JavaScript 等多种语言的实作
  5. 实用选择指南:为各任务提供工具选择的参考依据

1.3 调查方法

本调查以 taishi-i 维护的 awesome-japanese-nlp-resources 储存库(CC0-1.0 授权)作为基础数据。截至 2026 年 11 月 17 日,该储存库包含 898 个 GitHub 储存库及 497 个 Hugging Face 储存库的信息,并为每个项目提供以下量化信息:

  • 周间下载数(下载次数/周)
  • 累计下载数(总下载次数)
  • GitHub Stars 数
  • 最后提交日期

本调查在使用此数据的同时,亦分析各类别中代表性工具的技术特性、设计理念及使用场景。

1.4 数据来源

本站基于 taishi-i/awesome-japanese-nlp-resources 的信息所建立。


最新更新信息(Recent Updates)

截至2026年11月17日。各主题的详细信息请参阅相应章节。

HuggingFace 模型动态

语音识别(ASR):wav2vec2 激增至 16M 并保持首位

wav2vec2-large-xlsr-53-japanese 的下载数从 2M 大幅增长至 16M,在全部 HF 模型中保持第 1 名。输出平假名的 wav2vec2-large-xlsr-japanese-hiragana 也从 14k 急升至 153k(第 12 名)。另一方面,kotoba-whisper-v2.2 从 221k 变为 16k(⭐134),anime-whisper 从 37k 变为 33k(⭐165)。→ 13.1 语音识别

LLM:llm-jp-4.1 推理模型与 GGUF 版本增长

japanese-gpt-neox-small(rinna)从 242k 增至 656k,跃升至整体第 2 名。新发布的 llm-jp-4.1-8b-thinking(80k,⭐18)与 GGUF 格式的 llm-jp-4-33b-thinking-gguf(271k,第 10 名)持续增长,而上次居前的 llm-jp-4-8b-thinking(21k→3k)与 LFM2.5-1.2B-JP-202606(20k→4k)则趋于平稳。抑制拒绝回应的社区改造模型 GGUF 版 Spark-X2.5-4B-Heretic-jp-gguf 也达到 589k(第 4 名),显示面向本地运行的 GGUF 格式使用正在扩大。→ 10.1 LLM 开发专案

句子嵌入:PLaMo-Embedding-1B 急升至 486k

ruri-v3-310m 从 782k 变为 634k(⭐89,第 3 名),保持句子嵌入的首位。plamo-embedding-1b(Preferred Networks)从 21k 大幅增长至 486k(第 6 名),GLuCoSE-base-ja-v2 则从 205k 减少至 6k。→ 14.1 句子嵌入模型

重排序:japanese-reranker-cross-encoder-small-v1 重回首位

japanese-reranker-cross-encoder-small-v1(235k→156k,第 11 名)与 ruri-v3-reranker-310m(286k→137k,第 13 名)在 text-ranking 类别的首位再度互换。→ 14.3 文字重排序

BERT 与分类:whole-word-masking 以 462k 居 fill-mask 首位

bert-base-japanese-whole-word-masking 从 388k 增长至 462k(第 7 名),成为 fill-mask 类别的首位。上次整体第 2 名的 japanese-roberta-base(rinna)从 2M 减少至 9k,deberta-v2-large-japanese-char-wwm 从 480k 减少至 76k。在 text-classification 中,bert-finetuned-japanese-sentiment 从 24k 急升至 329k(第 8 名)。→ 9.2 BERT 系列模型、5.3 BERT 微调方法

语音对话与翻译:LFM2.5-Audio 第 5 名,翻译由 OPUS-MT 居首

以单一模型同时处理语音识别与语音合成的 LFM2.5-Audio-1.5B-JP-GGUF(Liquid AI)达到 506k(第 5 名)。翻译方面,vntl-llama3-8b-v2-gguf 从 714k 减少至 20k,Sugoi-14B-Ultra-GGUF 从 172k 减少至 10k,opus-mt-ja-en(37k,⭐77)成为翻译类别的首位。→ 13.1 语音识别、8.3 翻译评估

图像与 OCR:manga-ocr-base 以 299k 居第 9 名

manga-ocr-base 从 424k 变为 299k(⭐192,第 9 名),面向游戏画面的 meiki.txt.recognition.v0 从 45k 变为 42k,已逐渐站稳。→ 7.1 漫画 OCR

新增仓库(2026年8〜11月)

润饰日语文章的代理技能

yomiyasu(nanaism,⭐3,300)是将 AI 生成的日语润饰为自然日语的代理技能,natural-japanese(coji,⭐2,100)是用于撰写与修改工作日语、使其易读易懂的 Agent Skill。suiko(nwiizo,⭐114)是可复现地诊断日语文档自然度与易读性的 Rust CLI,处理 LLM 时代“日语质量”的工具接连登场。→ 10.2 ChatGPT/LLM 应用

漫画翻译与 OCR

koharu(koharu-rs,⭐6,700)是用 Rust 编写、运用 LLM 的自动漫画翻译工具。ndlocr-lite(日本国立国会图书馆,⭐1,400)是轻量版 NDLOCR 的应用程序,Kindai-OCR(deepapps91,⭐153)是以近代日本杂志为对象的 OCR。→ 7. OCR、8. 机器翻译

词典、输入与仓库迁移

Meltype(yksr-melt,⭐1,600)是无需按半角/全角键即可切换输入日文与英文的 Windows 常驻工具,jmdict-yomitan(yomidevs,⭐332)提供 Yomitan 用的 JMdict、JMnedict 与 KANJIDIC 词典。此外,fcitx5-hazkey 已更名为 hazkey(⭐254),形态素分析器 lindera 已迁移至 lindera/lindera(⭐708)。→ 11.3 输入法(IME)、2.5 多语言实作比较

语音合成

AivisSpeech Engine(aivis-project,⭐186)是 AI 语音合成引擎,sanoTTS-jp(ayutaz,⭐71)以 559K 参数的日语 TTS 在 ESP32-S3 上实时合成语音。多语言工具方面,也新增了适用于 Apple Silicon 的语音合成与识别库 mlx-audio(⭐8,000)。→ 13.2 文字转语音(TTS)

评估基准测试

新增了评估指令遵循的 JFBench 与 pfgen-bench(Preferred Networks)、评估工具代理的 J-tau-bench(SB Intuitions)、会议任务的 J-MeetEval(Nishika)、语言可接受性语料库 JCoLA(osekilab),以及金融文本嵌入基准 JFinTEB(retarfi)。→ 10.3 评估基准测试

Hugging Face:llm-jp-4.1 与大规模预训练语料库

NII LLM-jp 发布了 llm-jp-4.1 系列推理模型(llm-jp-4.1-8b-thinking、llm-jp-4.1-33b-thinking 等,各附 GGUF 版)以及视觉语言模型 llm-jp-4-vl-9b。数据集方面新增了从 LLM-jp Corpus v4 筛选出的 3,000 亿 token 日语预训练语料库 ClimbLab-Ja(15k),语音识别方面则新增了 Haas-ja-v1.0(⭐79)。→ 10.1 LLM 开发专案、12.6 LLM 训练语料库

新增仓库(2026年7月28日)

面向日语数据 API 的 SDK 与 PII 脱敏

shirabe-sdk(techwell-inc-jp)与 shirabe-sdk-python 是 Shirabe Japan 数据 API 的官方 SDK,涵盖日语姓名拆分与读音推定(基于 JMnedict 的候选)、地址正规化、法人编号查询以及六曜日历。它们内附面向 LangChain / OpenAI Agents SDK / Vercel AI SDK 的工具定义,适用于让 LLM 代理调用日本特有的数据处理。fuseji(sserada)则是面向 LLM 可观测性的日语专用 PII 检测与脱敏中间件。→ 4.2 文字正规化、10.2 ChatGPT/LLM 应用

词典数据与提示压缩

JMdictSQLite(seanmcbroom)将 JMdict 与 Kanjidic 以每日自动更新的 SQLite 数据库形式提供,使日英词典数据可直接以 SQL 操作。genshijin(interfacex-co-jp、⭐263)是面向 Claude Code / Codex 等 AI 代理的超压缩沟通技巧,基于 caveman 的日语版本,针对削减日语特有的冗长表达进行优化。→ 11.2 电子词典、4.1 字元转换

新增仓库(2026年6月30日)

基于 LLM 的日语输入法相继登场

rakukan(fukuyori)是利用本地 LLM 的 Windows 日语输入法,Sumibi(kiyoka)是借助 ChatGPT API 的日语输入法,展现了将大型语言模型应用于假名汉字转换的新潮流。此外 Violet/japanesekeyboard(kazumaproject)提供完全离线运行的日语键盘应用。→ 11.3 输入法(IME)

医疗专用语音识别与评估资源的扩充

medvoice-jp-asr(nikotora)发布了基于 whisper-small + LoRA、专注日语医疗语音的 ASR 模型以及国内首个医疗 ASR 基准,medLLM_QA_benchmark(产综研)是面向医疗 LLM 的英日中三语 QA 基准。→ 13.1 语音识别、10.3 评估基准

语音对话与多模态评估的基础建设

moshi-finetune(名古屋大学对话研究室)用于以自有语音对话数据微调 Moshi/J-Moshi,simple-evals-mm(llm-jp)是在英日基准上评估视觉语言模型的轻量库,jvs_nonpara_kana(CyberAgent AI Lab)为 G2P 评估对 JVS nonpara 语料库添加了片假名标注。→ 13. 语音处理、15.1 VLM

Rust 形态素分析生态的扩展

mecab-dic-converter(tomokane)是一个 Rust crate,可读取、解析并重构 MeCab 的已编译词典,转换为 Vibrato、Lindera 等 MeCab 兼容分词器可用的词典,便于将既有 MeCab 资产迁移到 Rust 生态。→ 2.5 形态素分析的其他语言实现

新增仓库(2026年6月7日)

LLM × 小说写作工具

novel2hermes_jp(kgmkm,⭐83)是一个利用具备强大记忆功能的 hermes-agent 与擅长日语检索的外部记忆 vecmemori 来企划、构思与撰写长篇小说的 skills.md,是利用 LLM 辅助日语创作的一个范例。→ 10.2 ChatGPT/LLM 应用

azooKey 仓库迁移至官方组织

azooKey(iOS 版 ⭐710)、azooKey-Desktop(macOS 版 ⭐927)、AzooKeyKanaKanjiConverter(⭐148)已从 ensan-hcl 个人账号迁移至 azooKey 组织账号。功能未变,但仓库 URL 已更新。→ 11.3 输入法(IME)

新增仓库(2026年6月2日)

新增翻译评估基准

jp-tl-bench(shisa-ai)是基于锚定对比的 LLM 双向日英翻译质量评估框架。→ 8. 机器翻译

新增仓库(2026年5月)

LLM 评估基准与事实查核数据集集中追加

2026 年 5 月 13 日,多角度评估 LLM 能力的基准与数据集集中追加。japanese-llm-benchmark(shi3z)是评估各种 LLM 日语能力的通用基准工具;JTruthfulQA(早稻田大 NLP)并非翻译自 TruthfulQA(Lin+, 2022),而是从零开始以日语构建的真实性评估数据集。LCTG-Bench(CyberAgentAILab)评估 LLM 的可控文本生成;EDINET-Bench(SakanaAI,ICLR 2026)评估 LLM 在日本困难金融任务上的表现;japanese-dataset-for-automated-fact-checking(FujitsuResearch)是自动事实查核日语数据集(JAD-AFC);llm-jp-longbench(llm-jp)则活用 jemhop 数据集构建日语版 LongBench。→ 10.3 评估基准、12.4 问答・推理语料库

多模态与语音数据集扩展

LookVQA(riken-grp,LREC-COLING 2024)是为了厘清模糊日语问题而结合视线信息的 VQA 数据集,Kokoro-Speech-Dataset(kaiidams)则是公有领域单一说话人日语语音数据集。多模态与语音领域的开源资源持续扩充。→ 15. 多模态处理、13. 语音处理

Rust 形态素分析工具扩展

lindera-sqlite(lindera)是 SQLite FTS5 扩展模块的 Lindera 集成,可直接在数据库中嵌入日语形态素分析与全文搜索功能。→ 2.5 形态素分析的其他语言实作

新增仓库(2026年3—4月)

多模态与LLM评估基准不断丰富

面向视觉语言模型(VLM)的评估基准相继入库。eval_vertical_ja(llm-jp,2026-03-08 收录)用于评估多模态 LLM 处理竖排日语文本的能力,modelvista-3lang(kuramitsulab,2026-03-22 收录)以日英韩三语评估软件图理解能力。business-slide-questions(Stockmark)是面向商务幻灯片的 VQA 基准(BusinessSlideVQA)。japanese-hr-niah(kufu)则采用 Needle-In-A-Haystack(NIAH)格式,评估人事劳务领域的长上下文处理能力。→ 15.1 VLM、10.3 评估基准

对话语料库持续扩充

多个涵盖日语特有文化与语言现象的对话语料库相继加入。HOTATE(爱媛大学NLP组)是一个融入"本音"(真实想法)与"建前"(表面态度)这一日本文化特有概念的对话数据集。ETCDataset(电气通信大学・稲叶研究室)收录了约1,000组含说话人情感自我描述的会话数据。diafill-toolkit(SB Intuitions)是一个利用 LLM 合成富含"嗯""那个"等填充词的自然短发话日语对话的 Python 工具包。JMultiWOZ-TC(llm-jp)面向多轮对话中的智能体 Function Calling 评估,Novel2DialCorpus(ganbon)则提供了从小说文本构建闲聊对话语料库的方法。→ 12.3 对话语料库

领域专用评估数据集

JMedWiC(爱媛大学NLP组)是日语医疗领域词义同一性判定数据集,JBE-QA(hancules)是日本司法考试Q&A数据集,JSTS-Neg(reiko-y)是用于评估否定表达理解能力的语义相似度数据集。Doppelganger-JC(0017-alt)是中日跨语言同形异义词误用基准,专门验证 LLM 能否正确区分"手纸"(日语:信件;中文:卫生纸)等两种语言中意义截然不同的同形词。E2U(sociocom)是日语文本"易懂化"(面向认知障碍人士的无障碍表达转换)相关数据集。→ 12.4 问答・推理语料库、10.3 评估基准

古典与历史文献数字化

nijl-manyoshutei(国文学研究资料馆,2026-03-29 收录)以 CC-BY 许可证公开了关西大学馆藏广濑本《万叶集》的 TEI/XML 数据。jhpt(nict-astrec-att)提供了历史日语文献原文与现代语译文的段落级对齐平行数据集。日语古典文献的数字化与 NLP 研究基础设施建设正在稳步推进。→ 12.1 语料库、12.2 平行语料库

词典与输入法扩充

kamuskita(matbahasa,2026-04-06 收录)是马来语学习小组制作的开放式马来语・日语词典《大家的马来语词典》。dvorakjp-roman-table(shinespark,2026-04-12 收录)是适用于 azooKey 和 Google 日语输入的 DvorakJP 罗马字表,为非 QWERTY 键盘用户的日语输入提供支持。→ 11.2 电子词典、11.4 专业词典・IME词典

LLM 量化工具扩充

OneCompression(FujitsuResearch,2026-04-21 收录,⭐398)是富士通研究所推出的 LLM 专用后训练量化(PTQ)流程,集成了 QEP(NeurIPS 2025)、ILP 混合精度、旋转前处理、vLLM 插件,为高效本地 LLM 推理提供一站式解决方案。→ 10.1 LLM 开发项目