LLMと自然言語処理

The extraction of structured information from raw text is a fundamental component of many NLP applications, including document retrieval, ranking, and relevance estimation. High-quality extractions often require domain-specific accuracy, up-to-date understanding of specialized taxonomies, and the ability to incorporate emerging jargon and rare outliers. In many domains–such as medical, legal, and HR–the extraction model must also adapt to shifting terminology and benefit from explicit reasoning over structured knowledge. We propose DySECT, a Dynamic Self-Evolving Extraction and Curation Toolkit, which continually improves as it is used. The system incrementally populates a versatile, self-expanding knowledge base (KB) with triples extracted by the LLM. The KB further enriches itself through the integration of probabilistic knowledge and graph-based reasoning, gradually accumulating domain concepts and relationships. The enriched KB then feeds back into the LLM extractor via prompt tuning, sampling of relevant few-shot examples, or fine-tuning using KB-derived synthetic data. As a result, the system forms a symbiotic closed-loop cycle in which extraction continuously improves knowledge, and knowledge continuously improves extraction.

Tool-augmented Language Models (TaLMs) can invoke external tools to solve problems beyond their parametric capacity. However, it remains unclear whether these tool-enabled gains reflect trustworthy reasoning. Focusing on the Code Interpreter tool, we show that even when tools are selected and executed correctly, TaLMs treat tool outputs as substitutes for reasoning, producing solutions that appear correct but lack coherent justification. We term this failure mode Tool-Induced Myopia (TIM), and study it using PYMATH, a benchmark of 1,679 competition-level mathematical problems for which Python code is helpful but not sufficient. We further develop a multi-dimensional evaluation suite to quantify reasoning degradation in TaLMs relative to their non-tool counterparts. Our findings reveal that while TaLMs achieve up to a 19.3 percentage point gain in final-answer accuracy, their reasoning behavior consistently deteriorates (e.g., non-tool LLMs win up to 41.5% more often in pairwise comparisons of reasoning process). This degradation intensifies with tool use; the more frequently a model invokes tools, the less coherent its reasoning becomes. Moreover, tool use shifts errors from arithmetic mistakes toward global reasoning failures (logic, assumption, creativity); with TIM present in ~55% of high-risk cases. Finally, we propose a preference-optimizationbased framework that realigns TaLMs to use tools as assistive evidence, improving both final-answer accuracy and reasoning depth under tool use. Codes and data are available at: https://github.com/megagonlabs/TIM.

大規模言語モデルにおけるプロンプト変動が出力に対する影響について、様々な文脈で研究されており、用語は多数存在する。本研究は、既存研究で混在してきた概念を「頑健性」と「可制御性」の二軸から再構造化する。さらに、公開データセットを前提とした従来の分析とは異なり、複雑なタスク構成や追加知識の記述を要するビジネスサービス環境に着目し、両概念の重要度を体系的に評価した。実験の結果、我々が考察したタスクにおいては、先行研究で強調されてきた頑健性よりも、プロンプト意図を確実に反映し必要情報を安定して引き出す可制御性が実運用において本質的であることが明らかとなった。本研究は、ビジネス環境に適したプロンプト設計指針の再考に寄与するとともに、将来の評価指標構築やモデル改善への示唆を提供する。

大規模マルチラベル分類においてラベルノイズは不可避な課題である．既存のGeneralized Cross Entropyは，損失の大きさに応じてノイズを判定するため学習が難しい事例をノイズと誤認して学習への影響を低下させ，網羅性を損なう．本研究は意味的類似度に基づく自己推定型損失重み付け手法を提案する．提案手法はラベルの学習中のモデルによる事例とラベルの意味的類似性に応じて，事例–ラベル単位で重みを適応的に与える．具体的には，意味的類似性が低い正例への学習を抑制すると同時に， 意味的に類似した負例への学習の寄与を緩和することで潜在的な正例を保護する．人工ノイズ環境下の実験において，提案手法は既存手法と比較して高頻度ラベルの精度 (P@1) および頻度バイアスを除去した精度 (PSP@1) を改善した．

本研究では，日本語日常会話コーパス (CEJC) をUniversal Dependencies形式に変換した日本語話し言葉のツリーバンク UD Japanese-CEJCを開発・構築したので，そのデータについて報告する．日本語日常会話コーパスは，日本語の様々な日常会話を収録した大規模な音声言語コーパスであり，単語区切りや品詞のアノテーションが含まれている．我々は，UD Japanese-CEJCのために，CEJCの長単位形態論情報と文節係り受け情報を新たにアノテーションした．UD Japanese-CEJCは日本語形態論情報と文節 ベースの依存構造情報およびCEJCから手作業で整備された変換ルールに従って構築した．構築したUD Japanese-CEJCに対して，日本語書き言葉コーパスとの比較やUD依存構造解析精度の評価をおこない，CEJCにおけるUD構築に関する様々な問題点を検討した．

大規模言語モデル (LLM) の性能向上とその微調整技術の普及は，様々な下流タスクの性能を引き上げると同時に，自然言語処理の基礎技術である統語解析処理の性能向上にも寄与している．本稿では，LLM の微調整技術であるLoRA SFTを用いた多言語統語解析モデルを提案する．提案手法は，文書を入力とする言語判定＋文区切りタスク，文を入力とする単語分割＋言語固有品詞推定タスク，文と単語リストを入力とする依存構造解析タスクで構成され，これらのタスクを貫通動作させることで，言語を問わずテキストを入力するだけで依存構造解析結果を得ることができる．Universal Dependenciesの40言語のデータセットを用いた実験により，マルチタスク学習では文区切り精度がボトルネックとなること，単語分割とともに言語固有品詞推定を行うことで単語分割精度が向上する等の知見を得た．研究成果のモデルおよび解析ライブラリは，商用利用可能なライセンスのもとで公開予定である．