大規模言語モデルは差別的な社会的バイアスを含む情報を生成するリスクがあり，その評価が必要である．しかし，何を「差別的な社会的バイアス」とみなすかは社会的文脈に依存するため，普遍的な価値基準を定義することは難しく，個々の社会的文脈において合意可能な価値基準に基づいた安全性担保を行う必要がある．社会的バイアスのベンチマーク構築に関する先行研究では，社会的文脈の一つである国による価値基準の相違に対応するため，当該国のアノテーターを用いてローカライゼーションを行っているが，この手法はアノテーターの主観に強く依存しており，安全性の判断が当該国において合意可能なものであることを明確には担保していない．本研究では，各国において合意された「差別的な社会的バイアス」の最低限の基準として，法令とその判例等を根拠とする安全性担保のローカライゼーションを提案し，日本の雇用関連領域および医療提供関連領域の法令において差別と判断された事例を収集して，社会的バイアスデータセット – JLawBias を構築し，6 つの日本語対応 LLM に対して簡易な評価を実施して手法の有効性を確認した．
ここに掲載した著作物の利用に関する注意 本著作物の著作権は人工知能学会に帰属します。本著作物は著作権者である人工知能学会の許可のもとに掲載するものです。ご利用に当たっては「著作権法」に従うことをお願いいたします。
Notice for the use of this material. The copyright of this material is retained by the Japanese Society for Artificial Intelligence (JSAI). This material is published
here with the agreement of JSAI. Please be complied with Copyright Law of Japan if any users wish to reproduce, make derivative work, distribute or make available
to the public any part or whole thereof.
All Rights Reserved, Copyright (C) The Japanese Society for Artificial Intelligence.
