安全文化の質的な評価における生成 AI 活用に向けての課題検討
Examining the challenges of using generative AI in the qualitative evaluation of safety culture

高城 美穂 （Miho Takagi）寺口 司 （Tsukasa Teraguchi）北村 嘉英 （Yoshihide Kitamura）山本 治宗（Yoshinori Yamamoto）嶋田 大樹（Taiki Shimada）香川 遼（Ryo Kagawa）

要約
安全文化の質的な評価（質問紙による自由記述回答をデータとした安全文化の自己評価）に，生成 AI 等の技術を活用する際の課題を抽出した．まず，生成 AI による要約によって，文意が変容したり，評価者が分析・評価を行う時に手がかりとしていると思われる，細やかな具体性やニュアンス，また少数ではあっても重要な意見が欠落したりする可能性があることが示された．この背景には，生成 AI が要約を行う際の方略と推察される，「重要でないと見做した言葉は省略
する」，「特殊な表現から，より一般的で使用される頻度の高い表現に置き換える」，「少数意見は省略する」，「統合可能な文は統合する」ことが関わっていると考えられる．次に，生成 AI による要約では，人間であれば「安全文化評価にとって重要な内容だ」と感じ取って抽出する情報が，抽出されない場合があることが示された．質的な分析では，人間は自身の持っている一般的な常識や分析対象についての知識，経験を暗黙のうちに活用していると言われており，本研究でもそのことが示唆された．

キーワード    安全文化，組織文化，評価，質的分析，生成 AI

Abstract
In this paper, challenges were identified in using technologies such as generative AI for qualitative safety culture assessment (self-assessment of safety culture based on free-form responses to a questionnaire). First, it was found that summaries generated by generative AI may distort the meaning of sentences and omit subtle specificity and nuance, as well as minority but important opinions, which would likely be used by evaluators when analyzing and evaluating. This is likely due to the strategies used by generative AI in summarizing, such as omitting words deemed unimportant, replacing unconventional expressions with more commonly used expressions, omitting minority opinions, and merging sentences that can be combined. Second, it was found that generative AI summaries may not extract information that humans would perceive and extract as “important for safety culture assessment.” In qualitative analysis, it is widely accepted that humans implicitly utilize their own common sense, knowledge of the subject, and experience, and the present study findings also suggest this is the case.

Keywords   Safety culture, organizational culture, evaluation, qualitative analysis, generative AI

全文ファイル