国立研究開発法人国立精神・神経医療研究センター(NCNP)病院臨床検査部の松井健太郎医長は、ChatGPTをはじめとする大規模言語モデル(LLM)が頻用するとされる単語やフレーズが、医学論文で増加しているかを検証した。
今回の研究から、医学論文で「delve」「underscore」「meticulous」などの特定語彙が2024年に顕著に増加していること、またこれらの語彙は2020年頃から増加傾向にあり、ChatGPT公開後の2023〜24年に急激に加速したことが明らかになった。
この知見は、AI支援による論文執筆における語彙の偏りを認識し、医学教育や論文指導におい て適切な編集を促すための基礎資料となる。この研究成果はオランダ医学教育学会誌『Perspectives on Medical Education』に12月2日に掲載された。
□研究の背景:大規模言語モデル(LLM)は、2022年11月のChatGPTの公開以降、学術論文の執筆 支援ツールとして急速に普及している。特に英語を母語としない研究者にとって、LLMは文章の推敲や表現の改善に有用なツールとなっており、使用を適切に開示すれば認めるという枠組みが学術出版界で確立されつつある。
一方で、LLMが生成する文章には特徴的な語彙パターンがあることが先行研究で指摘されてきた。「delve(深く掘り下げる)」、「meticulous(几帳面な)」、「intricate(複雑に)」などの単語がLLM生成文に頻出することが報告されていたが、これらの語彙が実際の医学論文でどの程度増加しているのか、また一般的な学術表現と比較してどの程度顕著な変化なのかについて、長期的な定量分析が行われていなかった。
そこでこの研究では、2000年から24年までのPubMed収録論文を対象に、LLMに特徴的とされる135の語彙と、医学論文で一般的に使われる84の表現を比較し、ChatGPT登場前後での使用頻度の変化を統計的に検証した。
□研究の概要: ChatGPTをはじめとする大規模言語モデル(LLM)は、2022年11月の公開以来急速に普及し、学術論文の執筆にも広く利用されるようになっている。LLMには特定の語彙を頻繁に使用する傾向があることが報告されており、「delve(深く掘り下げる)」「meticulous(几帳面な)」「underscore(強調する)」などの単語がLLM特有の表現として知られている。
しかし、これらの語彙が医学文献でどの程度増加しているか、また一般的な 学術表現、例えば「analysis(分析)」「this study(この研究)」「models(モデル)」「associate with(〜と関連する)等)」と比較してどのような傾向を示すかについては、長期的な検証が 行われていなかった。
そこで、LLMに関連するとされる語彙がChatGPT登場後に医学文献で増加しているという仮説を検証するために研究を実施。研究では、LLMの語彙パターンを報告した15の先行研究から135の潜在的にAIの影響を受けたと考えられた用語を抽出した。比較対照として、医学研究で一般的に使用され る84の学術表現を設定。PubMedに2000年から24年までに登録された約2750万件の論文レコードを対象に、これらの用語の使用頻度を追跡した。