東京大学の水野忠快助教らによる研究グループは、深層学習モデルが多様な化合物構造を学習する際に苦手とする構造を明らかにした。また、鏡像と重ね合わせることができない「キラリティ」を誤って認識しやすいと分かっている。１６日付の国際科学誌「ネイチャー・コミュニケーションズ」に掲載されている。

自然言語処理の技術を援用した深層学習モデルがさまざまな場所で用いられている。これには例えば、言語の翻訳のように、化合物構造を表す文字列表現を入力し、同じ文字列を出力するタスクを学習したモデルなどが該当する。だが、どのようにこれらの深層学習モデルが多様な化合物構造を学習しているかについては明らかとなっていなかった。

研究グループは、学習進捗に応じて深層学習モデルの性質がどのように変遷するかに注目。チャットＧＰＴのベースでもある「Ｔｒａｎｓｆｏｒｍｅｒ」モデルの化合物構造の学習進捗を確認すると、学習を開始してすぐに部分的な文字列の学習は完了する一方、全体の学びには時間がかかることを突き止めた。

検討の最中、深層学習モデルの学習が確率的に滞る現象を発見。原因の探索に取り組んだ。化学言語モデルの入力となる化合物の文字列表現は、各文字が原子など何らかの化合物の要素と対応している。

それぞれの文字を除外した際の精度を調査することで、各文字の学習への影響力を評価した。結果、化合物の立体的特性であるキラリティを表現する文字（@、@@）が見いだされたことから、キラリティの認識がＴｒａｎｓｆｏｒｍｅｒｎの学習に影響することが示唆された。

研究グループは「代表的な深層学習モデルであるＴｒａｎｓｆｏｒｍｅｒが多様な化合物構造を学習する際の特徴の一端が明らかとなった」とし「『どのように言語ＡＩが化合物構造を学習・認識しているか』というブラックボックス解明の一助になることが期待される」と説明した。