産業技術総合研究所(産総研)などが主催する勉強会「LLM-jp」は17日、生成AIの基盤となる世界トップレベルの大規模言語モデル(LLM)の開発を始めると発表した。まず、日本語に強いLLMの開発を進めていくという。
世界トップレベルのLLMの構築に向けた第一歩として、LLM-jpがオープンでかつ日本語に強いLLMの構築を始める。今回構築に着手するLLMの規模を表すパラメタ数は1750億個。これはOpenAI社が構築したLLMであるGPT-3と同等の規模。
産総研はLLMの構築に必要な計算資源としてABCIを提供する。このほか産総研は、LLM-jpとも協力しながら開発に必要な高品質かつ大規模な共有データセットの構築を行う。
産総研は「産総研、東工大、LLM-jpが持つLLM構築に関するデータ・アルゴリズム・計算資源活用の知見を持ち寄って研究開発を行うことで、日本の産業競争力強化や社会課題解決に資する成果を創出していきたい」としている。