日本語データ主体のオープンLLMを国立情報学研究所がプレビュー公開

約1720億パラメータ（GPT-3級）の大規模言語モデルのフルスクラッチ学習を行い、プレビュー版「LLM-jp-3 172B beta1」を公開
～学習データを含めすべてオープンにしたモデルとしては世界最大〜
https://www.nii.ac.jp/news/release/2024/0917.html

1.7兆トークンのうち5920億トークンは日本語、かつ0.4兆トークンは二回学習したとの事で計2.1兆トークンを学習させるとの事です(現在1/3まで学習させた段階)。

パラメーター数は172BでGPT-3程度との事。

軽量にしてCopilot+PCの内部で動かせるぐらいのデータ量のが欲しいなぁ。