国産研究者主導によるFugaku-LLM爆誕

アチコチで記事になっているので小耳に挟んだ人も多いと思いますが、約11ヶ月の研究により理研に設置されているスーパーコンピューター富岳を使った13億パラメーターの大規模言語モデル「Fugaku-LLM」が発表されました。

あまり記事になっていないと思いますが、詳細を聞くとえ？と思うのは実質学習に使用したのは富岳の9％かつ1ヶ月というところ。行列演算アクセラレータのないA64FXで大規模LLMを学習させるのは専有するからムリって聞いていたのですが三味線だったようですwww

学習データの60%が日本語データと多くの日本人向けで面白そうなので、これが「AI PC上でローカル動作する」と最高なんですが、どうでしょうね？
※ちなみにJapanese Stability LM 7BはCore UltraのPC上でローカル動作するデモは見てますが、NPU使ってなくてGPUで演算してました