楽天LLM/SLMをAppache 2.0ライセンスで提供開始

プレスリリース
https://corp.rakuten.co.jp/news/press/2025/0212_02.html

ローカルで動かすAIとしてLLMは重すぎるのでAI PCにSLMを入れるという案がありますが、Rakuten AI 2.0 miniは1.5Bパラメーターと軽量ながら日本語MT-Benchで競合よりも良いスコアとちょっと面白そうです。
※ファイルサイズは3GBちょい

以前書いたかもしれませんが、インテルがMeteor Lakeマシンに70BパラメーターのLLMを動かしているデモをしており、オオ！と思ったのですが、出力が「モデム並み」でガッカリしたことがあります。
※最新のLunar Lakeでないの？という疑問は当然ですが、「メモリを128GB実装してGPUに96GB割り当てる」という強引さで実現したので、Lunar Lakeでは無理でした。