楽天グループは、Mixture of Experts（MoE）アーキテクチャを採用した新しい日本語大規模言語モデル（以下、LLM）「Rakuten AI 2.0」と、楽天グループ初の小規模言語モデル（以下、SLM）「Rakuten AI 2.0 mini」の2つのAIモデルを発表した。
両モデルは、AIアプリケーションを開発する企業や技術者などの専門家を支援するもの。2025年春を目途にオープンソースコミュニティに向けて公開予定となっている。
Rakuten AI 2.0は、8つの70億パラメータで構築した「エキスパート」と呼ばれるサブモデルで構成されている。トークンはルーターによって選定された最も適した2つのエキスパートに処理される。それぞれのエキスパートとルーターは、ともに日本語と英語の言語データを用いた継続的な学習を行っている。
また、楽天グループが初めて開発したSLMであるRakuten AI 2.0 miniは、15億パラメータの基盤モデル。内製の多段階データフィルタリング、アノテーションプロセスを通じて、キュレーションおよびクリーンアップされた広範な日本語と英語のデータセットで最初から学習している。テキスト生成において高性能かつ高精度な処理を実現するとのこと。
Rakuten AI 2.0の概要
入力トークンに対して、最も関連性の高いエキスパートを動的に選択するMoEアーキテクチャが採用されている。これにより、計算効率と性能を最適化できる。本LLMは、8倍規模の高密度モデルに匹敵する性能を発揮する一方で、消費計算量は1/4程度に抑えられるという。なお、Rakuten AI 2.0の平均日本語性能は、2024年3月に公開された日本語に最適化したLLMの基盤モデル「Rakuten AI 7B」と比較して、8つのタスクで62.93から72.29に向上している。
Rakuten AI 2.0 miniの概要
コンパクトなモデルのため、モバイル端末に導入できる。データをリモートサーバーに送信することなく自社運用が可能。汎用アプリケーションに使用される大規模モデルと比べて、SLMはプライバシーの保護、低遅延、コスト効率が求められる特定のアプリケーションに適した形で活用できる。
楽天グループは、最新のLLMおよびSLMをオープンなモデルとして提供する考え。これにより、オープンソースコミュニティへの貢献を目指すとともに、日本語LLMのさらなる発展に寄与するとしている。また、自社で最新のLLMモデル開発を継続することで、知見やノウハウを蓄積し「楽天エコシステム（経済圏）」の拡大に取り組む。
