●科学技術ニュース●東大発の生成ＡＩスタートアップ企業イライザ、「GPT-4」を上回る日本語性能のLLM「Llama-3-ELYZA-JP」を開発

　東大発の生成ＡＩスタートアップ企業のイライザ（ELYZA） は、生成ＡＩ「Llama-3-ELYZA-JP」シリーズの700億パラメータのモデルで、日本語の生成能力に関するベンチマーク評価 (ELYZA Tasks 100、Japanese MT-Bench) で「GPT-4」を上回る性能を達成した。

　各モデルは Meta 社の「Llama 3」シリーズをベースに日本語で追加学習を行なったもの。

■「Llama-3-ELYZA-JP-70B」

　700億パラメータモデル。「GPT-4」を上回る日本語性能を達成。無料で利用可能なデモを用意。

■「Llama-3-ELYZA-JP-8B」

　80億パラメータと軽量ながらも「GPT-3.5 Turbo」に匹敵する日本語性能を達成。モデルを商用利用可能な形で一般公開した。

　「Llama-3-ELYZA-JP」シリーズは、Meta社の「Llama 3」シリーズをベースとした2種類の日本語大規模言語モデル（LLM）を指し、700億パラメータの「Llama-3-ELYZA-JP-70B」と80億パラメータの「Llama-3-ELYZA-JP-8B」がある。

　各モデルは、それぞれ「Meta-Llama-3-70B-Instruct」と「Meta-Llama-3-8B-Instruct」に対し、日本語における指示追従能力を拡張するための、日本語追加事前学習および事後学習を行ったもの。

　日本語の生成能力に関するベンチマーク評価 (ELYZA Tasks 100、Japanese MT-Bench) において、両モデルはいずれもベースとなる「Llama 3」シリーズから大きく日本語性能が向上している。

　特に 700億 パラメータの「Llama-3-ELYZA-JP-70B」は「GPT-4」「Claude 3 Sonnet」「Gemini 1.5 Flash」といったグローバルモデルを上回る性能を達成した。＜ELYZA＞