EngGPT2MoE-16B-A3B：以混合專家架構推進義大利語大型語言模型表現
報告評估義大利ENGINEERING的EngGPT2MoE-16B-A3B，為16B參數MoE且在任意時刻啟用3B活躍參數。研究以多項國際與義大利基準比較模型表現，結果顯示該模型在多數國際測試優於或等同主要義大利模型，且在RULER32k長上下文設定取得最佳成績。
要點速覽
ArXiv 報告針對 ENGINEERING Ingegneria Informatica S.p.A. 的 EngGPT2MoE-16B-A3B 進行多基準評測，指出這款 16B 參數的混合專家（MoE）模型在多項任務表現亮眼，並在長上下文設定取得佳績。
研究方法與對象
本次評測涵蓋國際常用基準：ARC-Challenge、GSM8K、MMLU、HumanEval 以及 AIME 系列，並納入 RULER 的 32k 長上下文測試與義大利語專屬的 ITALIC 資料集。研究同時與多款同尺度或相近架構的 MoE 與 dense 模型比較，檢視跨語言與跨任務的相對表現。
主要發現
EngGPT2MoE-16B-A3B 在與數款義大利主流模型（如 FastwebMIIA-7B、Minerva-7B、Velvet-14B、LLaMAntino-3-ANITA-8B）比較時，於多數國際基準上呈現相當或更佳表現，且在 RULER 的 32k 長上下文條件中獲得最佳成績。在 ITALIC 上，該模型整體表現與其他模型相當，但 Velvet-14B 在部分測試中優於它。
與其他 MoE 及密集模型比較
相比其他同類 MoE 模型，EngGPT2MoE 在多數測試上勝過 DeepSeek-MoE-16B-Chat，並在若干基準（如 HE、MMLU、AIME、GSM8K、RULER 32k）超越 Moonlight-16B-A3B，但在部分 ARC 與 BFCL 組合、以及 ITALIC 的某些設定上不如 Moonlight。與更大型或表現更優的國際模型相比，例如 GPT-OSS-20B、GPT-5 nano 與 Qwen3-8B，EngGPT2MoE 整體得分仍落後。
結論與意義
報告認為 EngGPT2MoE-16B-A3B 是推動本地義大利語大型語言模型的一項進展：在多項國際基準展現競爭力，並在長上下文任務上取得突出成績，但與部分國際頂尖模型仍有差距，未來可朝細緻化訓練與架構優化持續改進。
延伸閱讀
- ZAYA1-8B：以 MoE++、Compressed Convolutional Attention 與 Markovian RSA 提升小參數推理效能
- ZAYA1-8B：基於 MoE++ 與 Markovian RSA，在 AMD Instinct MI300 上訓練的高效推理模型
- Spatial Atlas：計算為基礎的空間感知推理框架與實驗成果
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
