阿里Qwen-2成全球开源大模型排行榜第一
2024年06月27日 15:30 发布者:eechina
来源:快科技全球知名的开源平台Hugging Face的联合创始人兼首席执行官Clem在社交平台激动宣布,阿里巴巴最新开源的Qwen2-72B指令微调版本在开源模型排行榜上荣登榜首。
为了打造一个更为公正和准确的开源大模型排名,Clem及其团队利用300块H100高性能硬件,对全球100多个主流开源大模型,包括Qwen2、Llama-3、Mixtral、Phi-3等,在BBH、MUSR、MMLU-PRO、GPQA等严格的基准测试集上进行了全面而深入的评估。
这次重新评估的初衷在于,许多开发者过于追求排行榜的名次,导致在模型训练过程中过度依赖评估集数据,并且过去的评估标准对于模型而言显得过于简单。因此,本次评估提高了难度标准,以检验这些模型在更高挑战下的真实性能。
令人瞩目的是,阿里巴巴开源的Qwen-2 72B模型在激烈竞争中脱颖而出,不仅超越了科技巨头Meta的Llama-3,还超越了法国知名大模型平台Mistralai的Mixtral,成为了新的行业领军者。这一成绩充分展示了中国在全球开源大模型领域的领导地位。
针对这一排名结果,Stability AI的研究总监、早年在19岁便获得博士学位的Tanishq表示,他早前就预测中国在开源大模型领域具有强大的竞争力。除了Qwen2,还有零一万物、InternLM、Deepsseek等众多优秀的中国开源模型,都在国际舞台上崭露头角。
Tanishq进一步强调,任何关于中国在开源大模型领域落后的观点都是站不住脚的。相反,中国在这一领域正逐渐展现出领导者的姿态,引领着全球开源模型的发展潮流。