- 目前已囊括134个大模型,覆盖chatgpt、gpt-4o、谷歌gemini、百度文心一言、阿里通义千问、百川、讯飞星火、商汤senseChat、minimax等商用模型, 以及deepseek-v3、qwen2.5、llama3.1、glm4、书生internLM2.5、openbuddy、AquilaChat等开源大模型。
- 模型来源涉及国内外大厂、大模型创业公司、高校研究机构。
- 支持多维度能力评测,包括分类能力、信息抽取能力、阅读理解能力、数据分析能力、中文编码效率、中文指令遵从、算术能力。
- 不仅提供能力评分排行榜,也提供所有模型的原始输出结果!有兴趣的朋友可以自己打分、自己排行!
- [2024/12/27] 发布v2.5版本评测榜单
- 新增Grade8Math-zh(八年级数学)、Grade9Math-zh(九年级数学)榜单
- 新增6个模型:deepseek-chat-v3、abab7-chat-preview、hunyuan-standard、hunyuan-large、hunyuan-turbo、SenseChat-5,☛查看模型完整信息
- [2024/12/25] 发布v2.4版本评测榜单
- 新增Grade7Math-zh(七年级数学)榜单
- 删除陈旧的模型:Phi-3-mini-128k-instruct、Qwen1.5系列、openbuddy-llama3-8b、yi-large、yi-large-turbo、yi-medium、yi-spark、internlm2-chat-20b、internlm2-chat-7b、gpt-4-turbo、gpt-3.5-turbo
- [2024/10/20] 发布v2.3版本评测榜单
- 新增6个模型:yi-lightning、gemini-1.5-flash、gemini-1.0-pro、gemini-1.5-pro、GLM-4-Long、GLM-4-Plus
- 更新4个模型:GLM4、qwen-max、ERNIE-4.0-Turbo-8K、ERNIE-3.5-8K
- 删除陈旧的模型:Baichuan2-13B-Chat、Baichuan2-7B-Chat、deepseek-llm-67b-chat、gpt4、gemma-2b-it、gemma-7b-it
- [2024/9/29]v2.2版本,[2024/8/27]v2.1版本,[2024/8/7]v2.0版本,[2024/7/26]v1.21版本,[2024/7/15]v1.20版本,[2024/6/29]v1.19版本,[2024/6/2]v1.18版本,[2024/5/8]v1.17版本,[2024/4/13]v1.16版本,[2024/3/20]v1.15版本,[2024/2/28]v1.14版本,[2024/1/29]v1.13版本
- 2023年:[2023/12/10]v1.12版本,[2023/11/22]v1.11版本,[2023/11/5]v1.10版本,[2023/10/11]v1.9版本,[2023/9/13]v1.8版本,[2023/8/29]v1.7版本,[2023/8/13]v1.6版本,[2023/7/26]v1.5版本, [2023/7/18]v1.4版本, [2023/7/2]v1.3版本, [2023/6/17]v1.2版, [2023/6/10]v1.1版本, [2023/6/4]v1版本
各版本更新详情:CHANGELOG
- 将更多大模型加入评测:Claude等等
- 增加开源大模型的授权协议,注明能否商用
- 引入更多维度的评测:数学能力、代码能力、开放域问答、多轮对话、头脑风暴、翻译……
- 评测维度更细分,比如信息抽取可以细分时间实体抽取能力、地址实体抽取能力……
- 海纳百川,整合各类评测榜单,扩充细分领域榜单(比如教育领域、医疗领域)
- 加入更多评测数据,使得评测得分越来越有说服力
价格单位:元/1M tokens,即元每百万token
model | producer | open-source | price_input | price_output | 直接体验 | download | paper | badcase |
---|---|---|---|---|---|---|---|---|
GLM-4-Flash | 智谱AI | No | 0.0 | 0.0 | link | / | link | link |
ERNIE-Speed-8K | 百度 | No | 0.0 | 0.0 | link | / | / | link |
internlm2_5-7b-chat | 上海人工智能实验室 | Yes | 0.3 | 0.3 | link | link | / | link |
Yi-1.5-9B-Chat | 零一万物 | Yes | 0.4 | 0.4 | link | link | link | link |
Llama-3.1-8B-Instruct | meta | Yes | 0.4 | 0.4 | link | link | link | link |
Doubao-lite-32k | 豆包 | No | 0.3 | 0.6 | link | / | / | link |
glm-4-9b-chat | 智谱AI | Yes | 0.6 | 0.6 | link | link | link | link |
gemma-2-9b-it | Yes | 0.6 | 0.6 | link | link | link | link | |
qwen2.5-7b-instruct | 阿里巴巴 | Yes | 1.0 | 2.0 | link | link | / | link |
gemini-1.5-flash | No | 0.5 | 2.2 | link | / | / | link | |
gpt-4o-mini | openAI | No | 1.1 | 4.3 | link | / | link | link |
... | ... | ... | ... | ... | ... | ... | ... | ... |
更多模型信息详见:
综合能力得分为分类能力、信息抽取、阅读理解、数据分析、指令遵从、算术运算六者得分的平均值。
详细数据见total
大模型 | 价格(输出) | 分类能力 | 信息抽取 | 阅读理解 | 数据分析 | 指令遵从 | 算术运算 | 总分 | 排名 |
---|---|---|---|---|---|---|---|---|---|
gpt-4o | 72.4元 | 93 | 96.3 | 98.0 | 100.0 | 83 | 95.7 | 94.3 | 1 |
百度ERNIE-4.0-Turbo | 60元 | 90 | 94.8 | 96.0 | 98.7 | 78 | 97.7 | 92.5 | 2 |
hunyuan-turbo(new) | 50元 | 93 | 85.2 | 93.3 | 97.3 | 78 | 99.5 | 91.0 | 3 |
百度ERNIE-4.0 | 90元 | 88 | 89.0 | 94.7 | 94.0 | 79 | 100.0 | 90.8 | 4 |
GLM-4-Plus | 50元 | 87 | 91.9 | 95.3 | 99.3 | 81 | 88.7 | 90.5 | 5 |
gemini-1.5-pro | 36元 | 87 | 90.4 | 93.3 | 99.3 | 75 | 92.2 | 89.5 | 6 |
SenseChat-5(new) | 100元 | 93 | 90.4 | 89.3 | 97.3 | 82 | 85.0 | 89.5 | 7 |
讯飞4.0Ultra | 100元 | 88 | 84.4 | 96.0 | 92.7 | 80 | 94.3 | 89.2 | 8 |
阿里qwen-max | 60元 | 92 | 88.9 | 94.7 | 99.3 | 77 | 79.8 | 88.6 | 9 |
minimax-abab6.5-chat | 30元 | 89 | 87.0 | 89.3 | 95.3 | 76 | 90.3 | 87.8 | 10 |
讯飞星火v3.5(spark-max) | 30元 | 87 | 92.0 | 89.3 | 87.3 | 74 | 93.5 | 87.2 | 11 |
Baichuan4 | 100元 | 86 | 94.1 | 93.3 | 95.3 | 75 | 78.2 | 87.0 | 12 |
智谱GLM4 | 100元 | 92 | 86.7 | 90.0 | 98.0 | 77 | 78.0 | 87.0 | 13 |
讯飞星火v3(spark-pro) | 30元 | 87 | 82.0 | 88.0 | 86.0 | 74 | 94.0 | 85.2 | 14 |
大模型 | 价格(输出) | 分类能力 | 信息抽取 | 阅读理解 | 数据分析 | 指令遵从 | 算术运算 | 总分 | 排名 |
---|---|---|---|---|---|---|---|---|---|
abab7-chat-preview(new) | 10元 | 89 | 96.3 | 94.7 | 97.3 | 83 | 94.2 | 92.4 | 1 |
qwen2.5-32b-instruct | 7元 | 91 | 94.1 | 96.0 | 91.3 | 83 | 94.0 | 91.6 | 2 |
qwen2.5-14b-instruct | 6元 | 89 | 90.4 | 94.0 | 98.0 | 81 | 91.5 | 90.7 | 3 |
Qwen2-72B-Instruct | 12元 | 87 | 91.1 | 94.7 | 90.0 | 86 | 94.2 | 90.5 | 4 |
qwen2.5-72b-instruct | 12元 | 92 | 87.4 | 92.0 | 92.7 | 83 | 95.5 | 90.4 | 5 |
hunyuan-large(new) | 12元 | 91 | 88.9 | 92.7 | 96.7 | 79 | 93.0 | 90.2 | 6 |
Baichuan3-Turbo | 12元 | 88 | 86.7 | 94.7 | 90.7 | 75 | 89.2 | 87.4 | 7 |
智谱GLM-4-AirX | 10元 | 89 | 91.9 | 92.7 | 88.0 | 83 | 74.2 | 86.5 | 8 |
qwen2-57b-a14b-instruct | 7元 | 85 | 88.1 | 89.3 | 87.3 | 77 | 89.2 | 86.0 | 9 |
月之暗面moonshot-v1-8k | 12元 | 92 | 85.0 | 84.0 | 89.3 | 72 | 79.3 | 83.6 | 10 |
gemini-1.0-pro | 10.8元 | 84 | 89.6 | 92.7 | 99.3 | 76 | 50.8 | 82.1 | 11 |
商汤SenseChat-v4 | 12元 | 89 | 78.5 | 88.0 | 86.7 | 71 | 72.2 | 80.9 | 12 |
商汤SenseChat-Turbo | 5元 | 81 | 77.8 | 76.7 | 86.0 | 72 | 78.5 | 78.7 | 13 |
minimax-abab5.5-chat | 15元 | 83 | 79.0 | 86.7 | 72.7 | 76 | 39.7 | 72.8 | 14 |
minimax-abab5.5s-chat | 5元 | 58 | 57.0 | 70.7 | 56.0 | 49 | 57.0 | 58.0 | 15 |
大模型 | 价格(输出) | 分类能力 | 信息抽取 | 阅读理解 | 数据分析 | 指令遵从 | 算术运算 | 总分 | 排名 |
---|---|---|---|---|---|---|---|---|---|
deepseek-chat-v3(new) | 2元 | 93 | 97.0 | 94.7 | 100.0 | 84 | 99.0 | 94.6 | 1 |
百度ERNIE-3.5-8K | 2元 | 94 | 89.6 | 98.0 | 100.0 | 72 | 100.0 | 92.3 | 2 |
gpt-4o-mini | 4.3元 | 90 | 93.3 | 89.3 | 100.0 | 83 | 92.7 | 91.4 | 3 |
deepseek-chat-v2 | 2元 | 93 | 88.0 | 94.0 | 96.0 | 76 | 96.7 | 90.6 | 4 |
豆包Doubao-pro-32k | 2元 | 86 | 88.1 | 96.7 | 86.7 | 85 | 98.2 | 90.1 | 5 |
gemini-1.5-flash | 2.2元 | 91 | 87.4 | 92.7 | 97.3 | 77 | 91.8 | 89.5 | 6 |
Llama-3.1-70B-Instruct | 4.1元 | 87 | 88.9 | 92.0 | 90.7 | 79 | 94.8 | 88.7 | 7 |
Llama-3-70B-Instruct | 4.1元 | 88 | 87.0 | 96.0 | 95.0 | 70 | 90.8 | 87.8 | 8 |
qwen2.5-7b-instruct | 2元 | 85 | 88.1 | 93.3 | 91.3 | 77 | 89.8 | 87.4 | 9 |
阿里qwen-plus | 2元 | 88 | 89.6 | 90.0 | 84.0 | 73 | 93.0 | 86.3 | 10 |
hunyuan-standard(new) | 2元 | 87 | 89.6 | 93.3 | 85.3 | 74 | 83.0 | 85.4 | 11 |
阿里qwen-long | 2元 | 89 | 85.9 | 90.0 | 86.7 | 75 | 83.3 | 85.0 | 12 |
Qwen2-7B-Instruct | 2元 | 89 | 83.7 | 86.7 | 75.3 | 77 | 81.3 | 82.2 | 13 |
Yi-1.5-34B-Chat | 1.3元 | 90 | 83.0 | 82.7 | 83.3 | 74 | 79.0 | 82.0 | 14 |
大模型 | 价格(输出) | 分类能力 | 信息抽取 | 阅读理解 | 数据分析 | 指令遵从 | 算术运算 | 总分 | 排名 |
---|---|---|---|---|---|---|---|---|---|
yi-lightning | 0.99元 | 94 | 90.4 | 95.3 | 100.0 | 82 | 96.0 | 93.0 | 1 |
GLM-4-Long | 1元 | 85 | 93.3 | 89.3 | 96.7 | 80 | 81.2 | 87.6 | 2 |
internlm2_5-20b-chat | 1元 | 86 | 90.4 | 86.0 | 97.3 | 75 | 89.7 | 87.4 | 3 |
minimax-abab6.5s-chat | 1元 | 87 | 88.0 | 88.7 | 88.0 | 80 | 91.7 | 87.2 | 4 |
智谱GLM-4-Air | 1元 | 89 | 91.9 | 92.7 | 88.0 | 83 | 74.5 | 86.5 | 5 |
gemma-2-9b-it | 0.6元 | 85 | 82.2 | 88.7 | 87.3 | 81 | 89.3 | 85.6 | 6 |
智谱GLM-4-Flash | 0元 | 89 | 80.0 | 86.0 | 82.0 | 79 | 75.5 | 81.9 | 7 |
百度ERNIE-Speed-8K | 0元 | 88 | 88.1 | 88.0 | 89.3 | 68 | 68.7 | 81.7 | 8 |
Llama-3-8B-Instruct | 0.4元 | 86 | 74.0 | 80.0 | 90.0 | 63 | 89.5 | 80.4 | 9 |
internlm2_5-7b-chat | 0.4元 | 86 | 84.4 | 90.0 | 83.3 | 79 | 59.8 | 80.4 | 10 |
阿里qwen-turbo | 0.6元 | 83 | 85.2 | 88.0 | 76.0 | 66 | 81.3 | 79.9 | 11 |
Yi-1.5-9B-Chat | 0.4元 | 82 | 83.0 | 84.7 | 80.0 | 72 | 73.8 | 79.2 | 12 |
Llama-3.1-8B-Instruct | 0.4元 | 63 | 85.2 | 82.0 | 84.0 | 69 | 90.5 | 79.0 | 13 |
豆包Doubao-lite-32k | 0.6元 | 77 | 86.7 | 88.7 | 64.7 | 62 | 87.2 | 77.7 | 14 |
旗舰商用模型badcase: gpt-4o |
moonshot-v1-8k |
deepseek-chat-v2 |
yi-large |
更多
类别 | 大模型 | 分类能力 | 信息抽取 | 阅读理解 | 数据分析 | 指令遵从 | 算术运算 | 总分 | 排名 |
---|---|---|---|---|---|---|---|---|---|
开源 | qwen2.5-3b-instruct | 81 | 75.6 | 78.7 | 83.3 | 77 | 85.7 | 80.2 | 1 |
开源 | qwen2.5-1.5b-instruct | 70 | 71.9 | 72.7 | 63.3 | 62 | 83.3 | 70.5 | 2 |
开源 | MiniCPM-2B-dpo | 79 | 77.0 | 74.0 | 66.0 | 55 | 52.7 | 67.3 | 3 |
开源 | qwen2-1.5b-instruct | 73 | 74.1 | 68.0 | 50.7 | 54 | 55.7 | 62.6 | 4 |
开源 | qwen2.5-0.5b-instruct | 52 | 53.3 | 63.3 | 46.0 | 58 | 51.8 | 54.1 | 5 |
开源 | internlm2-chat-1_8b | 69 | 60.7 | 63.3 | 46.0 | 45 | 39.7 | 54.0 | 6 |
开源 | qwen2-0.5b-instruct | 49 | 53.3 | 62.0 | 36.7 | 48 | 35.5 | 47.4 | 7 |
类别 | 大模型 | 分类能力 | 信息抽取 | 阅读理解 | 数据分析 | 指令遵从 | 算术运算 | 总分 | 排名 |
---|---|---|---|---|---|---|---|---|---|
开源 | qwen2.5-7b-instruct | 85 | 88.1 | 93.3 | 91.3 | 77 | 89.8 | 87.4 | 1 |
开源 | gemma-2-9b-it | 85 | 82.2 | 88.7 | 87.3 | 81 | 89.3 | 85.6 | 2 |
开源 | glm-4-9b-chat | 90 | 82.2 | 90.0 | 82.0 | 79 | 76.5 | 83.3 | 3 |
开源 | Qwen2-7B-Instruct | 89 | 83.7 | 86.7 | 75.3 | 77 | 81.3 | 82.2 | 4 |
开源 | Llama-3-8B-Instruct | 86 | 74.0 | 80.0 | 90.0 | 63 | 89.5 | 80.4 | 5 |
开源 | internlm2_5-7b-chat | 86 | 84.4 | 90.0 | 83.3 | 79 | 59.8 | 80.4 | 6 |
开源 | Yi-1.5-9B-Chat | 82 | 83.0 | 84.7 | 80.0 | 72 | 73.8 | 79.2 | 7 |
开源 | Llama-3.1-8B-Instruct | 63 | 85.2 | 82.0 | 84.0 | 69 | 90.5 | 79.0 | 8 |
类别 | 大模型 | 分类能力 | 信息抽取 | 阅读理解 | 数据分析 | 指令遵从 | 算术运算 | 总分 | 排名 |
---|---|---|---|---|---|---|---|---|---|
开源 | qwen2.5-14b-instruct | 89 | 90.4 | 94.0 | 98.0 | 81 | 91.5 | 90.7 | 1 |
开源 | internlm2_5-20b-chat | 86 | 90.4 | 86.0 | 97.3 | 75 | 89.7 | 87.4 | 2 |
开源 | DeepSeek-V2-Lite-Chat | 81 | 76.3 | 81.3 | 73.3 | 69 | 61.2 | 73.7 | 3 |
类别 | 大模型 | 分类能力 | 信息抽取 | 阅读理解 | 数据分析 | 指令遵从 | 算术运算 | 总分 | 排名 |
---|---|---|---|---|---|---|---|---|---|
开源 | deepseek-chat-v3(new) | 93 | 97.0 | 94.7 | 100.0 | 84 | 99.0 | 94.6 | 1 |
开源 | qwen2.5-32b-instruct | 91 | 94.1 | 96.0 | 91.3 | 83 | 94.0 | 91.6 | 2 |
开源 | deepseek-chat-v2 | 93 | 88.0 | 94.0 | 96.0 | 76 | 96.7 | 90.6 | 3 |
开源 | Qwen2-72B-Instruct | 87 | 91.1 | 94.7 | 90.0 | 86 | 94.2 | 90.5 | 4 |
开源 | qwen2.5-72b-instruct | 92 | 87.4 | 92.0 | 92.7 | 83 | 95.5 | 90.4 | 5 |
开源 | Llama-3.1-70B-Instruct | 87 | 88.9 | 92.0 | 90.7 | 79 | 94.8 | 88.7 | 6 |
开源 | Llama-3-70B-Instruct | 88 | 87.0 | 96.0 | 95.0 | 70 | 90.8 | 87.8 | 7 |
开源 | qwen2-57b-a14b-instruct | 85 | 88.1 | 89.3 | 87.3 | 77 | 89.2 | 86.0 | 8 |
开源 | Yi-1.5-34B-Chat | 90 | 83.0 | 82.7 | 83.3 | 74 | 79.0 | 82.0 | 9 |
此项benchmark暂时不计入总分。
评分标准:七、八、九年级分别有40道题、21道题、36道题,所有题目都只判断对错(没有中间分数)。对于任何题目,只有模型response完全正确才给分,部分正确或错误都不得分。
评测样本举例:
因式分解:3x^2y-12xy+12y
☛查看七年级数学badcase
☛查看八年级数学badcase
☛查看九年级数学badcase
评测样本举例:
将下列单词按词性分类。
狗,追,跑,大人,高兴,树
完整排行榜见classification
☛查看分类能力badcase
评测样本举例:
“中信银行3亿元,交通银行增长约2.7亿元,光大银行约1亿元。”
提取出以上文本中的所有组织机构名称
完整排行榜见extract
☛查看信息抽取能力badcase
阅读理解能力是一种符合能力,考查针对给定信息的理解能力。
依据给定信息的种类,可以细分为:文章问答、表格问答、对话问答……
评测样本举例:
牙医:好的,让我们看看你的牙齿。从你的描述和我们的检查结果来看,你可能有一些牙齦疾病,导致牙齿的神经受到刺激,引起了敏感。此外,这些黑色斑点可能是蛀牙。
病人:哦,真的吗?那我该怎么办?
牙医:别担心,我们可以为你制定一个治疗计划。我们需要首先治疗牙龈疾病,然后清除蛀牙并填充牙洞。在此过程中,我们将确保您感到舒适,并使用先进的技术和材料来实现最佳效果。
病人:好的,谢谢您,医生。那么我什么时候可以开始治疗?
牙医:让我们为您安排一个约会。您的治疗将在两天后开始。在此期间,请继续刷牙,使用牙线,并避免吃过于甜腻和酸性的食物和饮料。
病人:好的,我会的。再次感谢您,医生。
牙医:不用谢,我们会尽最大的努力帮助您恢复健康的牙齿。
基于以上对话回答:病人在检查中发现的牙齿问题有哪些?
完整排行榜见mrc
☛查看阅读理解能力badcase
专门考查大模型对表格的理解分析能力,常用于数据分析。
评测样本举例:
姓名,年龄,性别,国籍,身高(cm),体重(kg),学历
张三,28,男,中国,180,70,本科
Lisa,33,女,美国,165,58,硕士
Paulo,41,男,巴西,175,80,博士
Miyuki,25,女,日本,160,50,大专
Ahmed,30,男,埃及,175,68,本科
Maria,29,女,墨西哥,170,65,硕士
Antonio,36,男,西班牙,182,75,博士
基于这个表格回答:学历最低的是哪国人?
完整排行榜见tableqa
☛查看数据分析badcase
参考谷歌IFEval,并将其翻译和适配到中文,精选9类25种指令,说明如下:
完整排行榜见IFEval
☛查看中文指令遵从badcase
考查大模型的数学基础能力之算数能力,测试题目为1000以内的整数加减法、不超过2位有效数字的浮点数加减乘除。 举例:166 + 215 + 53 = ?,0.97 + 0.4 / 4.51 = ?
完整排行榜见arithmetic
☛查看算术能力badcase
暂不计入综合能力评分。
专门考查大模型编码中文字符的效率,同等尺寸大模型,编码效率越高推理速度越快,几乎成正比。
中文编码效率相当于大模型生成的每个token解码后对应的中文平均字数
(大模型每次生成一个token,然后解码成真正可见的字符,比如中文、英文、标点符号等)。
比如baichuan2、llama2的中文中文编码效率分别为1.67、0.61,意味着在同尺寸模型下,baichuan2的运行速度是llama2的2.7倍(1.67/0.61)。
评分方法:从各个维度给大模型打分,每个维度都对应一个评测数据集,包含若干道题。 每道题依据大模型回复质量给1~5分,将评测集内所有题的得分累加并归一化为100分制,即作为最终得分。
所有评分数据详见alldata
包含各维度评测集以及大模型输出结果,详见本项目的eval文件目录
- 大模型百花齐放,也参差不齐。不少媒体的宣传往往夸大其词,避重就轻,容易混淆视听;而某些公司为了PR,也过分标榜自己大模型的能力,动不动就“达到chatgpt水平”,动不动就“国内第一”。 所谓“外行看热闹,内行看门道”,业界急需一股气流,摒弃浮躁,静下心来打磨前沿技术,真真正正用技术实力说话。这就少不了一个公开、公正、公平的大模型评测系统,把各类大模型的优点、不足一一展示出来。 如此,大家既能把握当下的发展水平、与国外顶尖技术的差距,也能更加清晰地看明白未来的努力方向,而不被资本热潮、舆论热潮所裹挟。
- 对于产业界来说,特别是对于不具备大模型研发能力的公司,熟悉大模型的技术边界、高效有针对性地做大模型技术选型,在现如今显得尤为重要。 而一个公开、公正、公平的大模型评测系统,恰好能够提供应有的助力,避免重复造轮子,避免因技术栈不同而导致不必要的争论,避免“鸡同鸭讲”。
- 对于大模型研发人员,包括对大模型技术感兴趣的人、学术界看中实践的人,各类大模型的效果对比,反应出了背后不同技术路线、技术方法的有效性,这就提供了非常好的参考意义。 不同大模型的相互参考、借鉴,帮忙大家躲过不必要的坑、避免重复实验带来的资源浪费,有助于整个大模型生态圈的良性高效发展。