大模型测评记录
简介
- 本评测是个人性质，使用滚动更新的私有题库进行长期跟踪评测。
- 本评测侧重模型对逻辑，数学，编程，人类直觉等问题的测试。不够权威，不够全面。仅从一个侧面观察各个大模型的长期进化趋势。
- 本评测的题库规模不大，长期维持在28题/270个用例以内，不使用任何互联网公开题目。题目每月会有滚动更新。题目不公开，意图是分享一种评测思路，以及个人见解。每个人应该根据自己所需，对大模型进行考察。不可盲信任何评测。
- 因为题目会每月增减，每个模型的成绩在每个月榜单中会有正负3分左右的变化，属于正常现象。大致排序保持稳定。
评测方法
- 每道题设置若干个得分点，有些题目每个用例通过记1分，有些题目每答出一个符合要求的数据/文本记1分。每题有至少1个得分点。最终得分是计分除以得分点总数，再乘以10。（即每道题满分10分）
- 每题要求推导过程必须正确，猜对的答案不得分。部分题目有额外要求，输出多余答案会扣分，避免枚举。
- 要求回答必须完全符合题目要求，如果明确要求不写解释，不得编程等，而回答包含了解释或编程部分，即使正确，也记0分。
- 评测优先使用OpenRouter/Zenmux中转，并指定官方渠道供应商。官方有明确建议的 Decode 参数，使用官方参数，否则使用默认温度值（不传参）。模型不限制Max Token，但根据题目难度对超长思考进行扣分惩罚。每道题测3遍，取最高分。
题目大纲
41 交织文本：从多段交织混合文本中寻找问题答案
48 字符处理：根据规则对一段文本进行字符级别处理和统计
50 日志分析：在约20K的生产服务器日志中找到有效线索进行归纳
52 观棋不语：从一场没有解说的对局中归纳游戏规则
53 管道疏通：使用一定手段使阻塞的管道通畅
54 高级拼图：从多块拼图中选择部分拼图完成图形
55 寻路问题：在给出的地图中寻找符合条件的通路
56 年会抽奖：在多重规则下和复杂文本下找到年会中奖者
57 单词组合：从数百个单词中找到满足条件的N个词
58 规则推导：给给出的计算示范中推导计算规则
60 程序编写：完成有多个相互影响条件的程序编写
61 信息解压：还原一段被压缩的信息
62 字符矩阵：按多条件约束填充一个字符矩阵
63 机器操作：按指令操作一台有大量状态的机器
64 三维重建：根据多个方向信息重建三维物体
65 长文总结：从文本中提炼关键数据进行统计汇总
66 深度关系：根据文字描述理解物体的位置关系
67 交点计算：复杂函数的交点计算
68 平面折叠：分析平面折叠后的位置关系
70 目标穷举：穷举满足约束条件的所有组合
71 语义还原：从混乱的语序中还原有意义的原文
72 多轮猜谜：有限轮数，反复试探，找到答案
73 文字压缩：将指定文本压缩为指定格式
74 隐性约束：解题的关键在于跳出题面
75 多轮计算：有限轮数，使用指定操作达到目标值
76 多解诱导：在一个只有唯一解的问题上诱导模型输出多组解
77 知识遍历：需要遍历一个领域的所有知识，找到符合条件的值
78 真解探索：在一个受约束的有限解空间中大胆试探，找到真正唯一解
更新机制
- 新模型测试后，总榜实时更新
- 每月底做一次成绩归档