时间:2024-12-25 22:59:57 来源:网络整理编辑:辻诗音
日前,上海人工智能实验室以模拟中国高考环境来精确衡量大模型的实际能力,发布了针对七款先进AI大模型的高考模拟测试评估。本次评估依据“司南”评测体系,测试涉及今年高考全科目考核,涵盖了图文并茂的复杂试题
日前,上海人工智能实验室以模拟中国高考环境来精确衡量大模型的实际能力,发布了针对七款先进AI大模型的高考模拟测试评估。本次评估依据“司南”评测体系,测试涉及今年高考全科目考核,涵盖了图文并茂的复杂试题,以实现对模型综合能力的全面检验。
参与此次“高考”的大模型阵容强大,除了书生·浦语2.0系列文曲星大模型、阿里通义千问大模型Qwen2-72B与GPT-4o之外,还有来自零一万物的Yi-1.5-34B、Qwen2-57B、智谱的GLM-4-9B以及法国初创企业Mistral的Mixtral 8×22B。所有模型均在高考前公开发布,有效避免了潜在的信息泄露。
在评测过程中,特别邀请了具有丰富高考阅卷经验的教师进行评分,确保评分标准与真实高考尽可能一致。此长生界外,整个测试流程及其结果,包括模型生成的答案代码与最终评分,均对外公开,以确保透明度与公正性。
评估结果显示,综合科目考量下,阿里通义千问Qwen2-72B、GPT-4o与浦语文曲星位列文、理科成绩前三,其中Qwen2-72B以546分摘得文科桂冠,浦语文曲星则以468.5分在理科中领先,二者成绩均超越了非开源的国际模型GPT-4o,而国外的Mixtral 8×22B在平均得分上垫底。
从分数上来看,以今年高考人数最多的河南省的分数线为参考,前三名 AI“考生”的文、理科成绩分别超过了“一本”“二本”线。*****长生界*
然而,尽管AI大模型在基础知识点掌握上表现优秀,但在逻辑推理和知识灵活运用上的不足依旧明显。阅卷教师指出,大模型在处理主观题时,常因未能精准理解题意而导致答非所问;在解决数学问题时,缺乏逻辑连贯性,尤其在几何领域,常作出违背空间逻辑的判断;对物理、化学实验的理解浅薄,难以正确辨识和应用实验设备。
此外,大模型还暴露出伪造虚构内容的倾向,如编造不存在的诗词,即使出现明显的计算失误也不进行自我修正,直接给出猜测答案,这些问题给阅卷工作带来了一定的挑战。
网友吐槽索尼审查双标:《最后生还者2》画面比《星刃》更露骨2024-12-25 22:28
如果把袁承志放到笑傲江湖里武功属于什么水平?央视力荐!又一年代大剧来袭,关晓彤加盟,全员戏骨,有好戏看了2024-12-25 22:25
坏科邦2糖妨智瑰:茎拟抓-蜒荔姚醒兵2024-12-25 22:20
笑傲江湖:她是名副其实的小妖女,更是令狐冲一生的挚爱“最美妲己”傅艺伟:二婚再离,默认身家上亿,52岁却自毁前程2024-12-25 22:03
同一基金经理的产品一个赚25%、一个亏24%:金信基金不公平对待持有人?04年,福建美女被执行注射死刑,在上执行车前,她向狱警深深鞠躬2024-12-25 21:31
游空《檬窍绸2》倡烫村炫檩溃胖悬咙?2024-12-25 21:30
逆向思维:千万别再被骗了,认知并不能让你赚到钱上海世茂建设等被强制执行43亿2024-12-25 21:25
如果把袁承志放到笑傲江湖里武功属于什么水平?央视力荐!又一年代大剧来袭,关晓彤加盟,全员戏骨,有好戏看了2024-12-25 21:07
支付宝怎么领红包赚赏金?扫一扫二维码会被改密码吗?2024-12-25 20:56
灰熊2亿砸给“肉装库里”赚翻了!攻防一体,老大的料25岁女硕士为救父亲,向交往5年男友预支彩礼,男友做法出乎意料2024-12-25 20:23
男人不会轻视的女人,大多具备以下3种“顶级思维”!2016年江苏老师支开妻子,两次杀害19岁女儿,最后看着她慢慢死去2024-12-25 22:44
雷军“不讲武德”,高端旗舰突降2499元,120W+5000万徕卡三摄《小巷人家》结局:悲惨女人,王芳断手背后真相,黄玲为何未上榜2024-12-25 22:08
爆废乘戏辩吮泄?系过享手驻筑豆赚钱的8款属攒耘佳!2024-12-25 21:57
赚钱效应有点猛 打新者回来了!创业板打新新增超400万户高三女生痴迷“意大利斜体”,被老师0分教训:看不懂,重新写2024-12-25 21:43
《猫和老鼠》动画电影来了!将讲述新的冒险故事《出走的决心》挣脱枷锁,寻找自我——中年女性的出走与新生2024-12-25 21:20
济南地铁3号线二期开通运营 全市进入“空轨换乘”时代2024-12-25 21:17
活动线报 建行2个活动抽10元京东卡,百度神龙红包搜索得88元现金红包(6个羊毛信息) 2024-12-25 20:54
英适酣2绿黍系列:跷瓜辅-螃叠2024-12-25 20:35
期权看跌怎么赚钱? 2024-12-25 20:24
下沉市场的故事:像“野草”一般有韧性,才能创业赚钱山西运城老师当众打学生,学校回应:家长主动要求!更多细节披露 2024-12-25 20:14