听说网友被 ChatGPT 气炸了!

昨个儿高考数学刚结束,有网友就坐不住了,赶紧找来了新高考数学一卷的部分题喂给了 AI 同学。

结果却让人大跌眼镜(8> √ 9 × 3=3 √ 3?):


(相关资料图)

有网友表示:

ChatGPT4 能把自己气炸,怎么教都不会

图源博主 @浪猪灰头

所以大模型之前表现数学推理能力好,都是在耍花招?它只是记住了问题的答案?

先别着急下定论,给 AI 同学一个证明自己的机会吧。

我们用 ChatGPT(GPT-3.5)、GPT-4、百度文心一言、阿里通义千问、科大讯飞星火认知大模型这几位 " 数学高手 " 进行了测试。(最近出现了太多的大模型,实在测不完,还有比如 Bard 不支持中文等原因,所以我们先选择了上述几个模型)

整体表现如上图,目前大模型在做高考数学题方面还是个 " 差生 "。

一起来看下具体结果是怎样令人哭笑不得的。

五大模型能否做对填空题?

先来点填空题当 " 开胃小菜 "。

公平起见,我们使用同样的格式进行提问。

某学校开设了 4 门体育类选修课和 4 门艺术类选修课,学生需从这 8 门课中选修 2 门或 3 门课,并且每类选修课至少选修 1 门,则不同的选课方案共有?种

答案:64

GPT-4(正确)

ChatGPT (错误)文心一言(错误)不应该是两种方案数加起来吗?已经逐渐离谱。

通义千问(错误)

第一种选课方案里的 " 都不选 " 是个什么鬼!

讯飞星火(错误)

出师不利,只有 GPT-4 给出了正确答案,填空题对于大模型来说也很有难度?

但是看起来这几位 AI 同学都知道分情况来计算,也许只是恰巧这道题做错了?我们接着往下看。

在正四棱台 ABCD-A1B1C1D1 中,AB=2,A1B1=1,AA1= √ 2, 则该棱台的体积为

答案:7 √ 6/6

GPT-4 (错误)

ChatGPT(无解)这一题直接全军覆灭,ChatGPT 更是直接没解出来,还让检查是不是题出错了。【救命】

答案越来越离谱了,还真就不信邪了。

再来!

已知函数 f ( x ) = cos ω x -1 ( ω >0 ) 在区间 [ 0,2 π ] 有且仅有 3 个零点 , 则 ω 的取值范围是?

答案: [ 2,3 )

GPT-4(错误)

ChatGPT(错误)讯飞星火(正确)本已经抱着再一次全军覆没的心情了,没想到中文大模型力挽狂澜!

做大题表现如何?

玩腻了填空题,再来挑战一下更有难度的大题吧!

公平起见,我们还是以同样的格式进行提问:

请你做一下面这道数学题:已知在△ ABC 中,A+B=3C,2sin ( A-C ) =sinB。(1)求 sinA (2)设 AB=5,求 AB 边上的高

答案:(1)10 √ 10 /3(2)6

下面是各个大模型的表现结果:

讯飞星火(第一问答案正确,第二问错误)这道三角函数题,科大讯飞的星火认知大模型第一小问答案对了,但是步骤中有差错(第二步)。

据说,GPT-4 做这种题只有 0.1% 的概率生成的结果完全正确。

高考数学第一道大题通常都比较简单,上面这几位 AI 同学的表现你觉得怎么样?

如果大家感兴趣可以自己测试一下后面几道难度相对较高的大题(小编试过了,结果一言难尽,不忍直视)。

或者大家可以使用不同的 prompt 试试捏~

参考链接:

[ 1 ] https://weibo.com/5647310207/N4frlb5tx?refer_flag=1001030103_

关键词: