ChatGPT很火,我也注册了,最近正在测试这个用法,看看对我有多大用处。
对我来说,我希望ChatGPT能有以下能力
1、能做题
2、能写文章、论文、研究计划书等
3、能证明或辩论
4、能有法律咨询功能和法律建议参考
先看看做题怎么样。
刚用到ChatGPT,我还寒暄了几句:
ok,看你这么热情,我就不客气了,先来几道历史题吧。
嗯,ChatGPT应该是不理解丕平三世是谁,毕竟这个是法语翻译成中文的,英语的话说皮埃尔三世倒是没有错。我继续提问。
这道题是曾经早大一般考试出的一道难题,历史上并没有任何记载,只能推断,当时答案给了四个选项:1,意大利面 2,牛肉 3,鹿肉 4,鸭锅。
这里面首先肯定排除1,意大利面。丕平三世的时间是714年-768年9月24日,那时候还是东罗马帝国时代,没有意大利这个说法。意大利面应该是16世纪番茄引入以后才出现的。鸭锅那个时候应该也没有。牛肉和鹿肉很难选,不过查理大帝历史上非常喜欢吃牛肉,他父亲据说和他一样。鹿肉据说很难吃。
我再添加选项
ChatGPT给了出乎意料的答案,是不是正确我也不知道,只能说存疑。
再问问其他的问题吧。
这也是一道争议题,日本部分历史教科书里确实有世界三大美女是:埃及艳后、杨贵妃、小野小町的说法。但这个说法有很多争议,并不是主流观点。ChatGPT这么说没有啥问题。
我再追问:
嗯,这个反驳有理有据。我也认同。再问问别的吧。
这个是标准答案,看来这种历史问题对ChatGPT来说非常轻松,毕竟我用谷歌搜也都能搜到。只是ChatGPT还有分析的内容,这点来说ChatGPT做的很不错。
再看看数学怎么样,这才是重点。先来一道简单的题吧。
ChatGPT回答框里无法显示公式,我需要用编辑器才能显示:如下
直接拷贝的时候变成竖行了,但不影响我的问题:tan1°" role="presentation">tan1°tan1°是有理数么?
回答的是没有问题,但我的意思是证明,而不是定义。所以我又追问的一句:
ChatGPT回答:
----
一天之后,我有问了同样的问题(其实是想正确的截图),但这次回答就有区别了:
感觉这个比之前的更简单明了一些,ChatGPT确实具有学习功能。
再试试别的题。
ChatGPT回答:
这是一道1935年东大理科的一道题,感觉做的没啥问题。
继续出题。这是2018年名古屋大学一般考试的一道文科数学的第二道题。三连小问:
好像也没啥问题呢,ChatGPT果然很强大。
就在我赞叹ChatGPT的强大的时候,随手试了一道小学题,却发生了意外。
这是去年开成中学入学考试的一道题:
这、这明显不对呀!!任何一个数学老师都不会让学生真把数字都加起来算,肯定是:
这5个数都是1-7构成,所以余数都应该是1,最终结果应该是1+1+1+1+1=5,余数是5才对呀。
理论上ChatGPT不应该这么简单的题算不出来,猜想应该是理解能力的问题。
我又试了一道题。东大TMI大学院曾经考过的一道概率题。
ChatGPT的回答:
大哥!!我是想让你用概率算这道题,没让你直接编个程序跑十万次给我概率。而且再往下回答的时候ChatGPT就中断了,不知道是不是内容太多无法显示,还是机能限制只能回答到这里。
我有重新再更新了一下,这次换了个方式回答:
这次又是没跑完,只回答到这个地方就没有了,不过大概的流程是清晰的。
看来重要的是让ChatGPT理解题的意思才行。
这道题倒是理解的没问题。
2018年高考全国卷理科的第12道题,这是一道选择题。
ChatGPT的回答:
事实上这道题就没有2这个选项。
我开始猜想是不是ChatGPT对中文的理解有一定的困难。尤其是对一些数学的描述。
我又试了一道前年比较有名的题,这道题在去年东大TMI大学院考试里也出现了。
ChatGPT回答:
这个错的都无语了,不知道该怎么说。
我改成用日语提问,想试试是不是语言的问题。
ChatGPT回答:
这个式子是对的,答案反了呀,应该是p=0.01的情况下是接近100%,p=1的情况下是87.7%才对呀。看了看代入的内容,明显,ChatGPT没判断出题目中的这个P后面有一个%号,所以式子列对了,但答案反了。
不过很明显,ChatGPT对日语的理解精度高于中文精度。不过肯定没法代替老师。
下次我再测试测试ChatGPT能不能写日语的论文和研究计划书。