“张三吃食堂”让人工智能秒变“智障”,骗不了你,却让AI上当

文汇网 2019-04-11 20:06:22 显示图片

人工智能(AI)是当下最酷的技术。但有些时候,AI的理解力,却让人哭笑不得——

当你听到“小张吃食堂”这句话,你会不会觉得这位张先生胃口太好,一口要把食堂吞进肚子?

但AI还真是这么理解的。是不是有点人工智障的意思?

这绝对不是段子。事实上,这出自一个非常严肃的场合。

这两天,上海举办了一场高水平的人工智能培训班,邀请权威专家给各区、委办局的几十名局级干部,讲授人工智能发展态势。

专家既谈AI的光明前景和巨大潜力,也不回避问题。科技部高新司的梅建平在讲课时就现场拿AI开涮。他只用了一张PPT,就充分暴露了AI在自然语言理解上的的“智商盲区”。

PPT上,列出了5句日常对话。可对AI来说,难度可能达到了“汉语十级”。

image.png


身怀人类智能的我,审了一下题。看起来,这些句子的确有陷阱。那AI真的会掉进坑里么?

好奇的我选了6个主流的翻译AI做了测试。

image.png

来看看这些大厂出品AI的表现吧!


-------------------

【第一题】

“张三吃食堂,李四吃面条。”

【结果】

0对6错

-------------------

我截了屏,大家一起体会下。

有5个AI认为,“张三把食堂吃了”。就像腾讯翻译君这样:

image.png

“必应词典”似乎意识到食堂不能吃,就机智地把动词“吃(eat)”给省了。于是,“张三“干脆自己变成了”食堂”。

image.png

不过我还有一个发现:某些情况下,AI似乎会变得聪明一些——

当我把原文改为“小张吃食堂”,腾讯翻译君立即给出了正解。但其他AI依然如故。

image.png


-------------------

【第二题】

“王五吃大碗。”

【结果】

0对6错

-------------------

这题和上一题挺像的,所以全军覆没也正常。

我懒得截屏了。反正所有AI都认为“王五把一只大碗给吃了”,交出来的译文几乎一样:

“Wang Wu eats a big bowl.”


-------------------

【第三题】

“谁也赢不了。”

【结果】

0对6错

-------------------

这句话真的体现了汉语之精妙。在多数情况下,这句话应该被理解为“赢不了任何一个谁”,也就是说,“实力太弱、碰到谁都输”。

但所有AI都理解岔了,全部按照“没人可以成为赢家”来理解和翻译。

有意思的是,百度、有道、搜狗,这三位在自己的译文下面,都给出了一个例句:

“弗格森爵士赛后承认 如果这么踢球的话 那么他们谁也赢不了。”

而且,AI们引用的翻译完全正确:

image.png

显然,强调深度学习的AI,自己并没有好好学习。


-------------------

【第四题】

“能穿多少穿多少。”

【结果】

2对4错

-------------------

终于有AI答对了。

这题让我想起,有一种冷,叫做“妈妈觉得你冷”。而这题中的语言,就是妈妈给你的唠叨。

有道、搜狗,看起来很懂这种“妈妈冷”,都将这句话理解成了”尽量穿多点“。

image.png


可是,其他4个AI似乎只能感觉到妈妈冷冰冰地问:“你能穿多少衣服?”

显然是情商欠费,智商不足。

image.png


-------------------

【第五题】

“欢迎新老师生前来就餐。”

【结果】

3对3错

-------------------

这是AI表现最好的一题。

这题的测试,我其实蛮期待的,很想知道AI会不会弄错断句,把“新老师生-前来就餐”,看成“新老师-生前-来就餐”。

实际上,遇到这样的横幅,哪怕是人,也不排除有时候脑子转不过弯来。何况是AI。

在上一题中表现出色的搜狗翻译,这次老老实实地上了当。

看它的译文(似乎还沉浸在清明的气氛中):“欢迎新老师在去世之前吃饭。”

image.png

同样在上一题拿分的有道,这回却不尽如人意。它和Google翻译的表现差不多。

乍一看,它们似乎没那么在乎“生死”。但从译文里只提到了“老师”、忘记了“学生”,可以看出来,它们肯定没有完全理解到位。

image.png

腾讯、百度、必应这次的理解对了。当然,好学生多了,笑料就少了。

image.png


五题中文理解考完了,还有一道“看图说话”,也就是上面那张PPT右下角的图片:

image.png

图片里,你能看出来有一条斑点狗吗?

相信你没问题吧。因为人眼应付这幅图片还不算太难。可是科技部的专家表示,对AI而言,这并不简单。

总体上,自然语言理解和机器视觉这两个AI技术领域,虽然现在各大公司竞相投入、技术进步飞快,但显然还有很大的发展空间。


-------------------

【总评】

6位AI 面对5题

满分30分

最终它们拿了5分

准确率17%

-------------------

无论如何,AI是目前世界各国竞相发展的技术,也正开始深刻影响生活。我们要做的,是了解AI,用好AI,知其不足,扬长避短。

我在这场高水平培训班上,还拍到了另一张PPT,正好可以用来总结。

image.png

你为AI时代做好准备了吗?

作者:张懿

编辑:孙华

责任编辑:戎兵 唐玮婕

*文汇独家稿件,转载请注明出处。