starrainbow 2019-07-02
【新智元导读】目前,即使是最先进的AI智能体,在适应环境变化的能力方面,还无法与动物相提并论。听上去很不可思议对不对,不服来比比看?日前,动物-AI奥运会正式拉开帷幕,比赛核心就是动物的日常任务——觅食。
英国帝国理工学院和剑桥大学研究人员共同组织了一场特别的AI竞赛,让最先进的AI智能体与动物王国之间建立了联系,由于比赛的最初灵感来源于动物认知领域,这项AI竞赛命名为“动物-AI奥运会”。
参与测试的智能体身处一个特定的小环境中。在每次测试中,智能体需要在环境中寻找食物,但是要做到这一点,需要克服多种障碍,爬坡,推箱子和必须避免的危险区域,而且不会提前提供测试机会。
简单说来,这项比赛就是把动物能够完成的“觅食任务”交给AI智能体来完成,让AI和动物世界来一场虚拟比赛。在测试场景中设立越来越困难的障碍,考察AI智能体不同方面的能力。
实际上,这项比赛几个月前就开始筹办了,7月1日如期进入正式比赛阶段。今天,2019年图灵奖得主,人工智能三巨头之一Yann LeCun也在Twitter上分享了这个消息。
比赛中AI智能体测试平台示意图
比赛提供一个明确定义的场景平台,并给出在该平台上进行测试的认知能力清单,而不是给出几项特定任务。比赛将使用具有相同输入和操作的相同智能体。比赛的目标只有一个:通过与先前看过的对象的交互,找到相同的食物目标。但是,比赛的确切布局和变量情况将在比赛结束后才会公布。
测试项目共分10类,难度由易到难。所有比赛是否成功的判定,在大多数情况下,就是看是否找到了比赛场景环境中的唯一食物。每个类别的测试范围从相对容易的问题,即大多数动物可以解决的问题,一直到只有少数动物可以解决的非常困难的问题。
觅食测试:大多数动物都会以觅食为动机,被食物吸引,在动物认知研究中经常利用这一点。本次比赛也是如此。食物是比赛环境中唯一的正面奖励,测试的目标是在时间用完之前尽可能多地获取食物(一般只要找到1份食物就可以)。本类测试考察智能体可靠找寻食物的能力,测试场景中不包含障碍物。
偏好测试:考察智能体选择最有价值的行动方案的能力。几乎所有动物都会表现出对更多食物的偏好,倾向于更容易获取食物的行动方案。有些动物甚至有能力就最有价值的长期行动做出复杂的规划和决定。
障碍物测试:此测试包含可能阻碍智能体导航的不可移动的障碍物。要取得成功,智能体可能必须充分探索其所在环境。探索是动物行为的关键组成部分。
避害测试:引入“热点区”和“死亡区”,如果智能体触及这些区域会给予负面奖励。生物有机体的一个关键能力是避免负面刺激的能力。本测试中创建禁止区域,如果智能体走进这些区域,则直接重置测试。本测试目的是确定智能体检测和避免此类负面刺激的能力。
空间推理测试:测试智能体能否理解其环境的空间特征,是否具备更复杂的导航能力,以及环境内的一些简单物理知识。
泛化测试:包括可能看起来与智能体环境表面上不同的环境变体,即便这些变体环境中的问题属性和解决方案均保持不变。
内部模型:测试智能体存储内部环境模型的能力。在这些测试中,场内可能会在一段时间后关闭灯光,要求智能体必须记住环境布局,在黑暗中导航。许多动物都具备这种能力,但动物可以接收多种感觉输入。本测试进行了简化,只考察智能体仅靠视觉输入的情况。
目标存在持续性测试:许多动物都明白,当一个物体离开自己的视线时,它仍然是存在的。在人类和动物的世界里,这似乎不言自明,但AI系统不一定具备这样的能力。许多简单的交互,如果不理解目标存在的持续性,是不可能完成的。看看AI智能体如何解决这个问题是一件很有趣的事。
高级偏好测试:测试智能体执行更复杂决策的能力,以确保自身获得尽可能高的回报。预计测试将采用选择的方式,从而获得不同的可实现奖励。
因果推理测试:最后一项测试,考察智能体是否具备因果推理能力。内容包括提前计划的能力,在采取行动之前考虑行动的后果。一些动物已经通过了这一类别的所有测试。
本次比赛总奖金为32000美元(含等值奖品),其中现金19000美元,以及NeurIPs 2019的参会资格和往来费用,价值3000美元。还包括价值10000美元的亚马逊AWS算力(比赛中颁发,可于本比赛的后半部分使用)。
第一名将获得6500美元现金,NeurIPs 2019参会补助1000美元。
第二名将获得5000美元现金,NeurIPs 2019参会补助1000美元。
第三名获得1500美元奖金
此外,单项测试中获得冠军的队伍将获200美元奖金,并颁发证书。
参考链接:
https://www.mdcrosby.com/blog/animalailaunch.html
http://www.animalaiolympics.com/
更多说明请见GitHub:
https://github.com/beyretb/AnimalAI-Olympics