机器人狂欢、Watson vs 厄尔尼诺、后浪可畏:2020WAIC黑客松亮点纷呈

2020-07-08 17:48


2020年7月8日-11日,由张江集团、优必选科技、软银集团旗下软银机器人、Watson Build 创新中心、机器之心联合组织的世界人工智能大会黑客松,首次以远程和小规模线下结合的方式举办,作为大会期间唯一一场黑客松大赛,以别开生面的竞赛形式和赛题吸引了来自全球顶级开发者同台竞技。经过三天不舍昼夜激烈的角逐,三大赛道优胜团队终于出炉并在WAIC开发者日主单元上进行了颁奖,比赛共计16支团队收获佳绩,最小年龄获奖者为高一学生。

开发者日主单元上,软银机器人中国总经理邱靓为一等奖和特等奖选手颁奖,软银机器人中国销售总监符裔给未来英才奖、二三等奖颁奖。远在日本的软银机器人首席商务官Sakata Dai不能抵达现场,但是也给获奖选手送来了祝福。


IBM 数字化平台和开发者生态总监倪鑫、六七八九集团COO,张江跨国企业联合孵化平台总经理吴家康为 IBM Watson Build CodeForCode 赛道获奖团队颁发了奖励。


优必选科技CTO熊友军,也在深圳给Walker赛道获奖选手送上了祝福。


优必选 Walker 首次仿真挑战赛,双足机器人

基于“让人形机器人走进千家万户”这一憧憬,2015年,优必选正式立项开始尝试研发大型人形机器人。第三代Walker双足机器人身高1.45米,拥有一双高自由度长腿,以及力觉、听觉、视觉和平衡等全方位感知系统,可以全向行走,上下楼梯,具备踢球、舞蹈等多种互动云运动能力,以及诸多家庭必备技能,如端茶倒水、开门关灯、弹琴作画等。

 图注:赛题介绍。

为了推进大型仿人机器人落地应用和研发,优必选首次在仿真平台中对外开放出Walker模型及相关数据,以智慧家庭为主题,设置 6 大生活常见场景,分为 4 个基本任务场景和 2 个挑战任务场景,共计 15 项任务,考察运动控制、导航及视觉等多项人工智能及机器人技术。

具体而言,在定位导航上,SLAM是现在机器人多用的视觉导航技术,Walker更多依赖视觉技术和IMU。机器视觉逐渐成熟,也为各类设备带来更丰富的应用功能,当然也包括机器人。

 注:Walker 的定位导航脉络。

注:Walker 的视觉脉络。

就运动控制而言,在国内,控制算法部分高校和企业做得不错,想要达到波士顿动力水平还需要克服很多挑战。Walker 自由度虽然高,但也对控制提出了非常高的要求。比如,行走过程中只有一只脚触地,如何解决平衡就是一个大问题。

注:Walker的控制脉络

4 个基本任务场景分别为开关灯、拿饮料罐、推平板车及开冰箱。2 个挑战任务场景为上楼梯与搬箱。

基本任务看似简单,实则不然。越简单的事情,越靠近本能,数据反而最难提取并总结出规律。比如,第一个基本任务开灯案例中,至少要涉及熟悉双臂运动学、操作空间规划、7个自由度的逆解、手指控制模式等技术点,黑客松选手可以示教的方式,赋予机器人这个能力。

选手们主要先借助视觉感知灯在哪里,然后执行任务。有意思的是,在展示Demo 中,机器人似乎都成了左撇子,而且打开方式各种各样。

有的机器人是用手指点开开关,有的干脆用手掌打开;有的方案中,机器人开灯动作一气呵成、非常流畅 ;由于房间空间小,Walker 无法像工业机器人那样操作,有的方案容易导致无解情况出现。

注:第一个基本任务开灯,用手指点开开关需要控制力度,否则可能会损伤机器人手指。

第二个基本任务是拿取指定杯子。展示方案中,机器人定位导航走到桌子的过程,通常比较顺利和平滑。最有意思的是抓取杯子环节,有的方案很平稳地握住了杯子;有的方案虽然拿到了杯子,但是差点碰倒杯子。后者的症结主要在于,直接将拿杯子当做定位来做,而没有考虑涉及材质(比如是易拉罐还是纸盒?)的力控方案。

注:第二个任务,拿饮料罐,这里需要注意控制模式。

据优必选介绍,拿取饮料罐涉及的知识点包括特征识别、位姿估计、策略选择、控制模式、抓取位姿、可达性分析等等。尽管在仿真中,实现力控并不难,但在实践中,由于Walker的手并不算大(相对于其体型),仍然具有挑战。

而且,五指抓取,比两指抓取难度更大,因为系统会带来更多噪声。当然,机器视觉的发展,可以给机器人提供更多信息支持。

优必选副总裁、研究院副院长庞建新点评到,家庭场景的解决方案需要做好权衡,比如和速度、节能等要点相比,鲁棒性是不是更重要?这些都是需要思考的。

注:第三个基本任务,推平板车,关键在于抓握策略。

第三个基本任务是推平板车,这里涉及车把手特征、末端稳定、抓握策略等技术要点。其中,抓握策略很重要,到底抓握平板车推杆的哪些点,会直接影响机器人推车是否省力、甚至下一步任务的完成度。

展示过程中,我们发现有的团队的握姿方案虽然可以完成推车任务,但明显不能推车转弯;有的双手握住很紧,可以推车转弯,但步态又不太流畅。

除了抓握策略,推车过程中还需要注意浮动基座补偿,保持机器人末端相对稳定,否则就会出现边推边晃的情况,机器人就容易倒。由于推车过程会碰到一些障碍物,因此机器人的柔性控制也很重要。

注:非常漂亮的开冰箱方案。不过在去往冰箱的路径规划上走了S。

第四个基本任务是开冰箱,这也是几个基本任务中复杂度最高的。比如,开门过程其实是在划四分之一圆,如果做路径规划,很可能无解;开门如果不做一些力控,机器人和冰箱之中很可能会有一方倒下(多半是体重更轻的机器人)。

相较于前一个推平板车的基本任务,开冰箱最大的不同在于需要全身协同规划,这里涉及双臂、步态等运动的协调。

展示过程中,我们看到,有的方案路径规划很简单利落,但是,右手打开冰箱后,无法进一步将冰箱门拉得更开,最后干脆垂下右手,再用左手将冰箱门推开。这个方案的弊端在于,现实中,冰箱门很有可能会弹回来,机器人最后还是拿不了里面的东西。

有的机器人边打开冰箱,边往后退,非常完美地完成了任务。不过,在路径规划去往冰箱的路上,机器人又走出了S形。

人类对双足机器人的痴迷由来已久,双足的一个很大优势在于环境适应能力强,可以越开障碍。与所有前面四项基本任务不同,作为挑战任务之一的上楼梯本质上属于跨越障碍,而不是操作问题。因此,需要参赛者自己设计步态规划,规划成功与否,取决于他们对双足机器人的理解程度。

:机器人上楼梯所涉及到知识点。


上楼梯看似简单,维系动态平衡其实很复杂。步态固然需要稳定(比如,考虑机器人对楼梯的冲击以及楼梯反作用力),也需要追求速度,快速上楼并保持步态稳定的方案虽然难度更大,但得分也更高。有的方案中,机器人花费20秒才登上六个台阶;有的方案,几乎一秒一个台阶,机器人完成整个过程仅花7秒。

注:这个方案中,机器人步态稳健,但是速度慢了点。


最后一个挑战项目是搬三十公斤箱子,这里同样也需要规划步态,还要自己设计平衡器,抓握箱子方式也讲究技巧。

注:机器人搬箱子所涉及到知识点。


展示中,有的机器人抓握箱子时,双臂抬得很高,走两步停一下,感觉不够稳定;有的机器人后退过程中,身子后倾,有往后倒的感觉。

注:展示方案中,机器人往后退时身体也跟着后倾。


值得一提的是,进入决赛的队伍全部来自高校,分别系南科大、哈工大、耶鲁、华中科大、港中文等高校的8支队伍,展示 demo完成度也很高。最终,耶鲁大学与密歇根州立大学组团的 The Walking Dead 获得冠军。华中科技大学和香港中文大学团队分获二、三名。


软银机器人 Pepper 再度来袭:后浪可畏

身高1.2米的 Pepper 外形拟人讨喜,动作流畅,交互自然,是由软银集团旗下的软银机器人公司推出的商用服务和教育机器人Pepper 还是一个可编程开发平台,开发者可以根据自己的想法以及 Pepper 提供的开放系统与工具对机器人进行二次开发,为不同场景定制应用。

人形机器人出现时间并不算长,相较于软件算法,其发展速度也并不算很快,到目前为止,能将 Pepper 优势发挥地淋漓尽致的完美商业解决方案,并不太多。本次黑客松上,软银机器人的开放性赛题要求参赛者基于 Pepper 机器人和安卓 SDK 开发出有趣、实用的机器人应用,用 Pepper 创造有价值的落地应用。

与优必选、IBM相比,本赛道最大亮点在于,来自浙江师范大学附属中学的四名高一学生摘得 “AI+机器人未来英才”奖,即将实现软银机器人中国三周带薪实习的愿望。

在参加本届黑客松之前,他们刚刚参加完南京软银机器人挑战赛并获得第三名好成绩。四名同学中,接触Pepper时间最长的近一年,最短的还不到半年,连佳圆是队里唯一的女生,也是第一次参加线下比赛,主要负责设计和策划的部分。

疫情期间,Pepper 走进了中国、意大利、澳大利亚、西班牙、日本等多个国家的多家医院,承担排队管理、辅助诊断、娱乐陪护、用药提醒等工作。受此启发,浙江师范大学附属中学团队针对疫情防控需求,就人脸识别(性别识别+口罩检测)、健康码识别和体温检测三个方面进行了开发。

注:浙江师范大学附属中学的PPT展示。

不过,最别出心裁的应用来自特等奖团队的“脑洞”。张江的企业——上海刻契网络科技有限公司根据数字孪生的概念,给Pepper建立了一个3D的虚拟影子,在操作虚拟影子的过程中,真实 Pepper也会完成一样的行为,犹如陪伴在侧的工程师机器人。在智能制造场景下,为替代缺乏与人类沟通的传统巡检机器人提供了一种思路。

开发过程中,软银中国技术团队给予团队很多建议和帮助,尽管一些成员也是第一次接触到Pepper,不过,作为特等奖奖励,他们终于可以将一台近二十万售价的Pepper抱回家。

注:上海刻契网络科技有限公司的PPT展示。

去年黑客松上,获奖开发者要么在商用服务场景下,让Pepper提供更周到酒店和公共服务;要么将目光投向英语早教市场,让Pepper 为 4 到 12 岁小孩提供私人外教服务。本届黑客松的更多获奖方案,也分享了类似的灵感。

一等奖获得者广东东逸湾科技有限公司的团队在类似思路基础上,进一步扩展,打造出“企业定制化智能小秘书”。

由于公司主营业务是做展厅引流,所以,团队第一时间想到了要结合Pepper人形的特点和语音导览的功能,一开始的选题只是想做前台接待、会议暖场的机器人,但在和软银公司沟通之后,他们发现这种类型的机器人其实大家都能去实现,所以想挖掘出更深层次的商业价值,进而触发办公场景智能秘书的想法。

在他们的设计方案中,Pepper 秘书可以负责迎来送往、对商业秘密更能守口如瓶、信息传达比人类秘书更准确并可随时播报最新信息、甚至可以像法庭书记员一样,随时记录会议,等等。

图注:一等奖获得者的企业智能秘书的展示。

作为初次参赛的优胜团队,虽然先前有一定的安卓开发经验,但在短时间内能够把项目的主要功能实现整合,依然让东逸湾成员感觉很有成就感。当然,获奖后有机会去日本软银参观,也让团队很兴奋。

获得第二名的工博士科技股份有限公司,此次展示的是故事汇机器人,除了讲故事之外,Pepper还可通过语音\触屏交互实现故事分叉功能。

而第三名获奖者上海电机学院通过让机器人学会玩石头剪刀布,更灵活地与商城客户交流并派发优惠券的设计方案,与上届黑客松的类似获奖设计异曲同工。

在总结环节,鉴于所有参赛者都没有在自己的解决方案中提及具体数字,软银机器人公司给参赛者提了一个建议,诸如机会概率多大、可以降本多少之类的具体数字在项目方案中非常重要,比如,可以让那些不太具备行业背景的投资人、客户对你的方案印象深刻。另外,多从用户角度出发(而不是纯粹考虑自身技术),可能会出现更接地气的微创新。


IBM call for code :放眼地球,心存高远

IBM Watson Build 创新中心 “用技术改变世界 Call For Code 全球挑战赛”同样竞争激烈,参赛者的视野也从聚焦具体产业,上升到地球环境。

随着全球人口的不断增长, 地球所承担的资源压力也越来越重。研究显示,到 2100 年左右,全球气温可能会升高 3-5 摄氏度。大量研究证实,气候在不断变化,海平面迅速上升,极端天气事件在世界范围内不断上演。

与此同时,人们与混沌系统、蝴蝶效应的较量能力也在进化。比如,借助机器学习算法,人们越来越善于预测百公里厚、并且一直在移动的大气层运动,并根据最新数据不断调校模型算法。最明显的例子,就是人们对飓风马修的运动轨迹越来越了解。现在,提前5天的预测,就像十年前提前24小时预测一样准确。

此,IBM Watson Build 创新中心以「应对气候变化」为主题,设置了「水资源可持续性」、「能源可持续性」、「抗灾能力」三大方向。从获奖情况来看,大家仍然遵循着既有的两大思路来设计自身方案:利用“对话”API搭建对话机器人,从事沟通与协调;或者,注重“发现”,让人工智能加速从海量非结构数据中提取信息。

冠军团队名叫“喵喵喵”,阵容强大,成员包括字节跳动设计师、北航博士研究生、海归程序员和Airbnb工程师。他们利用机器学习技术结合卫星数据来预测厄尔尼诺现象,通过观察海平面高度的异常情况并使用ConvLSTM2D 神经网络加以识别和预测来更好的帮助人类抵抗自然灾害。

注:冠军团队还有自己的React App,https://rootial.github.io/

这一解决方案不仅让人想起几年前,IBM收购了 Weather Company。作为一家能够从 4000 万手机中收集超过每秒 4GB 信息量, 以及147000 个天气监测站,50000 个航班,和数不清的能够反馈天气数据的智能汽车作为信息收集源的公司。它掌握的天气数据就是对未来天气进行预测分析的最好素材。

天气数据几乎影响着各行各业,IBM 可以向各个产业出售天气数据和业务解决方案,而Watson则是这一构想的核心所在:

如果能预测很多事情,能够预测地更准确,我们就能采取行动。即便是今天,我们能够提前3,到4周预测天气,我们可以理解严寒天气延长意味着什么,天气转暖和干旱又意味着什么,所有这些,都有助于水资源、农业生产甚至更多行业的生产和生活。

第二名花落“大气科学小分队”。他们试图构建一个气候影响评级(CIR)系统,该CIR系统的核心功能为扫描产品barcode(和食品标签类似),能够实时在数据库中调用产品评级数据,通过预设算法给出产品气候评级结果,让消费者意识到制造过程中的能源成本和由此产生的二氧化碳(以及诸如水之类的其他消耗品)。

本团队在此次比赛中完成了基础框架的建立和实现,并对系统完善升级提出了拓展框架的构想。基础框架部分包括CIR评级标签设计,评级指标的算法建立,通过API服务器、cloudant等服务调用和存储数据,评级结果可视化的实现。拓展框架部分除了核心算法外,还包括制造商和销售商上载数据平台的搭建,政府部门基于CIR评级结果的补贴政策的制定等。

如果说前两名获奖团队侧重 Watson “发现”技能,那么,第三名获奖者将重心放在 “对话”。这也是非常常见的构建思路,以往IBM Watson 挑战赛中也经常看到这类方案,比如虚拟旅行助理、导医机器人等。

第三名是章明为代表的“We Help”团队,打造了语音无线警告系统。他们公司本来就是做音视频交互协议,因此,他们想要结合IBM的人工智能技术,去扩大它的语音应用场景。

图注:WeHelp的方案展示。

比如,当前端设备监听到关键声音(如救命,今后还可以更多,玻璃碎,大哭,枪声等)后,可以直接接通应急救援频道,可以是多方并发接通,让更多的人收到报警来进行救援和协调。团队希望将 WeHelp的适用范围扩大到包括老人、小孩的求救,还包括公安、应急等面向社会安全场景。

章明认为,将来单一技术很难获得大量应用,混合技术一定是方向,WeHelp 希望更好的支持混合应用,在紧急救援中结合现场的声音求救,物联探测,AI探测等获得综合感知和救援能力,并利用WeHelp的语音和视频传输构建人和物联和智能桥梁。