一张贴纸或可迷惑自动驾驶系统

资讯 5年前

639

近日由北京航空航天大学、悉尼大学和剑桥大学的一项新研究表明，一张纸便可以“迷惑”AI自动驾驶系统，将一张用打印机打印出来的涂鸦贴画贴在路牌上就可以导致AI自动驾驶系统分类错误。

自动驾驶的安全性一直以来受到各方的关注。近日由北京航空航天大学、悉尼大学和剑桥大学的一项新研究表明，一张纸便可以“迷惑”AI自动驾驶系统，将一张用打印机打印出来的涂鸦贴画贴在路牌上就可以导致AI自动驾驶系统分类错误。目前该论文已在全球人工智能顶级会议AAAI 2019上发表。

在实验中，研究人员将生成的涂鸦贴画贴在北航校园中标为“限速20km／h”的真实路牌上后，AI自动驾驶系统完全被误分类，将其识别为“No Entry”（禁行）。该涂鸦贴画在论文中被称为“对抗补丁”，正是这块补丁“欺骗”了AI自动驾驶系统，让系统将该路牌误分类。

经实验证实，用该方法生成的对抗补丁具有稳定的攻击效果，将其贴在路牌上后，不会影响人类对于路牌语义信息的认知，且由于场景语义相关性人类也不会感觉到违和。但是，该对抗补丁对于AI自动驾驶系统则是毁灭性的。例如，这种攻击可能被恶意地用来攻击自动驾驶系统，入侵者只要将一小片贴画贴在路牌上，当自动驾驶汽车驶过时就可能会造成系统的致命错误，导致车祸产生。