通常情况下，对自己的能力充满自信绝对是件好事，只要不至于自负。随着机器和软件发展的越来越智能，我们会想是否能让机器也变得充满自信。探索机器人对于自身能力的自我感知性，将有助于指导未来高级人工智能（ai）的构建。

加州大学伯克利分校在读博士生dylan hadfield-menell称，“过度自信的人工智能可能会导致很多问题”。以facebook的新闻推送算法为例，其目的是为了向用户推荐其想要阅读的内容，然而如果用户不经大脑地直接接收这些自动推送，最终将导致系统推送一些虚假的新闻消息。

对于hadfield-menell及其同事来说，解决方案是让ai寻求并接受人类的监督。“如果facebook有这样的觉悟，我们也就不会广受虚假消息的困扰了，”他说。

这种情况下，一个对自己较不自信的算法将更可能尊重一个用户的判断，而不是对自己“过于自信”，自顾自地将自己认为用户想要的内容都推送给用户。

“开关游戏”引发的思考

伯克利团队设计了一个称为“开关游戏”（off-switch game）的人机互动数学模型，用以探索机器对自己的“自信感知”。

在这个理论游戏中，一个具有“关闭”开关的机器被赋予一个任务。在执行任务过程中，人可以随时按下机器的“关闭”开关中断其任务，而机器人可以自由的选择“关闭”开关，从而使人类不能干扰其执行任务。

实验结果表明：对自己所做事情具有“高度自信”的机器，决不会让人把它关掉，因为它试图最大限度将时间花费在完成任务上。相比之下，“不太自信”的机器总是会让人把它关掉，即使它所执行的任务没有任何差错。

当然，hadfield-menell也并不认为我们应该让ai“太不自信”。比如说，一辆自主驾驶汽车的任务是载孩子上学，此时就不能让小孩子获得控制权。在这种情况下，ai就应该相信自己的能力高于孩子，无论情况如何，都应该拒绝孩子随意关掉的指令。

hadfield-menell说，最安全的机器人将在这两个极端之间取得平衡。

道德框架至关重要

牛津大学计算机系教授marta kwiatkowska说，“那些拒绝让人关掉的机器可能听起来会很难以置信，但是对于制造与人一起工作的机器人的制造商来说，这样的考虑是至关重要的”。

诸如自动驾驶汽车和消防机器人之类的智能机器，在特殊情况下将被要求做出有关人身安全的决策，所以必须尽早制定并安装有关特殊情况下决策的机器人“伦理框架”（ethical framework），这是至关重要的。

hadfield-menell称，“开关游戏”只是探索机器人自我感知的一个开始。他还计划探索机器人如何在获取更多有关自己能力的信息后做出决策改变，比如说，一个煮咖啡智的能机器人有可能意识到自己的任务在早上是更重要的。

最终，hadfield-menell希望其研究能够引领ai变得更有可预测性，并使其决策更易于让人理解。“当把一个智能机器放入现实世界中，对于它究竟在做什么，我们当然想做到心里有数”，他说。

以上是网络信息转载，信息真实性自行斟酌。