来源：人工智能学家

原作者：Marina Krakovsky

译者：独孤芳

概要：神经网络，这种机器学习系统，无需编程就能解决问题。

神经网络，这种机器学习系统，无需编程就能解决问题，它采用了一种新的数学方法，试图对其逻辑进行错误检查。

A new way to verify the accuracy of computerized neural networks treats their structures like the branches of a tree.

验证计算机神经网络准确性的新方法是把它们的结构当作树枝一样。

计算机智能许多惊人的功绩，从自动语言翻译到自动驾驶汽车，都基于神经网络，这种机器学习系统能以最少的人力指导想出该如何解决问题。但是，这使得神经网络的内部运作就像一个黑匣子，即使对于启动机器学习过程的工程师来说，也是不透明的。

斯坦福大学计算机科学博士后研究员Guy Katz解释说：“如果你研究研究神经网络，就会发现，其中没有人类能理解的逻辑流程，这与传统软件截然不同。

当在高安全性要求的应用中使用神经网络（如防止飞机碰撞）时，这种不透明度可能令人担忧。成千上万次成功运行的模拟，依然不能让我们信心满满，因为机率仅有百万分之一的系统故障可能就会造成灾难。

斯坦福大学计算机科学副教授克拉克·巴雷特（Clark Barrett）说：“我们知道有输入就会有输出，神经网络在这点上似乎表现优异，但是我们如何确保这些魔术盒会在每一组给定的情况下发挥作用呢？

为了回答这个问题，研究人员设计了一种新的工具，用数学方法来测试神经网络的有效性。这个工具利用了一个事实：简单说来，神经网络的可能配置的集合类似于树的分支。 树作为一个整体代表了网络可以解决问题的所有可能的方式。 但是，正如一棵树上不是每个分支都能结出果实，这棵树上代表每个可能性的分支，也不会都在实践被用到。

正如Katz所说，神经网络依靠一种名为激活函数的开关来解决问题。根据神经网络的输入，开关被正激活或者负激活。正激活网络将神经网络向下引至可能性树的一个特定分支，而负激活将神经网络引至不同的分支。这个激活过程通过网络中的每一层，一遍又一遍地重复。

问题在于这棵树的分支数量。 例如，每层具有50个节点的6层神经网络，具有300个节点，就产生了2300种可能性——这个数目甚至超过了宇宙中的原子数目。然而当前的错误检查工具依赖于在20世纪40年代发明的一种称为线性编程（LP）的技术。 LP技术必须延伸到可能性树中的每个分支——尽管大部分实际上可能是死枝，实际上从来都没有使用过。

计算机科学家与斯坦福大学航空航天助理教授Mykel Kochenderfer合作。他的团队一直在开发神经网络，用作下一代空中交通管制系统的一部分。

斯坦福研究人员一起创建了一个新的错误检查工具。 本质上，该工具探索出所有可能的网络配置，周期性地检测和修剪死枝，从而完全探索出树的一小部分，会节省大量时间。 当他们将工具应用到Kochenderfer的300节点网络时，它只需要评估220种情况，或者说是大约一百万种可能性。 巴雷特指出：“情况数量的大幅度减少后，计算机处理一百万种可能性，并不困难了。”

这个新工具的用户可以询问应用了这个神经网络的系统，有关其属性的具体问题。 例如，对于飞机碰撞系统，有这样一个疑问：如果有一个入侵者的飞机来从右边袭来，系统是否可能不提醒你？ 如果该工具返回一个“否”字（只有这种情况），系统可以保证对该属性是安全的。 研究人员能够证明这些属性中的几个，表明神经网络在各种情况下都按预期方式运行。 他们将在今年晚些时候在计算机辅助验证（CAV）国际会议上展示这项成品。

研究人员说，他们的工具叫做Reluplex，它的工作范围比现有的替代方案要大得多，但是它仍然无法测试有数百万个节点的网络。 而Reluplex本身仍然需要独立验证。 尽管如此，研究人员预期会有许多可能的用途。 例如，他们的工具可以帮助简化神经网络，并使网络对“对抗案例”或对神经网络的恶意愚弄的鲁棒性增强。 “你可以使用这个工具来证明一个网络的属性——但其实这个工具非常普遍，”Barrett说。

原文链接：https://engineering.stanford.edu/news/finally-peek-inside-black-box-machine-learning-systems?

utm_content=buffere7e19&utm_medium=social&utm_source=twitter.com&utm_campaign=buffer&nsukey=RZRVpG8oSvSVJNatuv9Uscreilr7PHssvoUEf%2ByU4qjq%2FE%2BzlssIYiN1dP7QgADKgxuBJ8s4ECVZy4xAtZdUdZVA0k2Lh9wCYS7v6f09NagzkcmbNX0lYohfDKO4F8pBwPMWfJiYsx6uO7bq%2BhaMeA%2B4KoTC5StEA9vfmpighSOTNyXh002Aheb1r5jiw492