工业机器人运动控制系统原理详解，内附视频

模型可解释性是当今机器学习中最重要的问题之一。通常某些“黑匣子”模型（例如深度神经网络）已部署到生产中，并且正在运行从工作场所安全摄像头到智能手机的所有关键系统。令人恐惧的是，甚至这些算法的开发人员都无法理解为什么正是这些算法真正做出了自己的决定，甚至更糟的是，如何防止对手利用它们。

 

 

 

尽管“黑匣子”算法的设计者面临许多挑战，但并非完全没有希望。实际上，有许多方法可以阐明模型所做的决策。甚至有可能了解模型预测中哪些特征最为突出。

 

 

 

在本文中，对机器学习中更深层模型的模型可解释性进行了全面概述。希望解释在传统上被认为是“黑匣子”的更深层次的模型实际上可以令人惊讶地解释。使用与模型无关的方法将可解释性应用于所有不同种类的黑匣子模型。

 

 

 

部分依赖图

 

 

 

部分依赖图显示了特征对ML模型结果的影响。

 

 

 

 

 

回归的偏相关方程

 

 

 

局部依赖通过将机器学习模型的输出边缘化到不感兴趣的特征的分布上（以集合C中的特征表示）而起作用。这使得偏相关函数显示了关心的特征（通过购买S集表示）与预测结果之间的关系。通过边缘化其他特征，得到了仅依赖于S中特征的函数。这使得易于理解特定特征的变化如何影响模型预测。例如，这里有3个关于温度，湿度和风速的PDP图，与通过线性模型预测的自行车销量有关。

 

 

 

 

 

PDP用于温度，湿度和风速，以解决自行车数量就是结果的回归问题。从这些图中可以清楚地看出，温度是决定租用多少辆自行车的重要决定因素，温度越高，租用的自行车越多。

 

 

 

PDP甚至可以用于分类功能。以下是季节对自行车租赁的影响。

 

 

 

 

 

季节对自行车租赁影响的部分依赖图

 

 

 

对于分类，偏相关图显示给定类别的给定不同特征值的概率。处理多类问题的一个好方法是每个类一个PDP。

 

 

 

局部依赖图法是有用的，因为它是全局的。它指出了某个功能与该功能所有值上的目标结果之间的全局关系。

 

 

 

好处

 

 

 

部分依赖图非常直观。如果让所有数据点都假定该特征值，则某个特征在某个值的偏相关函数表示平均预测。

 

 

 

缺点

 

 

 

使用部分依赖函数，实际上最多只能建模两个功能。

 

 

 

独立性的假设假设要绘制的要素与任何其他要素都不相关。例如，如果预测的是身高和体重之外的血压，则必须假设身高与体重无关。出现这种情况的原因是，如果要绘制高度，则必须对重量的边际分布求平均值（反之亦然）。例如，这意味着对于一个很高的人，可以具有很小的权重，而在实际数据集中可能看不到。

 

 

 

想为模型实现一个PDP。从哪里开始？

 

 

 

这是scikit-learn的实现。

 

 

 

排列特征的重要性

 

 

 

置换特征重要性是通过在置换特征之后计算模型的预测误差的变化来衡量特征重要性的一种方法。如果特征的值增加会增加模型误差，则该功能“重要”，而如果值的排列会造成模型误差不变，则该功能“不重要”。