AI眼中的国际是什么姿态?谷歌新研讨找到了机器的视觉概念_0

AI眼中的国际是什么姿态?谷歌新研讨找到了机器的视觉概念
选自arXiv作者:Amirata Ghorbani等机器之心编译参加:魔王来自斯坦福大学和谷歌大脑的研讨人员为根据概念的解说办法提出了一些准则和要求,在整个数据集上辨认更高层次的人类可理解概念。此外,研讨者还开发了一种能够主动提取视觉概念的新式算法 ACE。论文地址:https://arxiv.org/pdf/1902.03129.pdfGitHub 地址:https://github.com/amiratag/ACE跟着机器学习模型广泛用于拟定重要决议计划,可解说性成为研讨范畴的重要主题。现在大多数解说办法经过特征重要性得分来供给解说,即辨认每个输入中重要的特征。但是,怎么体系性地总结和解说每个样本的特征重要性得分是很有难度的。近来,来自斯坦福大学和谷歌大脑的研讨人员为根据概念的解说提出了一些准则和要求,它们超出了每个样本的特征(per-sample feature),而是在整个数据集上辨认更高层次的人类可理解概念。研讨者开发了一种能够主动提取视觉概念的新式算法 ACE。该研讨进行了一系列体系性试验,标明 ACE 算法可发现人类可理解的概念,这些概念与神经网络的猜测成果共同且非常重要。机器学习模型的可解说性机器学习模型猜测的可解说性已经成为一项重要的研讨课题,在某些事例中更是成为法令要求。工业界也将可解说性作为「负责任地运用机器学习」的一个首要组成部分,可解说性并非归于「如虎添翼」,而是「不可或缺」。机器学习解说办法的大部分近期文献环绕深度学习模型打开。专心于为机器学习模型供给解说的办法一般遵从以下惯例操作:对模型的每个输入,用移除(zero-out、含糊处理、shuffle 等)或扰动的办法改动单个特征(像素、子像素、词向量等),以迫临用于模型猜测的每个特征的重要性。这些「根据特征」的解说办法存在多个缺点。一些研讨测验证明这些办法并不牢靠 [14, 3, 15]。因而,近期许多研讨开端以高档人类「概念」的方式供给解说 [45, 20]。这类办法不为单个特征或像素分配重要性,它们的输出就提醒了重要概念。谷歌大脑的研讨奉献来自斯坦福大学和谷歌大脑的研讨者列举了根据概念的解说办法应该满意的几项通用准则,并开发了一种体系结构来主动辨认对人类有意义且对机器学习模型很重要的高档概念。该研讨提出的新办法叫做 Automated Concept-based Explanation (ACE),其作业原理是:在不同的数据上累积相关的部分图画切割部分。研讨者将该办法的高效完成运用于一种广泛运用的方针辨认模型,并进行量化人类试验和评价,成果证明:ACE 满意根据概念的解说办法的准则,且能够为机器学习模型供给风趣的洞悉。办法解说算法一般具有三个首要组件:练习好的分类模型、来自同一个分类使命的测验数据点调集,以及向特征、像素、概念等分配重要性的重要性核算过程。该研讨提出了一种新办法 ACE。它是一种大局解说办法,可在无需人类监督的状况下在分类器中解说整个类。ACE 逐渐详解图 1:ACE 算法。(a) 来自同一类其他图画集。运用多种分辨率切割每个图画,构成归于同一类其他图画切割部分的调集。(b) 当时最优 CNN 分类器瓶颈层的激活空间被用作类似度空间。在将每个图画切割部分的巨细从头调整至模型规范输入巨细后,类似的图画切割部分被调集在激活空间中,而反常值则被移除以提高聚类的共同性。(d) 每个概念的 TCAV 重要性得分根据其样本切割部分核算得出。ACE 运用练习好的分类器和某个类其他图画集作为输入,然后提取该类别出现出的概念,并回来每个概念的重要性。在图画数据中,概念以像素组(图画切割部分)的方式出现。为了提取类别中的一切概念,ACE 的第一步是切割类别图画(见图 1a)。为了从简略的细粒度概念(如纹路和色彩)和更杂乱和粗粒度的概念(如物体部分和物体全体)中捕捉完好的概念层次,每个图画都依照多个分辨率进行切割。试验运用了三种不同的分辨率来捕捉三种层次的纹路、物体部分和物体全体。ACE 的第二步是,将类似的切割部分归类为同一个概念的示例。为了衡量这些图画切割部分的类似性,研讨者运用 [44] 的成果证明,在大型数据集(如 ImageNet)练习出的当时最优卷积神经网络中,终究层激活空间中的欧式间隔是一种高效的感知类似性衡量目标。然后将每个图画切割部分传输到 CNN,并映射至激活空间。履行映射后,运用图画切割部分之间的欧式间隔将类似部分聚类为同一个概念的示例。为了保存概念共同性,移除每个簇中的反常部分,这些图画切割部分具有较低的类似性(见图 1b)。ACE 的终究一步是从上一步得到的概念调会集回来重要的概念。该研讨运用 TCAV [20] 根据概念的重要性得分(见图 1c)。试验和成果研讨者运用 ACE 解说在 ILSVRC2012 数据集(ImageNet)上练习得到的 Inception-V3 模型。研讨者从 1000 个类别中选出 100 个类的子集,并对其运用 ACE。在试验中,50 张图画足以提取出足够多的概念示例,这可能是由于这些概念频频出现在图画中。图画切割过程运用 SLIC 来履行,由于其速度和性能在运用 3 种分辨率进行图画切割时都体现不错(15、50 和 80)。至于类似性衡量,研讨者检测了 Inception-V3 架构多个层的欧式间隔,终究挑选了 mixed_8 层。正如之前研讨 [20] 所介绍的那样,前面的层更拿手纹路和色彩的类似性衡量,后边的层更拿手物体层次的类似性衡量,而 mixed_8 层完成了最佳的权衡。聚类时选用 k 折聚类,并使用欧式间隔移除反常部分。成果图 2:ACE 对三个 ImageNet 类的输出。从每个类其他 top-4 重要概念中随机选取了三个(下面是原图,上面是从中切割出的示例)。例如,咱们能够看到网络分类器 police van 运用了警车的轮胎和 logo。图 5:对模型的洞悉。每个图画上方的文本表明原始类别以及咱们对提取概念的片面解说,如「Volcano」类和「Lava」类。a)直观相关。b)非直观相关。c)一个物体的不同部分被作为多个独立却重要的概念。图 6:组合重要概念。研讨者测验,假如随机组合多个重要概念,分类器会从中看到哪种类别。成果发现,关于很多类别而言,随机组合重要概念后,分类器仍将该图画猜测为正确类别。例如,篮球衣、斑马纹、狮子鱼和王蛇的图画块足以使 Inception-V3 网络正确猜测其类别。图 4:重要性。从 ImageNet 验证会集随机采样 1000 个图画,研讨者从最重要的概念中移除或增加概念。如图所示,top-5 概念足以使分类成果到达原始分类准确率的 80%,而移除 top-5 概念则导致 80% 的正确分类样本遭到误分类。

You may also like...

Popular Posts