神经网络可以非常出色地执行某些任务，但了解它们如何做出决定——例如，识别图像中的哪些信号导致模型确定它属于一类而不是另一类——通常是一个谜。解释神经模型的决策过程可能会在某些领域产生重大的社会影响，例如医学图像分析和自动驾驶，在这些领域，人工监督至关重要。这些见解还有助于指导医疗保健提供者、揭示模型偏差、为下游决策者提供支持，甚至有助于科学发现。
以前对分类器进行视觉解释的方法，例如注意力图（例如Grad-CAM），强调图像中的哪些区域影响分类，但它们没有解释这些区域中的哪些属性决定分类结果：例如，是他们的颜色？它们的形状？另一类方法通过在一类和另一类之间平滑转换图像来提供解释（例如，GANalyze）。然而，这些方法往往会同时改变所有属性，因此难以隔离影响个体的属性。
在ICCV 2021上发表的“以风格解释：训练 GAN 以解释 StyleSpace 中的分类器”中，我们提出了一种视觉解释分类器的新方法。我们的方法 StylEx 自动发现和可视化影响分类器的解开属性。它允许通过单独操作这些属性来探索单个属性的影响（更改一个属性不会影响其他属性）。StylEx 适用于广泛的领域，包括动物、树叶、面部和视网膜图像。我们的结果表明，StylEx 找到的属性与语义属性非常吻合，生成有意义的特定于图像的解释，并且在用户研究中可以被人们解释。
解释猫与狗分类器：StylEx 提供了解释分类的前K个发现的解开属性。移动每个旋钮仅操作图像中的相应属性，保持对象的其他属性固定。
例如，要了解给定图像上的猫与狗分类器，StylEx 可以自动检测分离的属性，并可视化操作每个属性如何影响分类器概率。然后用户可以查看这些属性并对它们所代表的内容进行语义解释。例如，在上图中，可以得出“狗比猫更容易张开嘴”（上图 GIF 中的属性 #4）、“猫的瞳孔更像狭缝”（属性 # 5），“猫的耳朵不倾向于折叠”（属性#1），等等。
StylEx 的工作原理：训练 StyleGAN
器给定分类器和输入图像，我们希望找到并可视化影响其分类的各个属性。为此，我们使用了StyleGAN2架构，该架构以生成高质量图像而闻名。我们的方法包括两个阶段：
第 1 阶段：训练 StyleEx
最近的一项工作表明，StyleGAN2 包含一个名为“StyleSpace”的解耦潜在空间，其中包含训练数据集中图像的单个语义上有意义的属性。但是，由于 StyleGAN 训练不依赖于分类器，它可能无法代表那些对我们要解释的特定分类器的决策很重要的属性。因此，我们训练了一个类似于 StyleGAN 的生成器来满足分类器，从而鼓励它的 StyleSpace 适应分类器特定的属性。
这是通过使用两个附加组件训练 StyleGAN 生成器是来实现的。第一个是编码器，与具有重建损失的 GAN 一起训练，它强制生成的输出图像在视觉上与输入相似。这允许我们将生成器应用于任何给定的输入图像。然而，图像的视觉相似性是不够的，因为它可能不一定捕获对特定分类器（例如医学病理学）重要的细微视觉细节。为了确保这一点，我们在 StyleGAN 训练中添加了一个分类器，它强制生成图像的分类器概率与输入图像的分类器概率相同。这保证了对分类器很重要的视觉细节（例如医学病理学）将包含在生成的图像中。
Training StyleEx：我们联合训练生成器和编码器。在生成的图像和原始图像之间应用重建损失以保持视觉相似性。在生成图像的分类器输出和原始图像的分类器输出之间应用分类损失，以确保生成器捕获对分类很重要的细微视觉细节。
第 2 阶段：提取分离的属性
训练完成后，我们会在经过训练的生成器的 StyleSpace 中搜索显着影响分类器的属性。为此，我们操纵 StyleSpace 坐标并测量其对分类概率的影响。我们寻求使给定图像的分类概率变化最大化的顶级属性。这提供了 top-K图像特定属性。通过对每个类别的大量图像重复这个过程，我们可以进一步发现 top-K类特定属性，这告诉我们分类器对特定类的了解。我们称我们的端到端系统为“StylEx”。
图像特定属性提取的可视化说明：一旦训练，我们搜索对特定图像的分类概率影响最大的 StyleSpace 坐标。
StylEx 适用于广泛的领域和分类
器我们的方法适用于各种领域和分类器（二元和多类）。下面是一些特定于类的解释示例。在所有测试的领域中，我们的方法检测到的顶级属性在由人类解释时对应于连贯的语义概念，并通过人类评估得到验证。
对于感知的性别和年龄分类器，以下是每个分类器检测到的前四个属性。我们的方法举例说明了自动选择的多个图像上的每个属性，以最好地展示该属性。对于每个属性，我们在源图像和属性操作图像之间闪烁。操作属性对分类器概率的影响程度显示在每个图像的左上角。
自动检测到的感知性别分类器的属性
自动检测到的感知年龄分类器的属性
请注意，Google的方法解释的是分类器，该方法旨在揭示给定分类器从数据中学会利用的图像属性；这些属性可能不一定表征现实中类别标签（例如年轻或年长）之间的实际物理差异。特别是，这些检测到的属性可能会揭示分类器训练或数据集中的偏差，这是我们方法的另一个关键优势。它可以进一步用于提高神经网络的公平性，例如，通过增加训练数据集的示例来补偿我们的方法揭示的偏差。
在分类依赖于精细细节的领域中，将分类器损失添加到 StyleGAN 训练变得至关重要。例如，在没有分类器损失的情况下在视网膜图像上训练的 GAN 不一定会生成与特定疾病相对应的精细病理细节。添加分类损失会导致 GAN 生成这些微妙的病理学作为分类器的解释。下面以视网膜图像分类器（DME 病）和病/健康叶分类器为例。StylEx 能够发现与疾病指标一致的属性，例如“硬渗出物”，这是众所周知的视网膜 DME 标记，以及腐烂的树叶等。
自动检测视网膜图像 DME 分类器的属性
自动检测到病/健康叶子图像分类器的属性
最后，该方法也适用于多类问题，如 200 种鸟类分类器
总体而言，Google引入了一种新技术，可以为给定图像或类上的给定分类器生成有意义的解释。该技术是朝着检测和缓解分类器和/或数据集中先前未知的偏差迈出的有希望的一步，符合Google 的 AI 原则。
