自動運転車の畳み込みニューラルネットワークのためのXAIメソッド

説明可能な人工知能（XAI）は、機械学習の新しい傾向です。機械学習モデルは、何かを予測または決定するために使用され、大量のデータセットに基づいて出力を導き出します。ここで、問題は、特にディープラーニングモデルを使用する場合、そのような予測が導き出された理由を知るのが難しいということです。信頼性が批判的なアプリケーションの場合、モデルを信頼性が低くなります。したがって、彼らがそのような出力をどのように導き出したかを説明する必要があります。自動運転車の信頼性が重要なアプリケーションです。なぜなら、それらの内部のコンピューターによって犯された間違いが重大な事故につながる可能性があるからです。したがって、この分野でXAIモデルを採用する必要があります。この論文では、コンピューティングに基づいてXAIメソッドを提案し、畳み込みニューラルネットワークの最後の隠された層のニューロンの出力値の違いを説明します。まず、元の画像とその修正された画像を入力します。次に、各画像の出力値を導き出し、これらの値を比較します。次に、カテゴリを区別するために元の画像のどの部分が必要かを説明するために、感度分析手法を紹介します。詳細には、画像をいくつかの部分に分割し、これらの部分を色合いで満たします。まず、これらの各部分のモデルの最後の隠された層を示すベクトルの影響値を計算します。次に、闇が影響値に比例している色合いを描きます。実験結果は、自動運転車におけるXaiへのアプローチが、これらの画像のカテゴリを正確に区別するために必要な部品を見つけることを示しています。

eXplainable Artificial Intelligence (XAI) is a new trend of machine learning. Machine learning models are used to predict or decide something, and they derive output based on a large volume of data set. Here, the problem is that it is hard to know why such prediction was derived, especially when using deep learning models. It makes the models unreliable in the case of reliability-critical applications. So, it is required to explain how they derived such output. It is a reliability-critical application for self-driving cars because the mistakes made by the computers inside them can lead to critical accidents. So, it is necessary to adopt XAI models in this field. In this paper, we propose an XAI method based on computing and explaining the difference of the output values of the neurons in the last hidden layer of convolutional neural networks. First, we input the original image and some modified images of it. Then we derive output values for each image and compare these values. Then, we introduce the Sensitivity Analysis technique to explain which parts of the original image are needed to distinguish the category. In detail, we divide the image into several parts and fill these parts with shades. First, we compute the influence value on the vector indicating the last hidden layer of the model for each of these parts. Then we draw shades whose darkness is in proportion to the influence values. The experimental results show that our approach for XAI in self-driving cars finds the parts needed to distinguish the category of these images accurately.