XAI는 eXplainable Artificial Intelligence의 줄임말로, 설명 가능한 인공지능을 뜻한다. 현재 딥러닝은 기술이 과학보다 앞서 활용되고 있는 상태이다. 예를 들어, 열역학 법칙이 정립되기도 전에도 이미 증기기관차는 달리고 있었던 것처럼 말이다.

사람이 처음부터 끝까지 원리를 이해하며 만드는 기존 프로그래밍과 다르게, 딥러닝은 수많은 층에서 일어나는 가중치와 편향들의 조정이 정확히 어떤 영향을 일으키는지 알 수 없다. 이러한 이유로 인공지능 모델은 블랙박스라고도 불린다. XAI 기술은 모델이 어떠한 결론을 내린 이유와 과정을 시각화하여 인공지능 내부의 작동 원리를 쉽게 파악할 수 있게 해준다.

활용 : 의료 데이터를 분석해서 단순히 진단 결과만 알아내는 것 뿐만이 아니라 어느 부분이 왜 문제인지까지 파악할 수 있어 인공지능의 신뢰도를 높일 수 있다. 이외에도 금융, 군사 등 다양한 분야에서 폭 넓게 사용되고 있다.

1. XAI Techniques: CAM, Grad-CAM

1.1. CAM

Global Average Pooling

• **합성곱 신경망(Convolutional Neural Network, CNN)**의 계층은 크게 두 역할로 분류할 수 있다. 이미지의 특징을 추출하는 합성곱 계층(Convolutional Layer)과 분류(Classification)를 수행하는 완전 연결 계층(Fully Connected Layer, FC Layer)이다.
• 합성곱 계층의 장점은 입력 이미지의 공간적 특성을 고려하여 특징을 뽑아낼 수 있다는 점이지만, 뽑아낸 특징들이 완전 연결 계층에서 평탄화(Flattened)되어 사라져버려 사실상 합성곱 계층을 사용하는 이유가 퇴색되었다.
• **GAP(Global Average Pooling)**은 입력 이미지의 공간적 특성을 최대한 보존하기 위한 방법이다. 같은 채널의 특징값들을 각각 평균 내어 채널의 개수만큼의 원소를 가지는 벡터로 변환시킨다. Pooling 계층의 특성상 중요한 정보만 뽑아내는 것뿐 아니라, 연산량을 줄여주는 효과도 있다.

Class Activation Mapping

Learning Deep Features for Discriminative Localization

• **CAM(Class Activation Map)**은 모델이 이미지에서 어떤 부분을 보고 결과를 도출해냈는지 시각화한다. 위 논문의 이미지를 보면 각 중간 단계마다 히트맵으로 특정 부분이 강조되어 있는 것을 알 수 있다. 붉은 색일수록 모델이 해당 부분을 집중해서 보고 있다는 의미이다. 마지막 합성곱 계층에서는 특징 맵(Feature Map)의 가중합(Weighted Sum)을 GAP을 활용해 계산한다. 위의 그림을 예로 들자면, 해당 이미지를 ‘Austrailian terrier’라는 종으로 분류했을 때 모델이 집중한 부분이 강아지의 머리와 몸통 부분임을 알 수 있다.

1.2. Grad-CAM

Visual Explanation

Grad-CAM: Visual Explanations from Deep Networks via...

• 좋은 시각적 설명이란 무엇일까? 간단한 이미지 분류를 예시로 들어보자. 분류 문제에서 결과를 얻었을 때, 그 결과가 타당한지 판단하기 위해서는 다음 두 가지를 고려해봐야 한다.
  • Class-Discriminative : 이미지 내에서 어떤 카테고리가 어느 위치에 있는지 알 수 있어야 한다. 예를 들어 강아지와 고양이가 함께 있는 이미지에서 카테고리를 고양이로 분류했다면, 이미지 내 고양이 위치를 파악할 수 있어야 한다.
  • High-Resolution : 그림의 미세한 특징들을 잘 포착하는 정도를 의미한다. 강아지와 고양이 분류에 그치지 않고 말티즈, 리트리버, 시베리안 허스키 등 종까지 구분할 정도의 성능을 말한다. 즉, 객체의 미세한 특징들을 잘 표현한다면 고해상도(High-Resolution)를 가진 이미지이다.
• CAM은 히트맵을 통해 모델이 어느 영역을 보고 그런 판단을 내렸는지 알 수 있으므로 Class-Discriminative하다. 다만, 히트맵만 봐서는 해당 영역에 존재하는 객체가 고양인지, 강아진지 파악하기가 힘들다는 단점이 존재한다.