RAP (Relative Attributing Propagation: Interpreting the Comparative Contributions of Individual Units in Deep Neural Networks) 논문 리뷰

논문 제목 : Relative Attributing Propagation: Interpreting the Comparative Contributions of Individual Units in Deep Neural Networks

 

이번에는 RAP (Relative Attributing Propagation)에 대해 다뤄보려 한다. 이를 번역하자면 상대적 기여 전파를 뜻하는데, 이는 설명 가능한 인공지능 기법 중 하나이다. 여기서 설명 가능한 인공지능 (XAI : eXplainable AI) 이란 '인공지능이 왜 그런 결정을 내렸는가'를 설명할 수 있는 인공지능을 의미한다.

 

그럼 왜 XAI가 필요할까? (XAI에 대한 자세한 소개는 이 링크를 참고하면 도움이 된다.)

딥러닝 모델은 매우 복잡하여 예측 로직을 파악하기가 어렵다

간단하게 얘기하자면, 딥러닝의 예측 로직은 너무 복잡하기에 하나의 블랙박스와도 같다. 여기서 블랙박스란 내부가 보이지 않아 의사 결정 과정을 알 수 없는 것을 의미한다. 따라서 동작 원리를 알 수 없기에 딥러닝 기법을 채택하는 데 있어 어려움이 따른다. 하지만 XAI를 이용하면 예측에 영향을 준 특징들을 파악할 수 있으며, 이를 이용해 딥러닝 모델이 잘못된 예측을 한 경우 결함의 원인을 파악할 수 있다.

 

따라서 RAP는 예측에 영향을 준 입력 값을 파악할 수 있게끔 도와준다는 것인데, 이 기법이 LRP를 포함한 종래의 XAI 기법과 어떻게 다른지를 알아보려 한다.

 

1. Abstract

 

Abstract에서는 RAP를 제안하게 된 배경과 이의 간략한 개념을 설명하고 있다.

 

위에서 말했다시피, 심층 신경망의 내부 메커니즘은 매우 복잡하여 이를 파악하기가 어렵다. 따라서 저자는 RAP를 제안하는데, 이는 레이어 간의 상대적 영향에 따라 예측 결과를 양의 특성 및 음의 특성으로 분리하여, 무엇이 예측 결과에 어떻게 영향을 끼쳤는지를 알려준다.

 

순방향 전파에 의한 예측 기여와 RAP에 의한 기여 재분배

 

각 뉴런의 relevance (기여)는 이들의 기여 정도에 따라 positive (양) 및 negative (음)으로 나뉜다. 이때, RAP는 각 뉴런이 출력 (예측 결과)에 대한 중요도 관점에서 양 극을 띄도록 하는데 이를 통해 해당 뉴런이 예측 결과와 높게 관련 있는지 또는 낮게 관련 있는지를 알 수 있다.

 

따라서 RAP는 기존에 사용하던 XAI 기법보다 더욱 분명하고, 주목되는 시각화를 통해 DNN을 해석할 수 있게 한다. 이때, RAP에 의해 전파된 각 특성이 각각의 의미를 정확히 설명하는지를 증명하기 위해 다음 평가 방법을 사용한다.

 

1. Outside-inside relevance ratio

2. Segmentation mIOU

3. Region perturbation

 

2. Introduction

 

Introduction에서는 Abstract에서 다뤘던 내용을 조금 더 자세하게 설명하고 있다. 먼저 종래 XAI 기법에 대한 설명이 나온다.

 

심층 신경망의 transparency 문제 (블랙박스)는 DNN의 사용을 어렵게 만들었고, 이에 대해 수많은 연구가 시도되었다. 그 결과, 귀납법을 통해 입력 레이어에 relevance score을 할당하여 예측에 있어 중요한 영향을 미치는 input 요소를 찾을 수 있었다고 한다.

 

이때, 심층 신경망의 예측 결과에 대한 각 이미지 위치의 양의 기여 및 음의 기여를 파악하기 위해, 예측 결과로부터 relevance를 전파하는 layer-wise relevance propagation rule을 도입하였다. (여기서, layer-wise relevance propagation rule은 layer를 거칠 때마다 어떻게 relevance를 전파할 것인지에 대한 공식 (규칙)을 의미하며 여기에는 여러 가지 공식이 있다. 더 자세한 내용은 이 논문의 부록을 참고)

 

이때 기여의 총량 및 방향을 고려하지 않은 채 양의 relevance와 음의 relevance를 전파하는 것은 잘못된 해석으로 이끌 수 있다. 그리고 내부 구조가 워낙 복잡하여 각 성분들이 relevance 값의 전파에 영향을 주기 때문에, 예측 결과에 대한 개별단위의 실제 영향을 명확하게 알아내야 한다.

 

게다가, 각 뉴런의 relevance는 기여 총량의 절댓값에 따라 크게 달라지므로, 양의 relevance 및 음의 relevance 모두가 함께 연관된다. (즉, 한 뉴런이 받는 양의 relevance와 음의 relevance가 같은 경우, 그 값이 제거되는 문제가 발생)

 

 

이제 RAP에 대한 설명이 나온다.

 

이 논문의 주요 아이디어는 relevance에 대한 관점을 기여의 부호가 아닌, 뉴런 사이의 영향력으로 바꾸는 것이다. 따라서 RAP는 relevance 보존 법칙을 지키면서 우선순위를 조정하고 이를 양의 relevance 및 음의 relevance로 재조정하여 relevance를 재분배한다.

 

그림 1. RAP 와 기존 XAI 기법간의 기여도 분석

 

결과적으로, 각 뉴런의 출력에 대한 중요도에 따라 relevance가 할당된다. 이전의 방식들은 뉴런의 기여 부호만을 고려했기에 양의 특성 및 음의 특성에 있어 비슷한 분포를 보였지만, RAP는 뉴런의 중요성에 따라 relevance를 할당하였기에 위 그림 1에서 볼 수 있듯이 객체에 높게 집중하게 된다. (즉, 이제는 기여의 총량이 아닌, 중요도의 관점에서 relevance를 할당한다.)

 

3. Background

 

Background에서는 종래 XAI 기법 중 하나인 LRP와 여기서 사용되는 용어에 대해 설명한다.

 

먼저 용어에 대해 알아본다.

f(x) : input x에 대한 신경망의 예측 결과값을 의미하는데, 이는 softmax layer를 통과하기 전의 값.

R : 예측 클래스에 상응하는 f(x) 값을 의미하며, 이는 기여 절차에서 입력 relevance를 구성.

$ z_{ij}^{l+1} $ : l 레이어의 i 뉴런으로부터 l + 1 레이어의 j 뉴런에 전달되는 값.

$ m_i^{(l)} $ : l 레이어에 있는 뉴런의 활성 값.

$ z_j^{(l + 1)} $ : l + 1 레이어의 j 뉴런에 대해 관련 있는 모든 뉴런으로부터의 기여들이 합쳐진 값.

$ w_{ij}^{{l, l+1}} $ : l 레이어에서 l + 1 레이어로의 가중치

$ b_{j}^{{l, l+1}} $ : l 레이어에서 l + 1 레이어로의 바이어스

 

이때 기여 성분 $ z_{ij} $ 는 양의 성분 및 음의 성분으로 구성된다.

 

 

LRP는 출력단에서 입력단으로 relevance R을 전파하여 입력단에서 높은 relevance를 가지는 부분을 찾는다. 이 알고리즘은 각 레이어의 relevance를 보존하는데, 이때 relevance의 보존이란 이전 레이어의 relevance 총합이 손실되거나 증가되지 않고 보존된 채로 다음 레이어에 전달되는 것을 의미한다. 즉, 이전 relevance 총합이 다음 레이어의 relevance 총합과 동일함을 의미.

 

LRP - $ \epsilon $ 과 LRP - $ \alpha \beta $ 에 대한 내용은 넘어가도록 하겠다.

 

4. The Shortcoming of Current Relevance Propagation Methods

 

여기에서는 LRP를 비롯한 현재 사용되는 XAI 기법들의 단점에 대해 다룬다.

 

그림 2. LRP 기법에서 음의 기여와 양의 기여가 처리되는 과정 및 RAP 기법의 결과

 

그림 2는 두 중간 레이어 사이에서의 순방향 전파와 역방향 기여 전파를 보여주고 있고, 모든 weight의 절댓값은 동일하며, 어두운 색의 뉴런은 더 높은 값을 의미한다고 한다. 이때, $ m_1^{{l}} $ 의 양의 relevance와 음의 relevance는 각각 다른 relevance로부터 매우 큰 값을 받게 된다. 즉, 높은 양의 기여와 높은 음의 기여가 합쳐져 결국 0이 된다. 하지만 이 뉴런은 l + 1 레이어에 있어 주요한 역할을 하기에 기여의 총량의 관점에서는 이 뉴런이 매우 높은 relevance를 가질 것이 분명하다. 하지만 LRP에서는 이 뉴런이 중요함에도 불구하고, 0으로 표현된다.

 

 

즉, 어느 하나의 기여가 우세한 부분을 제외하고는 많은 양의 relevance는 마찬가지로 많은 음의 relevance에 의해 제거된다.

 

음의 기여와 양의 기여가 겹쳐 보라색으로 표현된다

 

추가로, 만약 우세한 부분이 있다 하더라도, 이는 양이 우세한 곳과 음이 우세한 곳이 서로 가까운 곳에 나타나 위의 그림처럼 마치 보라색처럼 보일 수도 있다.

 

하지만 RAP에서는 각 뉴런의 절대적인 기여를 고려하며, 새로운 방법에 따라 relevance를 전파하기에 그림에서 볼 수 있듯이 픽셀의 중요도에 따라 양의 relevance 그리고 음의 relevance가 이미지의 각기 다른 부분에 나타난다.

 

그럼 이제 RAP에 대해 알아볼 시간이다.

 

5. Relative Attributing Propagation

 

그림 3. RAP 알고리즘의 전반적인 구조

 

RAP의 목표는 레이어 별 뉴런의 영향에 따라 상대적으로 중요하거나 덜 중요한 뉴런을 분리하는 것이다. 이때 3가지 주요 단계를 거친다.

 

Absolute Influence Normalization

 

먼저, 마지막 레이어 q에 있는 예측 노드 j의 실제 기여 값인 $ m_iw_{ij} $ 에 상응하여 그 전 레이어인 p의 i 뉴런에 relevance 값을 전파해야 한다. 이때, bias 값인 $ b_j^{{p, q}} $ 가 단일 값이므로, 각 뉴런의 기여를 증가시켜 레이어 p에 대한 bias의 relevance를 고려하는 것이 가능하다. (즉 bias 값 또한 기여에 포함시킬 수 있다는 뜻) 이 단계를 거치고, 레이어 p의 relevance 값은 양의 성분 및 음의 성분으로 구성된다.

 

Absolute Influence normalization 과정

 

다음으로 $ R_i^{(p)} $ 를 양의 값 및 음의 값의 절댓값에 대한 비율로 나누어 이를 정규화시켜준다. $ R_i^{'(p)} $ 는 다음 전파로 향하는 새로운 입력 relevance가 되고, 레이어 p의 모든 relevance 값들은 출력 레이어에 대한 상대적인 중요도로 분배된다. 기여에 대한 뉴런의 영향이 더 클수록 더욱 큰 양의 relevance가 할당된다. 즉, 식을 보면 알겠지만 첫 번째 정규화 과정을 거치면 모든 relevance 값들이 양의 relevance로 바뀌는데, 이때 영향력에 따라 그 크기가 달라진다. 이 정규화 과정은 첫 번째 relevance 전파 과정에만 적용된다. (위 그림에서도 확인할 수 있는데, 모든 기여가 양의 기여로 바뀐다. 이때, 음의 기여의 영향력에 따라 변환되는 양의 기여의 영향력이 결정된다. 즉, 음의 기여의 색이 짙을수록 변환된 양의 기여의 색도 짙다.)

 

Criterion of Relevant Neuron

 

이렇게 각각의 뉴런이 가진 기여의 절댓값 총량으로 relevance가 변환한 후에야, (즉, 모든 relevance score가 양의 값으로 바뀐 뒤) 각각이 지닌 상대적인 영향력에 따라 전파될 수 있다.

 

영향력이 낮은 뉴런 (색이 옅은 뉴런)이 음의 기여를 갖도록 바뀐다.

 

이후에 모든 활성화된 뉴런에 uniform shifting을 적용하여 영향력이 낮은 뉴런들이 음의 relevance를 갖도록 바꾼다.

 

 

다음으로 relevance 전파는 양의 기여 케이스인 P와 음의 기여 케이스인 N을 통해 다음 레이어에 relevance를 재분배한다. 이때 P는 각각의 relevance가 양의 영향력에 따라 그대로 재분배 되게끔하여 l 레이어에 relevance를 전파하게끔 한다.

 

음의 기여 케이스에 대해서도 같은 절차가 적용되는데, 음의 기여를 한 뉴런 간의 영향력을 고려하여 절차를 진행한다. 여기서, 전파된 relevance는 본래 순방향 전파에서 전체 음의 기여에 대한 비율을 의미한다.

 

RAP가 음의 기여를 뒤집어 전파한다고 적혀있으며, 왼쪽 아래의 그래프에서도 그런 모습을 보여주고 있다

 

이 부분은 이해를 제대로 했는지 모르겠는데,, 음의 기여 케이스에서는 순방향 전파에서의 음의 기여 값이 양의 기여로 변환되어 적용된다는 뜻으로 이해를 하였다. 왜냐하면, 위에 있는 컨퍼런스 자료에서 RAP가 negative relevance가 flip 되는 특징을 가지고 있다고 설명하고 있어서...

 

그리고 relevance의 총 양을 이용해 모든 활성화된 뉴런을 균일하게 이동(uniformly shift)시키는데 이때, 각 뉴런은 0에 가까운 순서로 음으로 변한다.

 

 

하지만, 한 가지 주의할 것이 있다고 한다.

레이어 l의 각 relevance 값에 대하여 양의 기여와 음의 기여 비율을 계산하는 것이 가능한데, 원래의 부호를 이용하여 비율을 계산할 경우, 분자의 절댓값이 분모의 절댓값보다 훨씬 크기에 퇴축 문제가 발생한다고 한다. 따라서 각 기여의 절댓값을 이용해 정규화를 수행해준 다음 비율을 계산해야 한다고 하여... 다음 공식이 나오게 되는데..

 

이 부분은 머리를 열심히 굴려봐도 왜 이렇게 구성되어있는지를 전! 혀! 모르겠다. 일단 위에 있는 식은 LRP-$\alpha \beta$ 와 매우 유사한데, 왜 정규화가 음의 성분에만 적용되는지 모르겠다. 하려면 양의 성분, 음의 성분 둘 다 해줘야 되는 게 아닌가.. 그리고 컨퍼런스 내용 대로라면 음의 케이스의 음의 기여는 양의 기여로 바뀌고, 양의 기여는 음의 기여로 바뀌어야 하는데 이 부분이 수식상에서 어느 부분에 의해 진행되는지를 모르겠다...

 

 

어쨌든, 7번 식을 이용하여 relevance를 계산하면 보존 법칙을 위배한다. 레이어 l + 1과 비교하였을 때 레이어 l에 relevance가 초과하여 할당되는데 이는 음의 기여를 의미하며, 이를 이용해 모든 활성화된 뉴런을 균일하게 이동시킴으로써 중요도에 따라 뉴런을 분리할 수 있다.

 

8번과 9번 식은 위에서 말한 내용에 대해 수식으로 표현한 부분이며, 초과 할당의 평균값을 뉴런들에 대하여 빼주어 relevance score 몇몇을 음의 영역으로 이동시킨다.

 

 

입력 이미지 레이어로 향하는 마지막 relevance 전파를 위해 $ Z^{\beta} $ 규칙을 이용하며, 이는 LRP에서 유래한 방법으로 입력 레이어에 전파할 때 흔히 사용된다.

 

여기서 색이 표현된 픽셀의 강도가 점점 옅어지는데, 이는 feature map의 사이즈가 max-pooling 레이어를 반대로 통과하며 더욱 커지게 되고, 즉 더 많은 뉴런으로 흩어지기 때문이다.

 

6. Experimental Evaluations

Qualitative Evaluation of Heatmap

 

이제 평가 방법들이 나오는데, 먼저 정성적 평가 방법에 대한 설명이 나온다.

 

RAP에 의해 생성된 양의 기여를 정성적으로 평가하기 위해 다른 XAI 기법의 양의 기여 범위가 얼마나 비슷한지를 조사한다.

 

 

반대로, 음의 기여를 정성적으로 평가하기 위해서는 예측과 연관되지 않는 할당된 기여를 음의 relevance로 간주한다고 한다. RAP 방식의 결과는 연관성이 없는 부분과 목표 객체를 분명하게 음과 양의 기여로 구별하지만, 다른 기법들은 위의 4번 섹션에서 확인하였듯이 이들이 서로 겹쳐 보라색으로 표현된다.

 

Quantitative Assessment of Attributions

 

초록에서 말했다시피 이 논문에서는 Objectness와 Relevance를 평가하기 위해 3가지 방법을 이용하였다. 바로 1. Outside-Inside ratio 2. Pixel accuracy and Intersection of Union 3. Region perturbation이다.

먼저 bounding box의 내부와 외부 relevance를 계산하여 각 특성들이 객체에 얼마나 잘 집중되고 있는지를 파악할 수 있는데, 음의 relevance의 분포에 대해서도 잘 파악하기 위해 이를 확장시켰다. 하지만, bounding box가 예측되어야 하는 객체에 완벽하지는 않기에, 추가로 segentation mask와 지표를 사용하여 목표 객체에서 양의 특성들이 잘 분배되어 있는지를 평가한다.

 

 

또한 heatmap의 픽셀에 점진적으로 왜곡을 주는 region perturbation 절차를 이용한 설명 가능한 기법이 있는데, 이를 AOPC (Area Over the Perturbation Curve)라고 한다. 음의 특성이 예측과 연관성이 없는 부분들에 잘 분포되어 있는지를 평가하기 위해 LeRF (Least Relevant First)를 사용하였고, 이 과정에서 정확도가 어떻게 붕괴되는지를 조사하였다.

 

Objectness of Positive Attributions

 

예측되어야 할 객체에 특성들이 얼마나 잘 분포되어있는지를 증명하기 위해, bounding box를 이용하여 특성들의 outside-inside relevance 비율을 평가하였다. 이때, 양의 relevance와 음의 relevance를 동시에 평가하기 위해 기존에 있던 지표를 확장시켰다.

 

만약 bounding box 밖으로 양의 relevance (음의 relevance)가 기여한다면, $ \mu $ 의 값이 증가 (감소) 할 것이고, 반대로 bounding box 안으로 양의 relevance (음의 relevance)가 기여한다면, $ \mu $ 의 값이 감소 (증가) 할 것이다.

 

표 1. Outside-inside relevance 비율 분석 결과

표2. Segmentation task에 대한 mIOU 결과

 

표 1에서 음의 relevance도 고려한 경우를 ALL이라 표기하고, 고려하지 않은 경우는 POS라 표기하였는데, 두 경우 모두에서 RAP는 가장 높은 점수를 선보였다.

 

Interfering Negative Attributions

 

예측 결과와 관련이 적은 기여를 제거하더라도 예측 정확도와 relevance 값에는 큰 변화가 없어야 한다. 이때 색과 모양의 변화가 분류에 영향을 주어 예측 불가능한 노이즈 및 공격을 불러일으킬 수 있기에 정확도가 조금은 감소할 수 있다.

 

그림 7. 음의 기여 Perturbation에 따른 정확도 감소 그래프

 

그림 7에서 볼 수 있듯이 RAP는 Perturbation을 적용하더라도 정확도의 감소 기울기가 매우 완만한 것을 확인할 수 있다.

 

7. Conclusion

 

이 논문에서는 심층 신경망의 예측 결과와 연결되는 중요도의 관점에서 뉴런을 해석하는 새로운 기법인 RAP를 제안하였다. 그리고 이는 각 뉴런의 영향력에 따라 기여도를 할당함으로써 가능하였다.

 

그림 5. VGG-16 신경망에 대한 RAP와 다른 기법간의 분석 비교

 

결과적으로 RAP 기법은 다음의 특성을 가진다.

 

1. 양의 (관련 있는) 특성과 음의 (관련 없는) 특성의 명확한 구별

2. 다른 관련 없는 region들로부터 메인 이미지 객체를 분리 가능

 

참고 문헌

1. arxiv.org/abs/1904.00605

2. www.slideshare.net/OpenXAI/2019-part-1

3. namkugkim.wordpress.com/2017/05/15/%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5%EC%9D%B4-%EB%B8%94%EB%9E%99%EB%B0%95%EC%8A%A4%EC%97%90-%EB%8C%80%ED%95%9C-%EA%B8%B0%EC%88%A0%EC%A0%81-%EB%8B%B5%EB%B3%80/

4. blog.naver.com/PostView.nhn?blogId=suresofttech&logNo=222059556350&categoryNo=0&parentCategoryNo=0&viewDate=&currentPage=1&postListTopCurrentPage=1&from=postView

5. iphome.hhi.de/samek/pdf/MonXAI19.pdf