philBaek (백광록) 개발 일기장

논문 제목 : Densely Connected Convolutional Networks 오늘은 Densely Connected Convolutional Networks에서 소개한 DenseNet에 대해 다뤄보려 한다. DensNet은 이전에 다루었던 ResNet의 Shortcut 개념을 더 확장하여 CNN 구조를 바꾸는 시도를 하였는데, 바로 입력값의 Summation에서 Concatenation으로의 변화이다. Summation을 '덧셈'으로 해석할 수 있다면, Concatenation은 '결합'으로 해석할 수 있다. 수치적으로 무언가를 결합한다는 의미가 아니라, 말 그대로 입력값들을 사슬처럼 이어 결합 (연결) 하는 것을 의미한다. 그럼 입력값들을 합하지 않고, 결합함으로써 어떤 효과가 있었는지 한번..

논문 제목 : Deep Residual Learning for Image Recognition 오늘은 Deep Residual Learning for Image Recognition에서 마이크로소프트팀이 소개한 ResNet에 대해 다뤄보려 한다. ResNet은 수학적으로 어려운 개념이 적용되었다기보다는 방법론적으로 신박한 개념이 도입되었는데, 바로 잔차 (Residual)라는 개념이다. Residual이란 쉽게 말해서 결과의 오류 정도로 생각하면 되는데 Y에서 X를 뺀 나머지라고 생각하면 된다. 그렇기에 이전에는 Residual을 평가의 기준으로만 삼았지, 이를 이용해 학습을 진행한다는 생각은 없었는데 마이크로소프트에서는 이 Residual을 학습하는데 이용하였고, 그 결과 ILSVRC 2015에서 1위..

논문 제목 : Bag of Tricks for Image Classification with Convolutional Neural Networks 오늘은 Bag of Tricks for Image Classification with Convolutional Neural Networks에 대해 리뷰를 해볼까 한다. 이 논문은 세간에 떠도는 CNN 학습 기법들을 실험하여 그 결과를 정리하였다. 즉, 그전까지는 엔지니어가 일일이 여러 기법들을 따로 적용해가며 실험을 해왔는데, 이 논문에서는 이를 대신하여 모델 구조를 변경하지 않고도 정확도를 개선할 수 있는, 이른바 CNN 학습 꿀팁들에 대해 정보를 제공하고 있다. 캐글 등 대회 준비를 하는 분들에게 가이드라인으로서 많은 도움이 되지 않을까 싶다! 1. Abs..

논문 제목 : Going deeper with convolutions 이번에는 ILSVRC 2014에서 VGGNet을 제치고 1등을 차지한 GoogLeNet을 다뤄보려 한다. 연구팀 대부분이 Google 직원이어서 아마 이름을 GoogLeNet으로 하지 않았나 싶다. 이 모델은 1 x 1 convlution layer의 사용이나 depth를 늘려 모델의 성능을 개선시키는 등 VGGNet과 유사한 점이 꽤 있다. 하지만 GoogLeNet은 아주 독특한 구조를 사용하는데, 그 이름은 우리가 잘 아는 영화의 이름과도 같은 인셉션 (Inception) 이다. 그럼 대체 왜 Google 팀에서는 이 구조의 이름을 인셉션이라 지었는지, VGGNet과는 어떤 점에서 다른지 알아보기 위해 출발해보겠다! 1. Abstr..

논문 제목 : Relative Attributing Propagation: Interpreting the Comparative Contributions of Individual Units in Deep Neural Networks 이번에는 RAP (Relative Attributing Propagation)에 대해 다뤄보려 한다. 이를 번역하자면 상대적 기여 전파를 뜻하는데, 이는 설명 가능한 인공지능 기법 중 하나이다. 여기서 설명 가능한 인공지능 (XAI : eXplainable AI) 이란 '인공지능이 왜 그런 결정을 내렸는가'를 설명할 수 있는 인공지능을 의미한다. 그럼 왜 XAI가 필요할까? (XAI에 대한 자세한 소개는 이 링크를 참고하면 도움이 된다.) 간단하게 얘기하자면, 딥러닝의 예측 로..

논문 제목 : Very Deep Convolutional Networks for Large-Scale Image Recognition Very Deep Convolutional Networks for Large-Scale Image Recognition은 VGGNet을 발표하며, CNN 구조 설계에 있어 네트워크의 depth가 정확도에 미치는 영향에 대해 실험하였다. 또한 depth를 늘리면서도 vanishing/exploding gradient 문제 등 다양한 문제를 어떻게 해결하였는지에 대해 설명한다. 사전 배경을 조금 설명하자면, VGGNet 등장 이전에 AlexNet이 등장하면서 이미지 분류에 있어 CNN 모델의 인기가 상승하였다. 하지만 deep layer라 해봤자 8 layers에 그쳤었는데...