Convolution Masking

Convolution Masking Dropout Weight Challenge 궁금점 이번에 다뤄볼 것은 Conv으로 구성된 DNN을 만들 때, 흔히 사용되는 Dropout과 유사한 작업을 하는 Mask를 만들어보려고 합니다. Conv 또는 업데이트 되어지는 다른 학습가능한 파라미터들을 내가 조절할 수 있다면 필요시에 노드를 컨트롤 할 수 있지 않을까? 라는 생각에 만들어보게 되었습니다. 실제로 Dropout에서 코드를 변경해서 만들어보려고 했으나, Dropout은 베르누이 확률로 각각의 노드에 대해 독립적으로 확률을 매기기 때문에 따로 수정할 수 있는 방법이 없었습니다. 따라서 기존에 실험을 하던 코드에서 몇 개를 변경해서 Masking을 적용해 보았습니다. 실제로 코드를 적용해서 Cifar-10을 통해 30회를 훈련했을 때, Dropout과 유사한 성능을 보이는 것을 볼 수 있었습니다. 이는 어디까지나 작은 모델과 작은 데이터 셋을 통해 실험한 것이어서 확실한 결과는 아니지만 ...

원문링크 : Convolution Masking