CoAtNet 코트넷 relative attention 코드 공부

참고 링크 https://github.com/chinhsuanwu/coatnet-pytorch/blob/master/coatnet.py coatnet-pytorch/coatnet.py at master · chinhsuanwu/coatnet-pytorch A PyTorch implementation of "CoAtNet: Marrying Convolution and Attention for All Data Sizes". - coatnet-pytorch/coatnet.py at master · chinhsuanwu/coatnet-pytorch github.com 위 링크에 있는 Attention class를 분석해보겠습니다. 해당 블로그 글을 바로 읽는 것보단 위 코드를 한 번 훑어보고 읽는 것을 추천드립니다. 실습에 필요한 라이브러리 Import (Colab) import numpy as np import math import seaborn as sns import matplotl...

원문링크 : CoAtNet 코트넷 relative attention 코드 공부