Part 1. 논문소개 논문 : Self Attention with Relative Position Representation works 요약 Attention is All you need 논문의 다음편 논문이다. Transformer의 초기 모델은 absolute positional encoding 방식을 사용하였는데, 본 논문에서 소개되는 Transformer 논문은 Relative Positional Encoding(RPR)을 이용한다. 위 논문에서 embedding을 할 때는 기존모델과 달리 embedding matrix와 embedding look up table을 참고하여 변환한다. 예를 들면 5단어로 구성된 문장은 한 개의 단어를 기준으로 좌우로 4개의 단어와의 어텐션(관련성)을 탐색하여 e..