[학부연구생 일지] 11월 10일 세미나 summary

11월 10일 수요일 세미나 두 번째 발표 시간에 발표를 했다. 주제는 Transformer Network를 이용하여 사람들의 경로를 예측한 paper를 review하였다.

간단하게 세미나때 다루었던 주제들을 요약해서 업로드한다.

---

첫 번째 발표 주제 : Few-shot learning

논문  : https://arxiv.org/pdf/1703.05175.pdf

 

Few-shot learning이란 데이터의 양이 적을 때 사용할 수 있는 학습 방법으로, training 과정에서 학습한 기존의 레이블이 아닌 다른 레이블을 입력 받았을 때 기존의 레이블에 포함이 되는지 안되는지(0,1 sigmoid)를 판별하는 학습 방법이다. 한 마디로 학습하는 방법을 학습(?)하는 방법이다

예를 들어, training할 때는 사자, 호랑이, 곰, 하마, 두더지 이렇게 5개의 레이블에 속한 이미지로 학습한 model이 있다고 하자. 학습한 후, 비둘기 사진을 주었을 때, 이 비둘기가 5개 레이블에 포함이 되는지 안되는지를 few-shot learning을 통해 판별할 수 있다.

 

본 논문에서는 Ominglot 데이터셋과 Mini-ImageNet 데이터셋을 이용하였고, Siamese Network로 학습시켰다. 

---

두 번째 발표 주제 (🤵My Presentation) : Transformer Networks for Trajectory Forecasting

논문 : https://arxiv.org/pdf/2003.08111.pdf

 

과거에 경로 예측할 때는 주로 LSTM을 이용하였다. 하지만 LSTM은 시간 by 시간으로 정보를 입력받고, fixed size의 context vector를 사용하며, 전체적인 경로의 흐름이나 맥락이 아닌 관찰한 경로에만 의존하는 경향이 있어 문제점이 있다. 이러한 LSTM의 문제점을 극복하기 위해 Attention mechanism을 사용하는 Transformer Network를 제안한다.

---

느낀점

발표를 하다가 교수님께서 너무 글자에 집중하지 말라고 하셨다. 글자에 집중하는 것이 아니라 왜 이런 문장을 작성했는지 그 의도와 맥락을 파악하라는 의도로 말씀한 것 같다. 영어 논문이기도 했고, 아직 익숙하지 않아 그런 것 같다. 영어 논문을 자주 읽고, 의도를 파악하려는 훈련을 해야겠다.

 

그리고 영어로 발표하는게 아직 능숙하지 않았다. 특히 this나 that과 같은 대명사를 자주 쓰는 경향이 있는 것 같은데 구체적으로 설명하는 능력을 키워야 할 것 같다.