글쓰는공대생의 IT블로그

11월 10일 수요일 세미나 두 번째 발표 시간에 발표를 했다. 주제는 Transformer Network를 이용하여 사람들의 경로를 예측한 paper를 review하였다. 간단하게 세미나때 다루었던 주제들을 요약해서 업로드한다. 첫 번째 발표 주제 : Few-shot learning 논문 : https://arxiv.org/pdf/1703.05175.pdf Few-shot learning이란 데이터의 양이 적을 때 사용할 수 있는 학습 방법으로, training 과정에서 학습한 기존의 레이블이 아닌 다른 레이블을 입력 받았을 때 기존의 레이블에 포함이 되는지 안되는지(0,1 sigmoid)를 판별하는 학습 방법이다. 한 마디로 학습하는 방법을 학습(?)하는 방법이다 예를 들어, training할 때는 ..

Part 1. 논문소개 논문 : Self Attention with Relative Position Representation works 요약 Attention is All you need 논문의 다음편 논문이다. Transformer의 초기 모델은 absolute positional encoding 방식을 사용하였는데, 본 논문에서 소개되는 Transformer 논문은 Relative Positional Encoding(RPR)을 이용한다. 위 논문에서 embedding을 할 때는 기존모델과 달리 embedding matrix와 embedding look up table을 참고하여 변환한다. 예를 들면 5단어로 구성된 문장은 한 개의 단어를 기준으로 좌우로 4개의 단어와의 어텐션(관련성)을 탐색하여 e..

-> 8월 15일부터 8월 20일까지 Dacon 인공지능 챌린지에 참여하였다. 지금까지는 딥러닝을 이론으로만 배웠었는데, 이렇게 실제로 딥러닝을 적용해보니 많은 것들을 배울 수 있었다. 그러나 많이 배웠다는 것은 그 만큼 많은 시행착오를 거쳤다는 것! 내가 배운 것과 닥쳤던 어려움들과 해결방법들을 정리해서 포스팅하고자 한다. https://www.dacon.io/competitions/official/235750/overview/description 2021 인하 인공지능 챌린지 - DACON 2021 인하 인공지능 챌린지 [주제] 안면 인식 기반 신원 검증 (face verification) [대회 설명] 안면 인식 인공지능을 기반으로 한 생체 인식 기술 중 하나로서 주어진 얼굴 영상과 데이터베이스에 ..

드.디.어!!!! 한 학기 동안 정말 간절히 바라고 바라던 방학이 찾아왔다! 물론 계절학기 + 연구실 프로젝트가 나를 반갑게 기다리고 있지만 정규 과정보다는 여유가 생긴 것이 확실하다! 아무 생각 없이 낭비하는 건 너무 싫어서 이번 기회에 목표를 잡고 재밌게 즐겨보려 한다. 프로젝트, 다른 분들과 하는 것 개인적인 공부 취미 및 일상 분야 1. 계절학기 일반수학2 A+ (완료) 2. 연구실 Image Tracking 프로젝트 잘 끝내기 (진행 중) 3. 인공지능 공모전 출전하기 (완료) 4. 공개개발자대회 준비 (포기) 1. KAIST 교수님 한 분의 논문 중심으로 공부해서 리뷰하기 (5 편 정도) 2. 경영과학 강의 준비하기 1. 운전면허 따기 (진행 중) 2. 운동/헬스 하기(등 위주) (진행 중) ..

내일이 시험이 있는 날인데, 할 분량이 너무 많아 중간에 현타가 왔다. (글 작성은 2021.06.13에 시작됨) 아마 나 뿐만 아니라 수강생 모든 학우들이 나와 비슷한 심정을 느끼고 있을 것이다. 공부도 잘 안될 뿐더러 블로그에 글을 업로드 안한 지도 오래 되었기 때문에, 이번 학기에 시험 공부를 하면서 느낀 점들을 정리해보고자 한다. 1. 복습의 중요성 내가 생각하는 가장 이상적인 시험 공부의 형태는 바로 수업 시간에 배운 내용들을 복기하는 것이다. 수업에 대한 이해나 필기는 수업시간에 하고, 내가 정리한 내용들을 바탕으로 시험기간에 반복적으로 복기를 해줘야 한다. 그런데 나는 시험기간에 이해하고 필기를 하고 있었다. 그러니 밤을 샐 수 밖에.... 시험 기간의 고통스러워할 미래의 나를 위해서라도 강..

Q1. 해외 석박사를 해야만 해외 취업이 가능한가? 반드시 해외에서 해야하는 것은 아니다. 본인도 해외 대학 출신이 아니다. Q2. 해외에서의 SoftWare Engineering 대우는? 괜찮은 편. 미국은 현재 소프트 엔지니어링에 대한 salary가 박사 학위만큼보다 같거나 더 높음. Q3. 어떤 기회로 국내에서 해외로 나가게 되었는가? 해외 기업에 입사하는데 대략 8개월 정도 걸렸다. 특히 영어공부를 열심히 하였는데 해외 대학 출신도 아니고 어학연수 경험도 없었기에 그만큼 꾸준히 하기 위해 노력하였다. 회사 생활을 하면서 매일 꾸준히 함. 알고리즘은 리코드 같은 곳에서 꾸준히 품. 해외 입사를 위해 한 300문제 정도 풀었다. 지금도 일주일에 30문제 품. Data Structure 분야에서 추천해..

현재는 4차 산업 혁명이 진행되고 있습니다. 4차 산업혁명이라 하면 흔히 인공지능, 빅데이터, 로봇 등 ICT(Information and Communication Technology)가 주된 키워드라고 할 수 있습니다. 그렇다면 5차 산업혁명은 어떤 식으로 이루어 질까요? 이 강연에서는 ‘융합’이라는 컨텐츠로 5차 산업혁명이 이루어 질 것이라고 합니다. 그렇다면 융합이란 무엇인지, 어떻게 융합을 이루어 낼 수 있는지 한번 보겠습니다. 1. 인류의 꿈 꿈들의 공통점은 무엇일까요? 여러가지가 있겠지만 근본적으로 꿈은 ‘미래’에 제한되어 있습니다. 그리고 이 미래는 절대 밝지만은 않습니다. 그렇다면 인류의 미래는 어떻게 될까요? 크게 4가지를 말하곤 합니다. 1. 인구 증가, 생물 다양성 현재 한국은 저출산..