2월 11일부터 2월 27일까지 오사카에 머무르게 되었다. 학교에서 주관하는 해외지역연구프로그램(단기 교환학생)에 참여하여 오사카 가쿠인대학교에서 2주동안 수업을 듣는다. 현 시각 12시 29분, 하루가 상당히 고되어서 눈이 저절로 감기지만 오늘 내가 받은 느낌들을 잊지 않기 위해 몇 글자 끄적이고 자려고 한다. 1. From ICU to KIX 오늘 8시 반에 출발해서 서울역 찍고 공항철도선을 타고 인천공항으로 갔다. 12시 10분에 출발해서 1시 50분에 도착하였다. 비행기에서 바라본 하늘의 모습이 정말 예뻤다. 2. In KIX 맥도날드에서 점심 오사카 간사이 공항에 1시 50분에 도착하고 먼저 점심을 먹기 위해 맥도날드를 갔다. 빠르게 햄버거를 먹어 치우고 공항을 좀 둘러보았다. 간사이공항에 도착..
2022년 9월 17일 송도에서 열린 GDG (google Developer Groups) 강연에 참여하였다. Tensorflow, Pytorch 외에 새로운 프레임워크인 Google JAX, Graph Neural Network 등등 여러 강연이 있었으며, 내가 요즘 관심이 있는 금융(NFT)기술과 AI(MLOps)를 다룬 강연도 있었다. 재밌게 들은 것 같아 요약하려고 한다. https://danielkim88.notion.site/GDG-Incheon-Machine-Learning-Meetup-2022-ebdd35fa8b624f40859ccd90e95115c0 GDG Incheon Machine Learning Meetup 2022 날짜 및 시간 danielkim88.notion.site 블록체인 ..
[2023-03-27] Title Success/Fail Detail&Feedback GPU Set_UP with installing cudnn 🔄 - GPU Set Up시에는 tensorflow-gpu, CUDA, cudnn 세 개의 버전이 다 호환이 되어야 함. - cudnn의 버전 재설치 및 설정 필요 [2023-03-28] Title Success/Fail Detail&Feedback GPU Set UP with installing cudnn ✅ - ipynb 파일 3개 이상 실행 못함. Training dcgan with fashion mnist dataset ✅ Training wgan with fashion mnist dataset ✅ Training ddpm with fashion mnis..
Conceptual Modeling Conference 1월 17일, IEEE BigComp 내 Conceptual Modeling Workshop에 참여하여 논문을 발표하였다. 주제는 Transformer Networks for Trajectory Classification이다. 주로 Trajectory Analysis는 자연어처리에 속하기 때문에 LSTM을 사용한다. 하지만 LSTM은 입력 시퀀스의 길이가 길어지게 되면 encoder에서 decoder로 정보를 전달하는 과정에서 정보의 손실(병목현상)이 발생하게 된다. 이러한 LSTM의 문제점을 보완하기 위해 등장한 Transformer는 attention mechanism을 이용한다는 특징이 있다. 이러한 Transformer의 특징을 활용하여 Tr..
11월 10일 수요일 세미나 두 번째 발표 시간에 발표를 했다. 주제는 Transformer Network를 이용하여 사람들의 경로를 예측한 paper를 review하였다. 간단하게 세미나때 다루었던 주제들을 요약해서 업로드한다. 첫 번째 발표 주제 : Few-shot learning 논문 : https://arxiv.org/pdf/1703.05175.pdf Few-shot learning이란 데이터의 양이 적을 때 사용할 수 있는 학습 방법으로, training 과정에서 학습한 기존의 레이블이 아닌 다른 레이블을 입력 받았을 때 기존의 레이블에 포함이 되는지 안되는지(0,1 sigmoid)를 판별하는 학습 방법이다. 한 마디로 학습하는 방법을 학습(?)하는 방법이다 예를 들어, training할 때는 ..
Part 1. 논문소개 논문 : Self Attention with Relative Position Representation works 요약 Attention is All you need 논문의 다음편 논문이다. Transformer의 초기 모델은 absolute positional encoding 방식을 사용하였는데, 본 논문에서 소개되는 Transformer 논문은 Relative Positional Encoding(RPR)을 이용한다. 위 논문에서 embedding을 할 때는 기존모델과 달리 embedding matrix와 embedding look up table을 참고하여 변환한다. 예를 들면 5단어로 구성된 문장은 한 개의 단어를 기준으로 좌우로 4개의 단어와의 어텐션(관련성)을 탐색하여 e..
-> 8월 15일부터 8월 20일까지 Dacon 인공지능 챌린지에 참여하였다. 지금까지는 딥러닝을 이론으로만 배웠었는데, 이렇게 실제로 딥러닝을 적용해보니 많은 것들을 배울 수 있었다. 그러나 많이 배웠다는 것은 그 만큼 많은 시행착오를 거쳤다는 것! 내가 배운 것과 닥쳤던 어려움들과 해결방법들을 정리해서 포스팅하고자 한다. https://www.dacon.io/competitions/official/235750/overview/description 2021 인하 인공지능 챌린지 - DACON 2021 인하 인공지능 챌린지 [주제] 안면 인식 기반 신원 검증 (face verification) [대회 설명] 안면 인식 인공지능을 기반으로 한 생체 인식 기술 중 하나로서 주어진 얼굴 영상과 데이터베이스에 ..
Q1. 해외 석박사를 해야만 해외 취업이 가능한가? 반드시 해외에서 해야하는 것은 아니다. 본인도 해외 대학 출신이 아니다. Q2. 해외에서의 SoftWare Engineering 대우는? 괜찮은 편. 미국은 현재 소프트 엔지니어링에 대한 salary가 박사 학위만큼보다 같거나 더 높음. Q3. 어떤 기회로 국내에서 해외로 나가게 되었는가? 해외 기업에 입사하는데 대략 8개월 정도 걸렸다. 특히 영어공부를 열심히 하였는데 해외 대학 출신도 아니고 어학연수 경험도 없었기에 그만큼 꾸준히 하기 위해 노력하였다. 회사 생활을 하면서 매일 꾸준히 함. 알고리즘은 리코드 같은 곳에서 꾸준히 품. 해외 입사를 위해 한 300문제 정도 풀었다. 지금도 일주일에 30문제 품. Data Structure 분야에서 추천해..
현재는 4차 산업 혁명이 진행되고 있습니다. 4차 산업혁명이라 하면 흔히 인공지능, 빅데이터, 로봇 등 ICT(Information and Communication Technology)가 주된 키워드라고 할 수 있습니다. 그렇다면 5차 산업혁명은 어떤 식으로 이루어 질까요? 이 강연에서는 ‘융합’이라는 컨텐츠로 5차 산업혁명이 이루어 질 것이라고 합니다. 그렇다면 융합이란 무엇인지, 어떻게 융합을 이루어 낼 수 있는지 한번 보겠습니다. 1. 인류의 꿈 꿈들의 공통점은 무엇일까요? 여러가지가 있겠지만 근본적으로 꿈은 ‘미래’에 제한되어 있습니다. 그리고 이 미래는 절대 밝지만은 않습니다. 그렇다면 인류의 미래는 어떻게 될까요? 크게 4가지를 말하곤 합니다. 1. 인구 증가, 생물 다양성 현재 한국은 저출산..
