패스트캠퍼스 환급챌린지 3일차 : Computer Vision Signature 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

 

1. 학습 인증샷 

1. 오늘 날짜 + 공부 시작 시각보이는 사진 1장

2. 오늘 날짜 + 공부 종료 시각이 보이는 사진 1장 

3. 1개 클립수강 인증사진 1장(강의 화면 x/목록캡처 추천)

4. 학습 인증샷 1장 이상(필기, 작업물)

공부시작 시간 : 2025-11-14 오전 9:14~

공부 시작 범위 : Ch01-05. Vision Transformer

공부 종료시간 : 2025-11-14 오전 9:38

 

공부종료 범위 : ch01-05 vision Transformer

학습 인증샷 - 필기

 

 

2. 학습 후기 700자 이상

- 오늘 배운 학습 내용을 정리하고, 흥미로웠던 부분과 이를 내 업무에 어떻게 적용할 수 있을지 기록

 

 오늘 배운 주제는 ViT라고 불리는 Vision Transformer라는 Transformer개념을 발전시킨 컴퓨터 비전 모델이었다. 이 모델은 입문자인 나에게 어려운 모델 중 하나인데 강의를 통하여 따로 혼자 공부해야 할 듯하다. 특징으로 보자면 CNN계열의 Convloution 부분을 대신하여 Self-Attention이 적용되었다는 것이다. 내부 구조를 보면 Transformer Encoder이라는 개념이 들어왔고 Inductive bias가 없어서 먼저 큰 데이터를 사전학습하고, 이후 작은 데이터에 대한 전이학습을 하여 bias가 없을 때의 단점을 보완했다는 것이다. 

 전체적인 프로세스를 보면 16x16 image를 Patch로 분할하여 이 분할된 패치를 Class Token과 하나씩 대응시켜 벡터화를 진행한다. 이후 Self-Attention을 이용하여 Class token과 Patch의 연산을 하여 MLP Head를 통하여 분류를 하는 구조였다. 

내부적 구조가 아무래도 천재들이 연구를 했기 때문에 다양한 수학적 도입과 연구를 통해서 간단하게 구조를 만들고자 하였다는 것을 알 수 있다. 

Encoder는 다층 구성된 구조로 Multi Head Self Attention과 MLP와의 관계를 보여줬고,  Input Layer의 과정에서 16x16x3채널의 이미지를 패치분할하고 이를 Flatten하여 임베딩한뒤 Class Token을 통하여 위치 Embedding하는 작업을 한다. 이렇게 위치 백터와 전체 압축정보를 Class Token에 담아 Positional Embedding처리하면 위치에 대한 벡터값이 들어가게 되고, 이전 시간에 배운 Self-Attention의 작동 방식이 진행이 되게 된다.

ㅎㅎ 너무 복잡하다. 천재들이 simple하게 정리한 구조일텐데 내가 아직 초보라 많이 어렵다. 그래도 직접 구현해보고 실습을 통하여 활용해 보아야 한한다. Self-attention은 인코딩된 벡터를 넣고 Q(쿼리), K(키), V(벨류) 작업을 해야하는데 이 또한 각각의 내적과 가중합을 통하여 MLP Head로 최종 보낸 후 분류작업을 한다는 것이다. 정말 복잡한 구조이다. 그러나 ViT가 트랜스포머 계열의 시작 모델이라 직접 프로그래밍하여 스스로 구조를 깨닫고 응용할 줄 알아야한다는 것을 느끼는 강의였다. 

 

 

 

 

 

 

 

 

 

 

 

 

패스트캠퍼스 URL

https://fastcampus.info/4oKQD6b