패스트캠퍼스 환급챌린지 4일차: Computer Vision Signature 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다

 

1. 학습 인증샷 

1. 오늘 날짜 + 공부 시작 시각보이는 사진 1장

2. 오늘 날짜 + 공부 종료 시각이 보이는 사진 1장 

3. 1개 클립수강 인증사진 1장(강의 화면 x/목록캡처 추천)

4. 학습 인증샷 1장 이상(필기, 작업물)

 

 

공부시작 : 2025-11-15 오전 10:19

공부 시작 범위 : Ch01-06 Swin Transformer~

공부 종료 시간 : 2025-11-15, 오전 11:23

공부 종료 범위 : ch01-06, ch01-07 DINO

학습 인증샷 -필기

학습인증샷 - 필기

 

 

2. 학습 후기 700자 이상

- 오늘 배운 학습 내용을 정리하고, 흥미로웠던 부분과 이를 내 업무에 어떻게 적용할 수 있을지 기록

 

오늘 배운 주제는 SWIM Transformer와 DINO에 대한 개념이었다. 둘 다 ViT(Vision Transformer)모델이 갖고 있는 문제점들을 조금씩 개선하고자 하던 연구자들의 결과적 모델이었다. 2D Vision model의 현재 나온 것 중 DINO를 끝으로 3D Computer Vision을 들어가는데 정리를 잘 해놓아야 할 듯하다. 역시나 강의는 서술적인 강의였다. 내 스스로 탐구하지 않으면 절대 모델을 구현하기 조차 힘들 듯하다. 

 SWIM Transformer는 컴퓨터 비전을 유연하게 적용하기 위한 모델이다. ViT가 가지고 있단 16x16 고정토큰에서 오는 시각적 특징 판단의 한계, 즉 스케일에 대한 경직성, Global Self Attention의 사용시 픽셀이 많아지면 연산량이 늘어나는 문제, Classification Task에서 벡터화로 인한 단순성의 문제점들을 개선하고자 노력하였다. 기존 ViT에서 고정되었던 패치 크기를 단계적으로 4x에서 8x 그리고 최종 16x로 변해가면서 나눠가며 특징을 추출한다는 것이 핵심이다. Shited-Window기반의 Self-Attention은 말 그대로 특지응ㄹ 잡아낼 때 연산량을 줄여가면서 local부분에서 전체적으로 파악하는데 선형 계산 복잡도 등 연산량을 개선하였다. 이는 Window 크기를 경계영역에서 걸쳐서 번갈아 작업하므로 가능하다. Window 개수의 증가로 오는 문제점은 Cycling Shift 개념을 도입하여 다시 동일한 크기로 만든 후 reverse cyclic Shift를 통하여 효과적인 배치 컴퓨팅을 하게 하는 모델이다. 

모델도 T, S, B(기본), L로 다양하게 나눠 놓아 범용적으로 활용하게 만들어 놓았다. 

 DINO는 기존 ViT구조에서 Self-Supervised Learning 부분에 초점을 맞춰 개선하려고 하였다. Distillation기반 학습이라는 기술을 도입하였다. 기존 ViT는 NLP기반의 많은 양의 데이터를 사전학습을 통하여 fine 튜닝하는 방법으로 진행되는데 이에 따른 인덕티브 바이오스가 부족하거나 계산비용이 많이 드는 문제를 계선하고자 하였다. DINO는 NLP의 Pretraing 성공사례를 기반으로 목적함수 학습을 통한 더 풍부한 학습이 가능하게 하고자 하였다. 레이블링 없이 직접 예측하는 특징을 갖고 센터링과 샤프닝이라는 모델 안정화를 도모하였다. 이를 통해 파인튜닝이 없이도 모델의 효율적인 구조를 만든다. 구조적으로 Student모델과 Teacher모델을 만들어 둘이 서로 예측하여 연동하게 만든다. 방식은 Multi-crop Strategy, Momentum teacher, 그리고 모델 붕괴를 막고자 centering, sharpening기술을 활용하였다는 것이다. 아키텍쳐는 ViT나 ResNet을 백본으로 활용하여 Projection head에 세개의 레이어MLP를 집어넣고 이를 노말라이제이션을 통해 출력한다. EMA등이 용어들이 나오는데 어렵다. 전체적인 구조를 보고 하나씩 분석해보아야 할 듯하다. 구현은 더 힘들겠구만...ㅎㅎ 강의가 특징만 언급해준다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

패스트캠퍼스 URL

https://fastcampus.info/4oKQD6b