패스트캠퍼스 환급챌린지 6일차: Computer Vision Signature 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다

1. 학습 인증샷 

1. 오늘 날짜 + 공부 시작 시각보이는 사진 1장

2. 오늘 날짜 + 공부 종료 시각이 보이는 사진 1장 

3. 1개 클립수강 인증사진 1장(강의 화면 x/목록캡처 추천)

4. 학습 인증샷 1장 이상(필기, 작업물)

공부 시작 시각 : 2025-11-17 오전 11:14

공부 시작 범위: ch01-09. DINOv2 로 유사이미지 탐색

공부 종료 시간 : 2025-11-17 오후 12:24

공부 종료 범위 - ch01-09~ch01-10. Graph Nuewral Networks

학습인증샷 - 필기

 

2. 학습 후기 700자 이상

- 오늘 배운 학습 내용을 정리하고, 흥미로웠던 부분과 이를 내 업무에 어떻게 적용할 수 있을지 기록

 

오늘 배운 강의는 어제하던 DINOv2를 이용한 유사 이미지 탐색하기에 대한 코딩 실습과 GNN이라고 불리는 Graph Neural Network이론 강의였다. 

6일차가 들어가니 Computer Vision Signature 강좌에 대한 어느정도 윤곽이 파악되었다. 일단 이것은 입문자를 위한 강의는 아니다. 2D 기본 CNN부터 Transformer까지 전반적인 특징들을 포괄적으로 설명한다. 마지막에 그나마 가장 최신의 DINOv2를 직접 코딩할 수 있게 알려줬으나 이또한 처음 접하는 사람들에게는 따라하기도 벅차겠구나하는 생각이 든다. 요즘은 ChatGPT를 이용해서 공부할 수 있으니 보완해야 한다는 생각으로 배워야한다.   DINOv2 코드실습에서 오늘 만든 함수는 탐색구현 함수다. 어제 만들었던 탐색을 위한 인덱스를 통해 파일을 매칭하여 탐색할 수 있도록 함수를 짠 후 main함수를 통해 파일을 가져와 오픈 CV로 읽어들여 토치를 통하여 임베딩한 후 다운로드 받은 데이터셋에서 이미지를 비교하여 유사한 이미지를 뽑게 만드는 코드였다. 이미 사전학습된 웨이트를 가져와 3개의 최상위 유사 이미지들을 뽑는 것이었다. 

 DINOv2를 배우면서 느낀 점은 이러하다. 입력 이미지를 패치로 분할해서 임베딩한 후 트랜스포머 인코더를 통해 특징을 추출한다. 이후 Self-distillation방식으로 학습을 한다. 주요 구성요소는 이미지 패치분할, 패치 임베딩, 트랜스 포머 인코딩, Projection head, Self supervised loss이다.

영상에서 Top3를 뽑아 매칭시키니 아주 작은 이미지도 맞는다. 문제는 5개의 이미지로 늘리니 적중률이 떨어졌다. 그나마 최신의 DINO도  이정도다. 결국 학습량의 차이인가 싶다. 

 자료구조에 대해 요즘 다시 쳐다보고 있는 나에게 GNN(Graph Neural Network)는 흥미로왔다. 그래프 구조의 이점을 최대한 살려서 패턴을 인식하게 한다는 점이다. 그래프 자체가 워낙 다양해서 어떤 형식적인 좌표 유클리드 같은 공간에 표현하기 어렵지만 추상적 개념을 다루기 슆고, 복잡한 문제에 접근하기 좋고, 관계성 분석 등에서 유용하다는 점에서 이러한 접근이 시도된 듯 하다. 내가 느낀 점은 어떤 여러 spot에서 이웃하고 있는 Node와의 관계성들을 학습을 통해 파악시킨다는 것이었다. 선뜻 그래프의 모양이 다양해서 이것을 학습 시킨다는 것이 쉽지 않다는 것을 무의식적으로 느끼면서도 한편으로는 그러한 노드의 개수가 무한하지 않다면, 가령 어떤 학문이나 종류의 범위가 한정된다면 연관성에 대한 패턴을 찾아내서 어떤 법칙이나 시각화를 한다는 것이 컴퓨터한테는 별 것 아닌 일이 될 수 있겠다는 느낌이 온다. 딱 그런 모델인 것이다. Message Passing 개념이 주요 핵심 개념이었다. 이는 엣지별로 전파되는 각각의 값을 노드별로 합산하여 자기자신을 포함하여 업데이트 한다는 개념이다. 이렇게 자신 노드 주변에서 확장하면서 관계가 어떻게 형성되어있는지 파학하는 것이었다. Over smoothing이라는 넓어지면서 주변정보가 흐릿해지는 현상에 대한 방지책도 4가지가 있었다. 

우리가 CNN에서 Convolution을 통한 훈련과 Transformer에서 Attention을 통해 훈련을 시켜 인식했 듯이 GNN도 똑같이 GCN(Graph Convoutional networks)와 GAN(Graph Attention NetworkS) 두가지 구조가 존재했고, 나름 graph를 분석하기 위해 두 가지 방식에서 오는 특징이 다양했다는 것을 알 수 있었다. 근데 이걸 어떻게 응용해야하지?ㅎㅎ

 

 

 

 

 

 

 

 

 

 

 

 

패스트캠퍼스 URL

https://fastcampus.info/4oKQD6b