패스트캠퍼스 환급챌린지 9일차: Computer Vision Signature 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다

1. 학습 인증샷 

1. 오늘 날짜 + 공부 시작 시각보이는 사진 1장

2. 오늘 날짜 + 공부 종료 시각이 보이는 사진 1장 

3. 1개 클립수강 인증사진 1장(강의 화면 x/목록캡처 추천)

4. 학습 인증샷 1장 이상(필기, 작업물)

 

 

공부 시작 시간: 2025-11-20 오전 10:25

공부시작 범위 : Ch02-03.DERT

공부 종료시각 : 2025-11-20 오후 12:09

공부 범위 : ch02-03, 04 DETR

학습인증샷 -필기

 

 

2. 학습 후기 700자 이상

- 오늘 배운 학습 내용을 정리하고, 흥미로웠던 부분과 이를 내 업무에 어떻게 적용할 수 있을지 기록

오늘 수강한 주제는 DETR이라는 Object Detection에 트랜스포머 구조를 적용한 모델이었다. 기존 방법들의 다수의 바운딩 박스를 기반으로 물체를 인식해오던 방식에서의 문제점은 중복된 많은 예측 연산들이 필요했다는 것이다. 리전 프로포절, 앵커박스, 윈도우 센터 등 보조적인 요소를 통해 셋을 찾는 간접적인 방식은 모델을 느리고 무겁게 하는 단점들이 있었다. DETR은 이러한 문제점을을 효과적으로 줄이기 위해 시도된 모델이다.

DETR의 특징은 트랜스 포머 구조와 오브젝트 디텍션 자체에 Set Prediction을 적용하여 BBox와 Class를 다이렉트로 예측할 수 있게 한 점이 특징이다. 양방향성을 갖는 biparticle matching Loss를 사용하여 CoCo 데이터셋을 적용했을 때 Fast-RNN성능과 비교해 효율적인 결과를 도출했다. 

트랜스포머 구조를 이용하여 fast-RNN에 비해 전역적 정보를 활용할 수 있다는 이점으로 크기가 큰 객체를 훨씬 좋게 만들었다는 점이 특별하다.

필수 요소로는 Find Optimal matching 시스템을  Predicted Bounding Box와 Ground truth box사이의 유니크한 matching을 수행할 수 있다는 점이다. Set Predicting Loss를 제한하고 한번에 Find path를 통해 Object사이의 관계를 파악하게 한다. 이러한 Set Prediction Loss는 결과적으로 고정된 N개의 크기 즉 예측해야될 수보다 조금 더 많은 N을 통하여 수행하고 Ground truth set은 N개로 구성하여 실제 검출에 3개가 필요하면 나머지 N값을 패딩처리하여 두 요소간의 양방향 매칭을 비용최소화를 도모하며 매칭 수행한다. 

BBOX의 Loss를 계산하는 식이 나오는데 이것은 전혀 이해를 못하겠다. ㅎㅎ 일단 이건 천재들이 연구해놓은 결과라...이걸 보면서 아~인공지능 알고리즘 설계연구는 괜히 돈을 많이 받는 것이 아니구나하고 느낀다.  구성은 L1LOSS + GIoU LOSS를 함께 사용한다. L1 Loss는 기존 써오던 방식으로 느껴지는데 BBox를 다이렉트로 예측하기 위해 거리오차를 계산하며 예측값 범주를 찾는 것 같고, 이것이 부족하여 GIoU Loss(Generalized Intersection Over Union)이 겹치는 영역을 활용해 Box 스케일 즉 경계박스를 형성하는데 도와주는 듯하다. 

알고지즘에는 헝가리안 알고리즘(Hungryian Argorith)이 활용되는데 이는 인접행렬을 통한 비용이 가장 적은 연결성 매칭결과를 찾는 최적의 커넥션 찾기에 대한 알고리즘인 듯하다. 또하나의 몰랐던 알고리즘을 보니 과제가 생긴다 ㅎㅎ. 이 알고리즘은 이미지 내 두개 이상의 객체가 있을 때 예측된 BBox에서 Cost에 대한 행려을 만들어 행축의 예측한 Bounding Box와 열축의 Ground-Truth가 최적의 펄뮤테이션을 갖는 커넥션을 찾아가는데 도와주는 듯 하다. 

RETR 구조의 경우 CNN백본으로 ResNet이 들어가고 Transfomer를 응용한 Encoder + Decorder 그리고 Prediction heads를 갖는다. 

특징으로는 반복되는 예측을 제거하기 위한 Set prediction구조가 들어갔다는 것인데 이는 Object Detect + Predict집합 + Ground Truth Box집합으로 구성되어 다이렉트 매칭 작업을 한다. 모듈 같이 느껴진다. 기존 NLP의 Transformer와의 차이점으로는 Encoder 입력값이 text가 아닌 이미지 피쳐 즉 CNN백본에서 추출된 Feature맵이 들어가며 Positional Encoding의 경우 xy방향이 있는 2차원 공간적 피처맵을 형성한다. Decoder에서는 Object 쿼리라는 개념이 나오고 Decoder에서 첫번째 Atttention 연산의 경우 masked 가 적용된 것이 아닌 바로 멀티헤드셀프 어텐션이 동시 동작한다는 점이 특징이다. Head에서는 두개의 헤드가 작동하는데 이미지내 객체를 예측하는 것과 클래스의 Probability를 예측하여 결과를 도출한다는 점이다. 

네트워크 구조를 살펴보면 Backbone의 ResNet기반의 CNN을 통해 2048채널의 축소된 피처맵을 포지셔널 인코딩하여 representation을 학습한 메모리로 출력하게 한다. endcoder의 경우 차원축소, spacial positional encoding 등 과정을 거쳐 누적합한 결과를 x,y축으로 변환 encoding결과값으로 나와 멀티해드 셀프 어텐션에 넣어준다. Decoder에서 런어블 파라미터인 Object queries를 통해 인코딩 메모리와 결합해 Prediction Head에 보넨다. 3개의 리니어 레이어와 ReLU로 구성된 헤드는 FFN을 통해 Class, Box로 구분한다. 

전체적인 특징이 트랜스포머를 사용하여 CNN보다 전역적 특징을 가지고 모델을 가볍게 했다는 것 같으나 어렵다.

 

 

 

 

 

 

 

 

 

 

 

패스트캠퍼스 URL

https://fastcampus.info/4oKQD6b