shootingstarh 님의 블로그

패스트캠퍼스 환급챌린지 9일차: Computer Vision Signature 강의 후기

shootingstarh — Thu, 20 Nov 2025 13:50:26 +0900

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다

1. 학습 인증샷

1. 오늘 날짜 + 공부 시작 시각보이는 사진 1장

2. 오늘 날짜 + 공부 종료 시각이 보이는 사진 1장

3. 1개 클립수강 인증사진 1장(강의 화면 x/목록캡처 추천)

4. 학습 인증샷 1장 이상(필기, 작업물)

공부 시작 시간: 2025-11-20 오전 10:25

공부시작 범위 : Ch02-03.DERT

공부 종료시각 : 2025-11-20 오후 12:09

공부 범위 : ch02-03, 04 DETR

학습인증샷 -필기

2. 학습 후기 700자 이상

- 오늘 배운 학습 내용을 정리하고, 흥미로웠던 부분과 이를 내 업무에 어떻게 적용할 수 있을지 기록

오늘 수강한 주제는 DETR이라는 Object Detection에 트랜스포머 구조를 적용한 모델이었다. 기존 방법들의 다수의 바운딩 박스를 기반으로 물체를 인식해오던 방식에서의 문제점은 중복된 많은 예측 연산들이 필요했다는 것이다. 리전 프로포절, 앵커박스, 윈도우 센터 등 보조적인 요소를 통해 셋을 찾는 간접적인 방식은 모델을 느리고 무겁게 하는 단점들이 있었다. DETR은 이러한 문제점을을 효과적으로 줄이기 위해 시도된 모델이다.

DETR의 특징은 트랜스 포머 구조와 오브젝트 디텍션 자체에 Set Prediction을 적용하여 BBox와 Class를 다이렉트로 예측할 수 있게 한 점이 특징이다. 양방향성을 갖는 biparticle matching Loss를 사용하여 CoCo 데이터셋을 적용했을 때 Fast-RNN성능과 비교해 효율적인 결과를 도출했다.

트랜스포머 구조를 이용하여 fast-RNN에 비해 전역적 정보를 활용할 수 있다는 이점으로 크기가 큰 객체를 훨씬 좋게 만들었다는 점이 특별하다.

필수 요소로는 Find Optimal matching 시스템을 Predicted Bounding Box와 Ground truth box사이의 유니크한 matching을 수행할 수 있다는 점이다. Set Predicting Loss를 제한하고 한번에 Find path를 통해 Object사이의 관계를 파악하게 한다. 이러한 Set Prediction Loss는 결과적으로 고정된 N개의 크기 즉 예측해야될 수보다 조금 더 많은 N을 통하여 수행하고 Ground truth set은 N개로 구성하여 실제 검출에 3개가 필요하면 나머지 N값을 패딩처리하여 두 요소간의 양방향 매칭을 비용최소화를 도모하며 매칭 수행한다.

BBOX의 Loss를 계산하는 식이 나오는데 이것은 전혀 이해를 못하겠다. ㅎㅎ 일단 이건 천재들이 연구해놓은 결과라...이걸 보면서 아~인공지능 알고리즘 설계연구는 괜히 돈을 많이 받는 것이 아니구나하고 느낀다. 구성은 L1LOSS + GIoU LOSS를 함께 사용한다. L1 Loss는 기존 써오던 방식으로 느껴지는데 BBox를 다이렉트로 예측하기 위해 거리오차를 계산하며 예측값 범주를 찾는 것 같고, 이것이 부족하여 GIoU Loss(Generalized Intersection Over Union)이 겹치는 영역을 활용해 Box 스케일 즉 경계박스를 형성하는데 도와주는 듯하다.

알고지즘에는 헝가리안 알고리즘(Hungryian Argorith)이 활용되는데 이는 인접행렬을 통한 비용이 가장 적은 연결성 매칭결과를 찾는 최적의 커넥션 찾기에 대한 알고리즘인 듯하다. 또하나의 몰랐던 알고리즘을 보니 과제가 생긴다 ㅎㅎ. 이 알고리즘은 이미지 내 두개 이상의 객체가 있을 때 예측된 BBox에서 Cost에 대한 행려을 만들어 행축의 예측한 Bounding Box와 열축의 Ground-Truth가 최적의 펄뮤테이션을 갖는 커넥션을 찾아가는데 도와주는 듯 하다.

RETR 구조의 경우 CNN백본으로 ResNet이 들어가고 Transfomer를 응용한 Encoder + Decorder 그리고 Prediction heads를 갖는다.

특징으로는 반복되는 예측을 제거하기 위한 Set prediction구조가 들어갔다는 것인데 이는 Object Detect + Predict집합 + Ground Truth Box집합으로 구성되어 다이렉트 매칭 작업을 한다. 모듈 같이 느껴진다. 기존 NLP의 Transformer와의 차이점으로는 Encoder 입력값이 text가 아닌 이미지 피쳐 즉 CNN백본에서 추출된 Feature맵이 들어가며 Positional Encoding의 경우 xy방향이 있는 2차원 공간적 피처맵을 형성한다. Decoder에서는 Object 쿼리라는 개념이 나오고 Decoder에서 첫번째 Atttention 연산의 경우 masked 가 적용된 것이 아닌 바로 멀티헤드셀프 어텐션이 동시 동작한다는 점이 특징이다. Head에서는 두개의 헤드가 작동하는데 이미지내 객체를 예측하는 것과 클래스의 Probability를 예측하여 결과를 도출한다는 점이다.

네트워크 구조를 살펴보면 Backbone의 ResNet기반의 CNN을 통해 2048채널의 축소된 피처맵을 포지셔널 인코딩하여 representation을 학습한 메모리로 출력하게 한다. endcoder의 경우 차원축소, spacial positional encoding 등 과정을 거쳐 누적합한 결과를 x,y축으로 변환 encoding결과값으로 나와 멀티해드 셀프 어텐션에 넣어준다. Decoder에서 런어블 파라미터인 Object queries를 통해 인코딩 메모리와 결합해 Prediction Head에 보넨다. 3개의 리니어 레이어와 ReLU로 구성된 헤드는 FFN을 통해 Class, Box로 구분한다.

전체적인 특징이 트랜스포머를 사용하여 CNN보다 전역적 특징을 가지고 모델을 가볍게 했다는 것 같으나 어렵다.

패스트캠퍼스 URL

https://fastcampus.info/4oKQD6b

패스트캠퍼스 환급챌린지 8일차: Computer Vision Signature 강의 후기

shootingstarh — Wed, 19 Nov 2025 12:57:55 +0900

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다

1. 학습 인증샷

1. 오늘 날짜 + 공부 시작 시각보이는 사진 1장

2. 오늘 날짜 + 공부 종료 시각이 보이는 사진 1장

3. 1개 클립수강 인증사진 1장(강의 화면 x/목록캡처 추천)

4. 학습 인증샷 1장 이상(필기, 작업물)

공부 시작 시각 : 2025-11-19 오전 10:30

공부시작 범위 : Ch02-02 EfificientDet

공부 종료시간: 2025-11-19 오후 12:23

공부 종료 범위 : Ch02-02 EfficientDet

학습 인증샷 -필기

2. 학습 후기 700자 이상

- 오늘 배운 학습 내용을 정리하고, 흥미로웠던 부분과 이를 내 업무에 어떻게 적용할 수 있을지 기록

오늘 배운 단원은 Object Detector의 하나인 EfficientDet에 대한 강의였다. 지난 시간 YOLO에 대해 계보를 알아봤듯이 이번 강의에서도 EfficientDet에 대한 구조와 특징에 대해 전반적으로 살펴보았다. 이름에서 알 수 있듯이 EfficientNet 모델을 백본으로 적용해 만든 것을 알 수 있다.

EfficientDet의 특징으로는 BiFPN 구조의 제안과 Compound Scailing의 두가지 특징을 갖고 있었다. 전체적으로 파라미터 개수가 많던 기존 모델을 줄이고 적은 연산 대비 높은 정확도를 올리기 위한 모델이었다.

BiFPN은 양방향 학습메커니즘으로 멀티스케일 피쳐퓨전 기법을 사용하여 다른 input feature의 중요도를 반영하였다. 이는 네트워크에서 궁극적인 목적인 멀티스케일 피쳐조합이 서로 다른 피처를 잘 응집시킬 수 있는 함수가 필요하다는 전제에서 시작된다. FPN-PANet-NAS-FPN의 계보에서 각각 이전 방식의 단점을 보완하여 BiFPN으로 발전된 것이다. 이전 NAS0FPN의 경우 옵티컬한 스케일 커넥션을 찾기 위해 뉴럴 아키텍처 서치를 이용하였으나 탐색시간이 길고, 탐색 결과 반영에도 문제점이 있었다. 따라서 성능향상을 위해 정확성과 효율성을 높이고자 엣지의 경우 하나만 있는 노드들은 영향력이 적다고 여겨 제거하고 노드들간 레벨상 비교를 통하여 동일한 레벨에 있는 경우에는 오리지날 인풋을 추가하여 연관성을 높인다. 패스는 앞 모델들에 비해 좀 더 유연하게 피처 네트워크를 구성했으며 단순 1회성이 아닌 Repeted Blocks 개념으로 작동한다. Weighted Feature Fusion의 경우 서로 다른 결과를 갖는 가중치가 부여된 feature fusion을 Fast normalization을 통하여 해결하려 하였다. 이는 이전 softmax의 GPU연산시 느려지는 문제를 30프로 이상 향상시킨 방법이라고 한다.

백본으로 쓰는 EfficientNet은 7층의 구조로 Compound Scale 상관계수를 적용하여 디멘션 조정 및 Resolution 조정을 하였고 Input resolution에서 서로 다른 compound 상관계수를 사용하여 D0~D7까지 모델을 개발하였다. 결과적으로 Latency 등의 효율을 도모하였다.

오늘도 과제가 쌓여간다. 이것을 강의로만 듣고 끝내면 무슨 의미가 있을까? 혼자 스스로 실습을 해보아야한다.

패스트캠퍼스 URL

https://fastcampus.info/4oKQD6b

패스트캠퍼스 환급챌린지 7일차: Computer Vision Signature 강의 후기

shootingstarh — Tue, 18 Nov 2025 14:54:18 +0900

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다

1. 학습 인증샷

1. 오늘 날짜 + 공부 시작 시각보이는 사진 1장

2. 오늘 날짜 + 공부 종료 시각이 보이는 사진 1장

3. 1개 클립수강 인증사진 1장(강의 화면 x/목록캡처 추천)

4. 학습 인증샷 1장 이상(필기, 작업물)

공부 시작 시각 : 2025-11-18 오후 12"58

공부 시작 범위 : Ch02-01 YOLO

공부 종료 시각 : 2025-11-18 오후 2:17

공부 종료 범위 : Ch02-01 YOLO

학습 인증 샷 - 필기

2. 학습 후기 700자 이상

- 오늘 배운 학습 내용을 정리하고, 흥미로웠던 부분과 이를 내 업무에 어떻게 적용할 수 있을지 기록

오늘 배운 것은 2차원 객체 검출과 분할 파트에서 유명한 YOLO에 대한 전체적인 모델별 특징 및 구조에 대해 공부하였다. 이 강의는 절대 입문자는 들을 수 없는 수준이었다. 다행히 한번 정도는 접해본 나에게는 YOLOv5를 통하여 작업을 해보았기에 그나마 이해는 했으나 이후 버전에 대한 정리는 불분명하였다. 그냥 받아쓰는 수준이고 이 모델들을 어떻게 팔로우하느냐가 또하나의 과제가 되겠다.

YOLOv1(2016)은 "You Only Look Once"라는 논문의 이름으로 발표되었다고 한다. One Stage object detection이라는 개념으로 입력이미지를 grid로 나눠서 Bounding Boxe 와 Class probablilty map을 통하여 동시 예측이 가능게 한다는 점이 핵심이었다. 오버랩된 IOU? Confience Score, Non maximum 서프레션 방법등이 기법으로 도입되었다한다.

YOLOv2는 YOLO9000이라는 이름의 논문으로 소개되었고, Anchor Box가 도입되어 여러개의 크기로 정해둔 어떤 형태를 가진 박스를 이용해 바운딩 박스로 활용하게 한다. Batch Normalization을 적용하여 기존 Dropout들을 제거하고 대체하였다. 분류 데이터와 detection 데이터 통합 학습을 통하여 성능을 개선하였다. 9000이라는 개념은 데이터셋 이미지넷과 coco데이터셋 9000개 클래스를 탐지하여 붙인 것이라 한다.

YOLOv3의 특징은 FPN(Feature Pyramid Network)개념을 적용하여 더 복잡한 객체 탐지를 하게 만들었다. 백본으로 ResNet구조의 skip Connection개념을 반영한 DarkNet53을 사용하여 멀티클래스, 작은 객체 탐지를 강화했다.

YOLOv4는 다양한 데이터 증강기법으로 학습하여 성능과 속도를 최적화 도모하였다. CSPDarknet53을 백본으로 하였고, SPP, PANet, 등의 구조를 도입하여 파라미트를 늘려 모자이크 등의 다양한 기법을 통해 대규모 고성능 없어도 학습이 가능하도록 하였다.

YOLOv5는 데이터 증강 기법 강화, 설치 및 사용성이 더 쉬어지게 경량화하였다. 이 버전부터 커뮤니티 기반으로 제작되었고 모델도 S, M, I, X로 다양하게 나오게 된다. 바틀렛 cSP네트워크를 통해 각 계층에 연산량이 균등하게 하고 필요에 따라 선택할 수 있게 만들었다. 산업 현장에서 가장 많이 활용되고 데이터 증강에서 오토 앵커를 반영, 텐서 할티 등 매도 옵션을 제공한다.

YOLOX는 anchor free모델을 통해 센터 좌표값 하나만 Positive샘플로 활용하여 3x3 하나의 지점이 다수 Box처리하게 도모하였다

YOLOv6는 객체 탐지 성능최적화로 더 가볍고 빨라진 것이 특징이다. v7이 먼저 나왔다고 한다. 앵커프리방식, 백본으로는 EfificientRep라는 YOLOv5 구조를 기반으로 변형 시킨 모델을 기반으로 하였고 Rep-PAN을 통하여 하드웨어 동작 효율성을 노렸고, Quantization , Self Distillation개념을 도입하였다.

YOLOv7는 속도와 정확도간 균형을 맞춘 모델로, E-ELAN 구조를 도입하여 파라미터를 쌓아도 효율성을 유지하게 재파라미터 개념을 도입하였다. 레이블 어사이먼트도 예전에 나왔던 것 대비 소프트레이블은 다이나믹하게 Assignment하게 하였다.

YOLOv8경우 백본으로 YOLOv5를 변형하였다. C3모듈을 C2f로 변형하여 Spacial Attention등으로 위치적 요소를 고려하여 객체감지 성능을 향상시켰고, PANet, SPP등 개입을 이용하였다.
YOLOv9 - PGI 도입으로 정보 병목현상 완화하고 Programmable Gradient Information개념을 도입하였다. 백본과 Neck을 완전히 교체하여 크기가 다양한 객체, 실시간 성능이 높아졌다.

YOLOv10 - Dual label assignment, Rank-Guided block designt등을 도입하여 중복연산 제거하고 공간과 채널에서 효율적으로 하도록 했다.

YOLOv11 - 많은 Task 활용하여 객체, 탐지, 분할, 분류 등 다양한 작업을 지원한다. 효율성 및 최적화를 도모하였고, SPPF. C2PSA, C3K2등 개념이 나온다.

이 모든 것을 어떻게 정리하고 팔로우하며 실습하는지는 각자에게 남겨진 과제이다 ㅎㅎ

패스트캠퍼스 URL

https://fastcampus.info/4oKQD6b

패스트캠퍼스 환급챌린지 6일차: Computer Vision Signature 강의 후기

shootingstarh — Mon, 17 Nov 2025 14:39:56 +0900

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다

1. 학습 인증샷

1. 오늘 날짜 + 공부 시작 시각보이는 사진 1장

2. 오늘 날짜 + 공부 종료 시각이 보이는 사진 1장

3. 1개 클립수강 인증사진 1장(강의 화면 x/목록캡처 추천)

4. 학습 인증샷 1장 이상(필기, 작업물)

공부 시작 시각 : 2025-11-17 오전 11:14

공부 시작 범위: ch01-09. DINOv2 로 유사이미지 탐색

공부 종료 시간 : 2025-11-17 오후 12:24

공부 종료 범위 - ch01-09~ch01-10. Graph Nuewral Networks

학습인증샷 - 필기

2. 학습 후기 700자 이상

- 오늘 배운 학습 내용을 정리하고, 흥미로웠던 부분과 이를 내 업무에 어떻게 적용할 수 있을지 기록

오늘 배운 강의는 어제하던 DINOv2를 이용한 유사 이미지 탐색하기에 대한 코딩 실습과 GNN이라고 불리는 Graph Neural Network이론 강의였다.

6일차가 들어가니 Computer Vision Signature 강좌에 대한 어느정도 윤곽이 파악되었다. 일단 이것은 입문자를 위한 강의는 아니다. 2D 기본 CNN부터 Transformer까지 전반적인 특징들을 포괄적으로 설명한다. 마지막에 그나마 가장 최신의 DINOv2를 직접 코딩할 수 있게 알려줬으나 이또한 처음 접하는 사람들에게는 따라하기도 벅차겠구나하는 생각이 든다. 요즘은 ChatGPT를 이용해서 공부할 수 있으니 보완해야 한다는 생각으로 배워야한다. DINOv2 코드실습에서 오늘 만든 함수는 탐색구현 함수다. 어제 만들었던 탐색을 위한 인덱스를 통해 파일을 매칭하여 탐색할 수 있도록 함수를 짠 후 main함수를 통해 파일을 가져와 오픈 CV로 읽어들여 토치를 통하여 임베딩한 후 다운로드 받은 데이터셋에서 이미지를 비교하여 유사한 이미지를 뽑게 만드는 코드였다. 이미 사전학습된 웨이트를 가져와 3개의 최상위 유사 이미지들을 뽑는 것이었다.

DINOv2를 배우면서 느낀 점은 이러하다. 입력 이미지를 패치로 분할해서 임베딩한 후 트랜스포머 인코더를 통해 특징을 추출한다. 이후 Self-distillation방식으로 학습을 한다. 주요 구성요소는 이미지 패치분할, 패치 임베딩, 트랜스 포머 인코딩, Projection head, Self supervised loss이다.

영상에서 Top3를 뽑아 매칭시키니 아주 작은 이미지도 맞는다. 문제는 5개의 이미지로 늘리니 적중률이 떨어졌다. 그나마 최신의 DINO도 이정도다. 결국 학습량의 차이인가 싶다.

자료구조에 대해 요즘 다시 쳐다보고 있는 나에게 GNN(Graph Neural Network)는 흥미로왔다. 그래프 구조의 이점을 최대한 살려서 패턴을 인식하게 한다는 점이다. 그래프 자체가 워낙 다양해서 어떤 형식적인 좌표 유클리드 같은 공간에 표현하기 어렵지만 추상적 개념을 다루기 슆고, 복잡한 문제에 접근하기 좋고, 관계성 분석 등에서 유용하다는 점에서 이러한 접근이 시도된 듯 하다. 내가 느낀 점은 어떤 여러 spot에서 이웃하고 있는 Node와의 관계성들을 학습을 통해 파악시킨다는 것이었다. 선뜻 그래프의 모양이 다양해서 이것을 학습 시킨다는 것이 쉽지 않다는 것을 무의식적으로 느끼면서도 한편으로는 그러한 노드의 개수가 무한하지 않다면, 가령 어떤 학문이나 종류의 범위가 한정된다면 연관성에 대한 패턴을 찾아내서 어떤 법칙이나 시각화를 한다는 것이 컴퓨터한테는 별 것 아닌 일이 될 수 있겠다는 느낌이 온다. 딱 그런 모델인 것이다. Message Passing 개념이 주요 핵심 개념이었다. 이는 엣지별로 전파되는 각각의 값을 노드별로 합산하여 자기자신을 포함하여 업데이트 한다는 개념이다. 이렇게 자신 노드 주변에서 확장하면서 관계가 어떻게 형성되어있는지 파학하는 것이었다. Over smoothing이라는 넓어지면서 주변정보가 흐릿해지는 현상에 대한 방지책도 4가지가 있었다.

우리가 CNN에서 Convolution을 통한 훈련과 Transformer에서 Attention을 통해 훈련을 시켜 인식했 듯이 GNN도 똑같이 GCN(Graph Convoutional networks)와 GAN(Graph Attention NetworkS) 두가지 구조가 존재했고, 나름 graph를 분석하기 위해 두 가지 방식에서 오는 특징이 다양했다는 것을 알 수 있었다. 근데 이걸 어떻게 응용해야하지?ㅎㅎ

패스트캠퍼스 URL

https://fastcampus.info/4oKQD6b

패스트캠퍼스 환급챌린지 5일차: Computer Vision Signature 강의 후기

shootingstarh — Sun, 16 Nov 2025 15:10:51 +0900

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다

1. 학습 인증샷

1. 오늘 날짜 + 공부 시작 시각보이는 사진 1장

2. 오늘 날짜 + 공부 종료 시각이 보이는 사진 1장

3. 1개 클립수강 인증사진 1장(강의 화면 x/목록캡처 추천)

4. 학습 인증샷 1장 이상(필기, 작업물)

공부 시작 시각: 2025-11-16 오후 1:48

공부 시작 : ch01-08 DINOv2로 유사 이미지 탐색하기(1)

공부 종료 시각 : 2025-11-16 오후 2:39

공부 종료 범위 : ch01-08. DINOv2로 유사한 이미지를 탐색하기 1강

학습 인증 샷 - 필기

2. 학습 후기 700자 이상

- 오늘 배운 학습 내용을 정리하고, 흥미로웠던 부분과 이를 내 업무에 어떻게 적용할 수 있을지 기록

오늘 강의는 DINOv2를 백본으로 사용하여 특징을 얼마나 잘 뽑아내는지 실습하는 첫번째 강의였다. 이번 강의도 어느정도 프로그래밍 하는 방법에 대해 사전지식이 있어야 강의를 따라갈 수준이었다. 환경설정은 Ubuntu가 깔린 상태나 Window WSL를 활용해야 했고 데이터셋은 Roboflow를 통하여 coco-128데이터셋을 다운로드 받고자 Roboflow에 가입해야한다. 파일을 만드는 방식은 데이터셋을 내 컴퓨터 폴더로 다운로드 받기 위한 download-data.py 파일과 DINOv2를 백본으로 활용하여 응용할 main.py파일로 구분하였다.

첫번째 download 파일은 먼저 프롬프트창에서 로보플로우 패키지를 설치하고 쿠다툴킷이 깔려있는 전제에서 코딩을 하도록 하였다. 리눅스 pip install을 통한 명령어로 faiss-cpu를 다루기 위한 코드를 넣는다. 구성순은 이러하다. roboflow 라이브러리를 임포트하고 로그인한다. Roboflow파일을 불러오기 위한 객체를 생성하고 데이터셋을 내 컴퓨터로 받아오기 위한 코드를 쓴다. 이후 그 데이터셋을 활용하기 위해 dataset폴더 작업을 하도록 프로그래밍한 후 프롬프트창에서 그 파일을 실행하여 파일을 폴더를 생성하여 파일을 다운로드 받는다. 우리가 쓸 데이터셋은 coco-128이다.

두번째 main파일에서는 아무래도 파이썬 라이브러리들을 이용하여 폴더, 파일, 기타 작업들을 하기 위해 많은 라이브러리를 불러와야한다. numpy, os, json, Torch, transforms, faiss, tqdm 등을 라이브러리로 불러온다. 이후 구성요소는 이러하다. 위에 download한 데이터셋을 받아오기 위해 os 및 파일경로를 설정하기 위한 객체를 만든다. jpg파일을 경로에서 인식하게 만든다. 이후 Torch허브에 있는 dinov2를 백본으로 사용하기 위한 객체를 만든다. 우리가 활용할 모델은 이미 사전학습이 된 dinov2_vits14버전의 모델을 활용하였다. 디바이스를 cuda로 인식하거나 없는 경우 CPU처리할 디바이스 객체를 만들어 데이터를 보낸다.

이후 작업은 이 데이터들을 인덱싱처리하여 임베딩하는 과정이다. 데이터를 전처리하여 규격을 맞춰준다. 이미지를 로드할 함수를 만들어 만들어놓은 이미지 경로를 설정한다. 여기서 활용하는 것이 faiss인데 생소하다. 더 공부해봐야 할 것 같다. 인덱스를 만들 때 임베딩을 넘파이를 통해 리스트화하고, 모든 임베딩된 것은 json형식으로 기록하게 한다. 즉 탐색 대상에 대한 사전(리스트)만들기 작업을 한 코드를 배웠다. 어렵다.

ㅎㅎ 이정도로 내가 이것을 어떻게 활용할 수 있을지 걱정이 앞선다.

패스트캠퍼스 URL

https://fastcampus.info/4oKQD6b

패스트캠퍼스 환급챌린지 4일차: Computer Vision Signature 강의 후기

shootingstarh — Sat, 15 Nov 2025 11:56:51 +0900

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다

1. 학습 인증샷

1. 오늘 날짜 + 공부 시작 시각보이는 사진 1장

2. 오늘 날짜 + 공부 종료 시각이 보이는 사진 1장

3. 1개 클립수강 인증사진 1장(강의 화면 x/목록캡처 추천)

4. 학습 인증샷 1장 이상(필기, 작업물)

공부시작 : 2025-11-15 오전 10:19

공부 시작 범위 : Ch01-06 Swin Transformer~

공부 종료 시간 : 2025-11-15, 오전 11:23

공부 종료 범위 : ch01-06, ch01-07 DINO

학습 인증샷 -필기

학습인증샷 - 필기

2. 학습 후기 700자 이상

- 오늘 배운 학습 내용을 정리하고, 흥미로웠던 부분과 이를 내 업무에 어떻게 적용할 수 있을지 기록

오늘 배운 주제는 SWIM Transformer와 DINO에 대한 개념이었다. 둘 다 ViT(Vision Transformer)모델이 갖고 있는 문제점들을 조금씩 개선하고자 하던 연구자들의 결과적 모델이었다. 2D Vision model의 현재 나온 것 중 DINO를 끝으로 3D Computer Vision을 들어가는데 정리를 잘 해놓아야 할 듯하다. 역시나 강의는 서술적인 강의였다. 내 스스로 탐구하지 않으면 절대 모델을 구현하기 조차 힘들 듯하다.

SWIM Transformer는 컴퓨터 비전을 유연하게 적용하기 위한 모델이다. ViT가 가지고 있단 16x16 고정토큰에서 오는 시각적 특징 판단의 한계, 즉 스케일에 대한 경직성, Global Self Attention의 사용시 픽셀이 많아지면 연산량이 늘어나는 문제, Classification Task에서 벡터화로 인한 단순성의 문제점들을 개선하고자 노력하였다. 기존 ViT에서 고정되었던 패치 크기를 단계적으로 4x에서 8x 그리고 최종 16x로 변해가면서 나눠가며 특징을 추출한다는 것이 핵심이다. Shited-Window기반의 Self-Attention은 말 그대로 특지응ㄹ 잡아낼 때 연산량을 줄여가면서 local부분에서 전체적으로 파악하는데 선형 계산 복잡도 등 연산량을 개선하였다. 이는 Window 크기를 경계영역에서 걸쳐서 번갈아 작업하므로 가능하다. Window 개수의 증가로 오는 문제점은 Cycling Shift 개념을 도입하여 다시 동일한 크기로 만든 후 reverse cyclic Shift를 통하여 효과적인 배치 컴퓨팅을 하게 하는 모델이다.

모델도 T, S, B(기본), L로 다양하게 나눠 놓아 범용적으로 활용하게 만들어 놓았다.

DINO는 기존 ViT구조에서 Self-Supervised Learning 부분에 초점을 맞춰 개선하려고 하였다. Distillation기반 학습이라는 기술을 도입하였다. 기존 ViT는 NLP기반의 많은 양의 데이터를 사전학습을 통하여 fine 튜닝하는 방법으로 진행되는데 이에 따른 인덕티브 바이오스가 부족하거나 계산비용이 많이 드는 문제를 계선하고자 하였다. DINO는 NLP의 Pretraing 성공사례를 기반으로 목적함수 학습을 통한 더 풍부한 학습이 가능하게 하고자 하였다. 레이블링 없이 직접 예측하는 특징을 갖고 센터링과 샤프닝이라는 모델 안정화를 도모하였다. 이를 통해 파인튜닝이 없이도 모델의 효율적인 구조를 만든다. 구조적으로 Student모델과 Teacher모델을 만들어 둘이 서로 예측하여 연동하게 만든다. 방식은 Multi-crop Strategy, Momentum teacher, 그리고 모델 붕괴를 막고자 centering, sharpening기술을 활용하였다는 것이다. 아키텍쳐는 ViT나 ResNet을 백본으로 활용하여 Projection head에 세개의 레이어MLP를 집어넣고 이를 노말라이제이션을 통해 출력한다. EMA등이 용어들이 나오는데 어렵다. 전체적인 구조를 보고 하나씩 분석해보아야 할 듯하다. 구현은 더 힘들겠구만...ㅎㅎ 강의가 특징만 언급해준다.

패스트캠퍼스 URL

https://fastcampus.info/4oKQD6b

패스트캠퍼스 환급챌린지 3일차 : Computer Vision Signature 강의 후기

shootingstarh — Fri, 14 Nov 2025 10:58:12 +0900

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

1. 학습 인증샷

1. 오늘 날짜 + 공부 시작 시각보이는 사진 1장

2. 오늘 날짜 + 공부 종료 시각이 보이는 사진 1장

3. 1개 클립수강 인증사진 1장(강의 화면 x/목록캡처 추천)

4. 학습 인증샷 1장 이상(필기, 작업물)

공부시작 시간 : 2025-11-14 오전 9:14~

공부 시작 범위 : Ch01-05. Vision Transformer

공부 종료시간 : 2025-11-14 오전 9:38

공부종료 범위 : ch01-05 vision Transformer

학습 인증샷 - 필기

2. 학습 후기 700자 이상

- 오늘 배운 학습 내용을 정리하고, 흥미로웠던 부분과 이를 내 업무에 어떻게 적용할 수 있을지 기록

오늘 배운 주제는 ViT라고 불리는 Vision Transformer라는 Transformer개념을 발전시킨 컴퓨터 비전 모델이었다. 이 모델은 입문자인 나에게 어려운 모델 중 하나인데 강의를 통하여 따로 혼자 공부해야 할 듯하다. 특징으로 보자면 CNN계열의 Convloution 부분을 대신하여 Self-Attention이 적용되었다는 것이다. 내부 구조를 보면 Transformer Encoder이라는 개념이 들어왔고 Inductive bias가 없어서 먼저 큰 데이터를 사전학습하고, 이후 작은 데이터에 대한 전이학습을 하여 bias가 없을 때의 단점을 보완했다는 것이다.

전체적인 프로세스를 보면 16x16 image를 Patch로 분할하여 이 분할된 패치를 Class Token과 하나씩 대응시켜 벡터화를 진행한다. 이후 Self-Attention을 이용하여 Class token과 Patch의 연산을 하여 MLP Head를 통하여 분류를 하는 구조였다.

내부적 구조가 아무래도 천재들이 연구를 했기 때문에 다양한 수학적 도입과 연구를 통해서 간단하게 구조를 만들고자 하였다는 것을 알 수 있다.

Encoder는 다층 구성된 구조로 Multi Head Self Attention과 MLP와의 관계를 보여줬고, Input Layer의 과정에서 16x16x3채널의 이미지를 패치분할하고 이를 Flatten하여 임베딩한뒤 Class Token을 통하여 위치 Embedding하는 작업을 한다. 이렇게 위치 백터와 전체 압축정보를 Class Token에 담아 Positional Embedding처리하면 위치에 대한 벡터값이 들어가게 되고, 이전 시간에 배운 Self-Attention의 작동 방식이 진행이 되게 된다.

ㅎㅎ 너무 복잡하다. 천재들이 simple하게 정리한 구조일텐데 내가 아직 초보라 많이 어렵다. 그래도 직접 구현해보고 실습을 통하여 활용해 보아야 한한다. Self-attention은 인코딩된 벡터를 넣고 Q(쿼리), K(키), V(벨류) 작업을 해야하는데 이 또한 각각의 내적과 가중합을 통하여 MLP Head로 최종 보낸 후 분류작업을 한다는 것이다. 정말 복잡한 구조이다. 그러나 ViT가 트랜스포머 계열의 시작 모델이라 직접 프로그래밍하여 스스로 구조를 깨닫고 응용할 줄 알아야한다는 것을 느끼는 강의였다.

패스트캠퍼스 URL

https://fastcampus.info/4oKQD6b

패스트캠퍼스 환급챌린지 2일차 : Computer Vision Signature 강의 후기

shootingstarh — Thu, 13 Nov 2025 11:33:35 +0900

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

1. 학습 인증샷 4장 이상

1. 오늘 날짜 + 공부 시작 시각보이는 사진 1장

2. 오늘 날짜 + 공부 종료 시각이 보이는 사진 1장

3. 1개 클립수강 인증사진 1장(강의 화면 x/목록캡처 추천)

4. 학습 인증샷 1장 이상(필기, 작업물)

공부 시작 시간 - 2025-11-13 오전 10:22

공부시작 - ch01-03. RNN, LSTM, GRU

공부 종료시간 : 2025-11-13, 오전 10:59

공부종료 : ch01-03, ch01-04 2강 수강

학습인증샷 - 필기

2. 학습 후기 700자 이상

- 오늘 배운 학습 내용을 정리하고, 흥미로웠던 부분과 이를 내 업무에 어떻게 적용할 수 있을지 기록

아~오늘도 여러 모델을 특징만 잡아서 엄청 빠르게 진도를 뺐다. 이러면 혼자서 더 모델들을 세밀하게 파봐야 한다는 숙제가 생기는데 기대에 비해 많이 아쉬움이 느껴지는 강의였다. 이 강의는 미리 어느정도 모델을 공부한 사람에게 적합하다. 입문이나 초보들에게는 유용하지 않다. 조금 더 구조를 세밀하게 알려주기를 기대했는데 많이 아쉽다. 그래도 커리큘럼이 전체적인 범위를 다루니 끝까지 들어보자고 다짐한다.

오늘 진도는 2D Computer Vision파트의 ch01-03. RNN, LSTM, GRU 한 강의와 ch01-04. Attention과 Transformer였다. 먼저 Sequential Data 개념에서 순서에 따른 연속된 데이터를 다루는 영역을 통하여 재사용의 의미를 갖는 순환 신경망에 대해 소개하였다. 이후 RNN모델을 통하여 이러한 순환신경망이 Hidden layer를 통하여 다양한 출력 구조를 가지게 된다. 모델 안에는 타입스텝, Cell들의 구성요소가 들어가 데이터가 순환되도록 한다. LSTM은 RNN이 순환할 때 발생하는 오래된 것을 잊어버리는 문제를 해결하고자 하는 과정이 들어가 있었다. 정보가 잘 흐르도록 Gate라는 개념으로 Input, Forget, Output 게이트 3개의 게이트를 통하여 Cell state가 연동되어 모델을 구성하였다.

GRU의 경우 앞선 모델들을 좀 더 개선하고자 하는 모습을 보인 모델이다. 파라미터를 적게하고 모델도 더 간단하게 구성하여 빠르고 가벼운 것이 특징이라고 한다. Update gate와 Reset gate로 구성되었다.

두 번째 강의는 Transfomer 모델이 들어가기 전 Attention에 대한 개념과 Transfomer의 구조에 대한 강의였다. 이걸 약20분 불량에 끝낼줄은 몰랐다...그정도로 비중이 낮은건 아닌 것 같은데...여하특 핵심은 유사도를 기반으로 하여 벡터끼리 분포적으로 위치가 비슷한 것끼리 연결한다는 것이었다. 정보를 참고할때 단순 레이어에 넘어온 것만이 아닌 시작점의 hidden state를 다시 참고하여 관련있는 단어를 찾고 순서에 따른 위치를 지정한다는 것이 핵심이었다. 구조에 대해 스스로 더 스터디해보아야 할 듯하다.

패스트캠퍼스 URL

https://fastcampus.info/4oKQD6b

패스트캠퍼스 환급챌린지 1일차 : Computer Vision Signature 강의 후기

shootingstarh — Wed, 12 Nov 2025 13:39:16 +0900

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

1. 학습 인증샷 4장 이상

1. 오늘 날짜 + 공부 시작 시각보이는 사진 1장

2. 오늘 날짜 + 공부 종료 시각이 보이는 사진 1장

3. 1개 클립수강 인증사진 1장(강의 화면 x/목록캡처 추천)

4. 학습 인증샷 1장 이상(필기, 작업물)

공부 시작 시간 - 2025-11-12 AM 11:39

공부 시작 진도 : Ch01-01 CNN의 개념과 역사(1)

공부 종료 시간 : 2025-11-12 오후 12:49

공부종료 진도 : Ch01-01, Ch01-02 CNN의 개념과 역사 완료

학습 인증샷 - 필기

2. 학습 후기 700자 이상

- 오늘 배운 학습 내용을 정리하고, 흥미로웠던 부분과 이를 내 업무에 어떻게 적용할 수 있을지 기록

오늘 배운 것은 제 1파트 2D Computer Vision 의 첫번째 강의와 두번째 강의인 [CNN의 개념과 역사]가 주제였다. 기대했던 것보다 CNN에 대한 기본적인 지식을 보유하여야 이해할 수 있는 수준의 강의였다. 전반적으로 강사님은 CNN의 발전에 따른 모델별 특징을 위주로 설명해주었다. 도표 등 자료를 제시하여 주었고, 각 모델이 어떤 방식으로 발전되었는지 요약해 주었다. LeNet, AlexNet, VGG, GoogleNet, ResNet, DensNet, EfficientNet, MobileNet 순으로 진행되었다. 이건 다시 복습하면서 하나씩 보면서 정리해둬야 할 것 같다. 이미 수많은 우수한 천재들이 정리해 놓은 것들이라 이론이 어려울 것 같다. 그래도 전체적인 구조와 특징은 어느정도 이해해야할 것 같다. 내가 알고 있던 VGG가 순식간에 넘어가는 ㅎㅎ 이걸 어떻게 정리해야하나...CNN은 input과 Out사이에 Kernel과 bias를 이용한 Convolution 및 활성함수를 통한 구조로 형성되어있다. LeNet은 32x32의 작은 이미지를 통하여 feature map이 특징이고 아무래도 초기버전이라 부족하다. AlexNet부터 하드웨어의 상승으로 병렬처리가 발전하게 됐고, ReLU함수의 사용 및 Dropout/overlapping Pooling개념이 나오게 된다. VGG는 Two Suceessive의 병렬적 연산이 특징이었고, GoogleNet은 좀더 넓은 구조를 도모하여 인식률을 높였던 것 같다. ResNet부터 레이어를 깊게 가져가돼 필요없는 것은 Skip Connection을 통하여 빠른 연산을 도모했고, EfiicientNet은 좀더 유연한 스케일링을 위해 Componud model Scaling이라는 개념을 도입하였다. 이밖에도 가벼운 모델을 만들고자한 MobileNets이 있다.

이 모든 이론은 내 몫인 것 같다...ㅎㅎ

패스트캠퍼스 URL

https://fastcampus.info/4oKQD6b

패스트캠퍼스 환급챌린지 : Computer Vision Signature 강의 도전 각오

shootingstarh — Wed, 12 Nov 2025 11:20:33 +0900

본 포스팅은 패스트 캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

도전 각오

1. 이번 챌린지에 참여하게 된 이유는?

패스트캠퍼스 강의를 신청해놓고 계속 미루는 안좋은 습관이 생겼습니다. 패스트 캠퍼스의 강의는 구입하면 영구적으로 소유할 수 있다는 점이 정말 좋은 장점입니다. 이는 저와같은 낮은 정신력을 갖은 자에게 양날의 검과 같습니다. 이미 내 것이라는 마음 때문인지 다른 할 일에 비해 우선순위가 낮아지면서 강의를 차일피일 미루는 안좋은 습관이 생겨버렸기 때문입니다. 실제로는 저에게 있어서 중요한 강의임에도 불구하고 말입니다.ㅎㅎ

패스트캠퍼스의 또다른 고마운 점은 항상 카카오톡을 통하여 프로모션 광고를 해준다는 점입니다. 그 때 제 눈에 들어온 것은 "환급챌린지"였습니다. 100일이면 사람이 된다는 '단군신화'도 있는데 50일 안에 내 습관을 점검해 본다는 의지를 가지고 결제를 감행하였습니다. 물론 강의는 현재 저에게 필요한 강의였고요. 살짝 챌린지가 쉽지 않다고 느껴지지만 돈에 상관 없이 최선을 다해 진행해서 열심히 공부해 보도록 하겠습니다. 화이팅~~~

2. 이 강의(또는 학습 주제)를 선택한 이유는?

제가 선택한 강의는 Computer Vision Signature입니다. 강의를 듣게 된 이유는 현재 제가 알고 있는 비전 지식들이 비교적 모래성 쌓은 것 같이 두루뭉실하여 아는 것은 확실하게 정리, 점검하고 몰랐던 이론들에 대해 새롭게 배우고 싶었기 때문입니다. 컴퓨터 비전은 AI학습에서 카메라를 통한 추정 및 인식의 기본이 되는 주제입니다. 저는 AI관련된 직업을 찾고 있기 때문에 그리고 누구에게도 뒤쳐지지 싫기 때문에 이 강의 및 습관 챌린지는 저에게 진지한 공부가 될 것입니다.

3. 50일 동안 이루고 싶은 목표는 무엇인가?

무엇보다도 한가지 과목에 대한 "꾸준함!", 그 습관을 형성하는 것이 제 목표입니다. 챌린지의 구조를 보니 정말 쉽지 않을 것 같습니다만 그것을 형식적으로 해 나아갈 때 얻는 것의 크기가 더 큼을 알기에 도전합니다. 컴퓨터 비전의 커리큘럼을 보니 2D 컴퓨터비전을 시작으로 3D를 집중적으로 알려주고, Multi Modal Model에 대한 대략적인 설명과 Visual SLAM에 대한 이야기 그리고 마지막으로 종합 프로젝트로 구성되어 있습니다. 저는 2D 컴퓨터 비전이론까지만 알고 있기 때문에 추후 배우게 될 강의가 상당히 흥미롭고 어렵겠지만 반복해서 배울 수 있다는 패스트 캠퍼스의 장점을 가지고 열심히 배우도록 하겠습니다. 프로젝트를 얼마나 따라서 해볼 수 있을지 모르겠지만 다 해보고 싶은 도전 의식이 생기네요.

4. 이전에는 왜 공부 습관을 유지하기 어려웠나?

아무래도 현장강의가 아니다보니 환경적인 요인에서 오는 나태함이 제일 큰 요인이 아닐까 싶습니다. 누구도 강의에 대한 제약이나 강제가 없다보니 차일피일 미루게 되는 안 좋은 행동을 하게 됩니다. 막상 강의를 들으려고 책상에 앉으면 핸드폰이나 다른 방해 요인들에 의해서도 중단되는 일들이 발생합니다. 이건 온라인 강의의 어쩔 수 없는 단점이라고 생각됩니다. 좋은 습관을 만드는 '챌린지'라는 목적에 맞게 어떻게든 따라가도록 노력하겠습니다. 모든 것은 저의 집중력에 달렸습니다. 강의를 들을 때 집중하고자하는 마음, 그리고 안 좋은 방해 요인들을 제거해가면서 들어야겠습니다.

5. 이번에는 어떤 방식으로 다르게 해볼 계획인가?

우선 하루 중 이 강의를 우선적으로 두고 집중할 생각입니다. 환경적으로는 강의와 관련 없는 핸드폰이라든지 방해요소를 제거하도록 노력할 것입니다. 일단 강의를 열심히 듣고 메모하여 강의에서 느낀 점을 포스팅하는데 노력하겠습니다. 가급적이면 실제 프로젝트에 반영했으면 하는 것이 제 바람입니다. 전략적으로 토요일까지 전체적인 것을 마무리하고 정리해서 일요일에 늦지 않게 올려야겠습니다. 하루도 빼놓지 않고 하려면 주말 여행을 가거나 저녁 술약속 이런 것도 못하겠군요. ㅎㅎ 너무 좋습니다. 이런 것을 실행해서 작심삼일이 계속되더라도 따라가도록 하겠습니다. 일단 무조건 해내겠다는 다짐을 해봅니다. 2025.11.12 Sunnyside

패스트 캠퍼스 URL

https://fastcampus.info/4oKQD6b