[구현] adv 회의 22~25 (Edge 탐지 알고리즘 선택)

서론

시험기간 때문에 몇 주 온라인 미팅을 했더니, 시간이 훅 지났습니다. 앞으로 남은 기간 동안 프로젝트를 깔끔하게 마무리 해보겠습니다.

 

본론

- Edge Detection

우리 모델은 테두리 이미지를 입력으로 넣기 때문에 Edge Detection 결과에 엄청난 영향을 받을 수도 있다는 생각을 했습니다. 따라서 기본이 되는 Canny 외에 다른 Edge Detection 모델도 사용해서 성능 비교를 하기로 했습니다.

 

-> 종류

1) EDTER(참고 1) : 데이터 문제로 불가
2) Dexined(참고 2)
3) LDC(참고 3)

학습을 돌리기 전에 데이터 전처리가 되어야 하기 때문에 canny를 포함한 3가지 모델로 가장 Edge Detection이 안 됐었던 치마를 검출해 보고 각자 생각을 정리해 오기로 했습니다.

 

원본)

 

canny)

 

DexiNed)

 

LDC)

 

✅ 탐지 알고리즘 선택

동일한 스커트 사진으로 비교한 결과 LDC가 연필로 그린 느낌으로 디테일한 부분에서 번지는 느낌이 있었었고 DexiNed 결과들이 디테일한 잔선들은 적었지만 선이 뚜렷하다는 점에서 본래 목표에 가장 적합하다고 생각해서 결정하였습니다.

 

- 타임라잇 및 프로젝트 방향 수정

1) 프로젝트 방향 픽스

수많은 프로젝트가 중간에 방향을 트는 경우가 많습니다. 이번 프로젝트 또한 피할 수 없는 부분이었습니다. 우리가 방향을 바꾸려고 한 이유는 다음과 같습니다.

 

최초에 의도한 것은 그림을 못 그리는 사람들을 포함한 고객의 그림을 컴퓨터가 이해할 수 있도록 하여 검색을 성공하는 것이었습니다. 하지만 refined sketch 과정에서 실패를 하여 그림을 못 그리는 사람의 스케치는 수용하지 못하게 될 것 같습니다. 

이제 의견이 갈리기 시작했습니다. 하나는 refined sketch가 가능한 얼굴 스케치에 관련한 주제로 프로젝트 방향을 바꾸자는 것이 있었습니다. 관련 검색을 하던 중 얼굴 스케치를 실제 사람 이미지로 바꾸는 프로젝트를 찾았습니다. rough 한 얼굴 스케치를 refine 하여 다듬고 색을 입히는 방식이었습니다. 이렇게 되면 프로젝트 제목, 주제가 다 바뀔 수 있습니다.

-> 결과

결과적으로는 제 의견이 선택되었습니다. 약간의 타협이 발생했습니다. 사실 제일 중요한 부분이었을 수도 있습니다. 그림을 못 그리는 사람들도 검색을 할 수 있으면 매우 좋을 것이고 이는 개선해야 할 부분입니다. 또한 의류 카테고리 별로 데이터를 따로 수집하고 관리하고 모델을 따로 학습시키기로 했습니다.

 

2) 1월 해야 할 일

① 데이터 수집 : kaggle의 패션 데이터 셋으로 결정했습니다. 

일단 모델에게 학습시키기 위해서는 사람이 입고 있지 않은 의류 이미지만 가능했습니다. 또한 카테고리 별로 이미지를 따로 관리해야 했습니다. 따라서 검색 엔진에 입력한 키워드의 결과물을 전부 다 크롤링하고 필터링하기에는 위험부담이 있었습니다. 또한 쇼핑몰에서 크롤링을 하는 방법도 있었는데 저작권 문제를 고려하여 최후의 수단으로 보류하기로 했습니다.

 

② Edge Detection 처리

이건 데이터를 수집하면 자동으로 되는 부분입니다. 하지만 canny 엣지를 사용하기 때문에 더 좋은 방식으로 수정하는 것이 더 좋다고 판단했습니다.

 

③ pix2pix 모델 학습

카테고리 개수만큼 모델을 따로 학습시킬 예정입니다. 모델을 학습시킨 후 한 단 번의 실행으로 결과가 나오도록 모델 로드, predict, ms에 입력하는 것을 하나의 코드로 모아야 합니다.

 

④ MS 결과 정리

ms 결과물은 URL 링크만 보여줍니다. 링크에 있는 contenturl과 websearchurl을 추출해서 콘텐츠를 바로 이미지로 보여주고 클릭하면 웹사이트로 연결되도록 할 것입니다.

 

⑤ PPT 제작
⑥ 발표 준비

 

3) 1월 타임라인

 

타임 라인을 보면 엄청나게 많은 회의를 볼 수 있습니다. 따라서 블로그 정리도 회의 번호를 단위로 해야겠습니다.

 

참고

EDTER: Edge Detection with Tranformer

DexiNed

LDC