BOAZ PART.adv 17~20주차(채색 모델)

서론

boaz 활동 17 ~ 20주차 내용입니다.

본론

17주차
- 이제는 완전하게 목표를 픽스하고 타임라인도 정하자

하지만 이 날도 시작은 암울했습니다. sketch2idol이 얼굴이니 가능하지 옷은 안 될 거 같다는 얘기입니다. 이유는 "얼굴은 눈의 위치가 모두 동일하니 모델 학습 후 적용이 가능할 텐데 옷의 태양무늬라면 모든 태양이 다 다르고 위치도 제각각일 테니 안되지 않을까??" 이러했습니다.

 

> 그러다가 번뜩 내가 떠올린 것! sketch2idol을 왜 쓰는 것인가를 생각해봐야 합니다. 1. 이미지의 형태를 약간 조정해 줍니다. 2. 못 그린 눈꺼풀을 진짜 생생하게 만들어줍니다. 맞습니다!! 우리는 눈꺼풀을 생생하게 만들기 위해 쓰는 것이었습니다!!! 이것을 옷에 적용해서 성공한다고 하면 옷 모양을 살짝 잡아줄 거고 태양 무늬라면 혹은 로고라면 못 그린 태양과 못 그린 로고를 원래 실제 태양 무늬 혹은 실제 로고로 생생하게 만들어주는 용도로 사용할 수 있겠습니다.

 

> 이게 진짜 목적입니다! 핏을 잡아주는 것도 조금은 가능하겠지만 얼굴이 핏이고 눈이 태양(로고)라고 생각하면 못 그린 옷 스케치를 눈꺼풀처럼 생생한 로고를 만들어주는 것이 sketch2idol의 진짜 목적입니다!!라고 제가 생각했습니다. 

-> 그러니깐 무늬를 하나 정해서 그 무늬가 눈처럼 특정 위치에만 있게 만들고 ex) NBA의 모다 중앙 로고, 스투시의 왼쪽 가슴로고, 가슴 중앙의 넥타이 등 > 이 하나만 sketch2idol로 모양을 잡아주나 실험해 보자! 모든 의류가 다 가능한 건 아니지만 모든 의류를 다 할 수 없으니 되는 지만 봐도 충분히 의의가 있고 모델을 수정하고 데이터를 가공한다는 점에서 우리 팀에게 발전도 있을 것입니다.

19주차

나는 pix2pix를 학습하고 테스트 결과를 보고 완료후에 refine 팀에 동참하기로 했고 팀원들은 refine을 먼저 해보기로 했습니다. pix2pix 생성 결과가 15에폭만 했는데도 잘 나옵니다! 색깔도 다채롭고 다양성도 보장된다! 이제 refine 팀에 동참하겠습니다.

 

=> sketch2idol 시작

dir 구조를 보고 분석해 보겠습니다.

=> 배운점

은유님이 말씀하신 것처럼 처음엔 데이터 조금으로 해보고 성공하면 전체 데이터로 하는 것입니다. 데청캠에서 배운 것처럼 처음엔 오렌지로 하고 성공하면 파이썬으로 해라 -> dataload하는 부분에서 이런 생각을 했습니다. 일단 데이터를 형식에 맞게 전체 다 만들기 전에 약간의 데이터 넣어봐서 코드가 돌아가는지만이라도 확인해라 아!! 나는 논문을 활용할 일이 많이 할 테니 이러한 사고방식에 익숙해져야 합니다.

+ 나 근데 이번에 이렇게 진흙탕(코드 분석)에서 싸우면서 분석하며 코드 짜보면서 진짜 많이 배웠습니다. 웬만한 코드는 다 실행시킬 수 있습니다. 이제 subclassing만 좀 보면 될 거 같습니다.

 

> 이제는 리드미도 정말 잘 써야 하는 것을 알았습니다. 교수님께서 말씀하신 것에서 알 수 있듯이 코드를 잘 짜야하는 것처럼 설명도 잘해야 합니다. 다른 사람이 우리 코드르 실행하려고 해도 내가 실행할 때처럼 잘 돌아가야 하는 것입니다.

20주차

브레인스토밍 : refine(sketch2idol)을 우리 옷 프로젝트(원래는 얼굴) 어디에 적용할지 생각해 보기로 했습니다. 하지만 또 팀원들과의 마인드 차이가 발생했습니다. 나는 지금 성공시키는 것에 급한데 팀원들은 지금 하는 것이 "넥타이를(ex 넥타이가 현실에 스케치를 그려서 수정해서 검색까지 해야 하는 필요성이 비교적 적은 것이라고 한다면) refine하는 것이라면 의미가 있을까?"라는 대화를 했습니다.

 

> 원래 refine은 그냥 이런 게 가능합니다! 따라서 옷 유형별로 나눠서 refine 모델을 따로 만들어 두면 어디든 활용할 수 있을 것이다!라는 미래 지향성을 말하고자 했는데 다시 원점으로 돌아왔습니다. 그러면 나라도 열심히 성공해 보겠습니다!

1. 먼저 knn의 가중 평균 json이 뭔지 알아야 합니다.
2. sketch 데이터를 구하기 위해 논문에서 사용한 edge detection 툴을 알아보고 데이터를 깔끔한 것으로 준비해야 합니다.