[22.11.18] BOAZ PART.adv 14~16주차(주제 이슈)

서론

BOAZ 활동 14 ~ 16주차 내용입니다.

 

본론

14주차

- 모두가 개발자가 아닌 프로젝트 성찰(팀원들은 디자인학, 경영학, 통계학)

iGAN과 sketch2fashion 모두 리눅스 코드였습니다. 근데 리눅스와 git을 할 줄 아는 사람이 나뿐입니다. 그럴 경우 어떻게 할 것인가? 나 혼자 리눅스로 하면 나는 힘들고 팀원들은 배우는 게 없고 주인의식도 없어집니다.

 

> 결론 : 어떤 모델을 돌릴지 모두 정해진 상황에 github를 또 파악할 필요는 없습니다. 그냥 깃허브에 나와있는 최소한의 가이드라인 코드만 할 수 있으면 됩니다. > 따라서 팀원들에게 가이드라인을 할 수 있도록 하는 최소한의 리눅스를 내가 가르쳐주고 함께 공부하고 탐구하고 분석할 수 있도록 하려고 했습니다.

 

> 하지만 어려운 모델인 igan을 내가 하고 남은 팀원들이 비교적 쉬운 sketch2fashion과 채색을 하는 건 어쩔 수 없는 상황인 거 같습니다. > 이렇게 하면 팀원들이 모두 프로젝트에 참여할 수 있고 공부도 되고 얻는 것도 있으면서 리눅스에 대한 부담감 또한 줄어들 것입니다.

 

15주차
- 프로젝트의 목적에 관한 성찰

 

1. 오늘 강남에서 목적에 대한 성찰이라는 대화를 하기 전까진 우리의 목표가 무엇이었나? 저는 igan으로 밑그림이 들어오면 약간의 수정을 하고 sketch2fashion으로 디테일한 스케치를 대응하려고 했습니다. 못 그린 그림에 대해서는 배제하려고 했습니다.

 

하지만 팀원들이 내 주제로 들어온 이유와 우리가 처음에 잡은 목표는 그림을 못 그리는 사람을 대상으로 머리로 생각한 것을 실제로 표현해 주는 것이 재밌어 보여서 나와 팀이 되어주었다고 합니다.

 

2. 따라서 오늘 대화를 나는 이후에 우리의 바뀐 목표는 무엇인가? 처음에 주제로 잡았던 '그림을 못 그리는 사람들을 대상으로 원하는 옷을 찾을 수 있도록 하는 것'이 되었습니다. 이 주제가 실제로 의미 있고 세상에 없는 정말 필요한 프로젝트 주제라고 생각된다고 합니다.

 

-> 내 생각 : 나는 igan과 sketch2fashion을 성공하는 것과 이후에 ms api에 연결하는 작업만 해도 많이 배웠다고 생각했습니다. 하지만 지금부로 생각이 바뀌었습니다.

 

3. 우리 프로젝트의 의의는 무엇인가? 모델을 돌려보는 것이 끝인가? 위와 같이 나는 igan과 sketch2fashion을 성공하는 것도 많은 배움이 있다고 생각했습니다. 하지만 팀원의 생각은 달랐습니다. 모델을 깃헙 코드 시나리오대로 돌려보고 데이터만 바꿔서 돌려보고 하는 것은 우리가 목표를 위해 모델을 정한 것이 아닌 모델이 이러하니 우리가 목표를 맞추는 것처럼 느껴진다고 했고 모델을 돌리는 능력 외에는 성장하는 것이 없다고 느껴진다고 했습니다.

 

그러면 성장이란 무엇인가? 다른 팀들이 하는 데이터 분석 프로젝트는 데이터도 파헤쳐보고 모델을 파헤쳐서 우리가 쌓아도 보고 하나의 모델로 하나의 목적에만 쓰지 말고 여러 모델을 단계 단계 둬서 우리만의 목적에 맞도록 mix하는 것입니다. 예를 들면 우리는 rough한 스케치를 완성도 있는 그림으로 다듬어주는 작업과 그 다듬은 스케치를 실제 이미지로 바꾸는 작업이 필요합니다.

 

- 우리가 필요한 단계

1) 러프한 스케치를 디테일하게 고쳐주고 디테일해진 스케치를 실제 이미지로 바꿔주는 단계
2) 러프한 스케치를 디테일하게 고쳐주고 원하는 채색을 칠해주고 디테일해진 채색 스케치를 실제 이미지로 바꿔주는 단계

 

-> 이 두 개가 우리만의 목적이라고 할 수 있겠고 이를 실현할 수 있도록 여러 sketch2fashion를 찾아봐야겠습니다.

 

- 할 일

sketch2fashion 실행/ igan, sketch2fashion 논문 읽기/ gan pix2pix까지 복습하기(공부를 심도 있게 해 보니 gan이 확실히 사용할 곳이 많아 보입니다.)

 

> 최후의 보류로 여러 단계를 mix하거나 그림 못 그리는 사람들 대상으로는 불가능하면 igan이랑 sketch2fashion으로 만족하자 하지만 팀원 말대로 논문에 우리를 맞추지 말고 우리의 목적에 맞게 논문을 선택해서 mix하고 데이터도 열어보고 모델도 쌓아보는 게 프로젝트 의의입니다.

 

 

- 중간 점검(11.08)

BOAZ 동아리 중간 점검으로 전 동아리원들이 모여 현황 발표를 하는 순간입니다.

 

=> 필요한 게 뭘까?

1. 형편없는 그림 > 멋진 스케치

1) 형편없는 그림에서 멋진 그림을 넘어서 실제 색이 있는 사진이 나옴 but 사람 얼굴은 살색 바탕에 검은 머리라서 색이 나오는 거라고 예상됨http://geometrylearning.com/DeepFaceDrawing/

 

2) 러프한 이미지를 좀 또렸하게 https://sketch.esslab.jp/

 

3) 러프한 이미지를 디테일하게 수정하는 SCN 네트워크 https://happy-jihye.github.io/gan/gan-41/

 

4) 이미지를 수정해주는
sketch rnn : https://ai.googleblog.com/2017/04/teaching-machines-to-draw.html?_gl=1*1uv54nb*_ga*NjQ1NjM0ODE5LjE2Njc4OTU1MDM.*_ga_163LFDWS1G*MTY2Nzg5NTUwMi4xLjAuMTY2Nzg5NTUwOC4wLjAuMA..

 

오토드로우 : https://www.autodraw.com/

 

2.멋진 스케치 > 멋진 스케치에 채색

 

1) 스케치는 변함없이 채색을 내가 원하는 대로 해주는 모델

 

2) 스케치를 보고 비슷한 채색까지 된 결과물을 만들어주는 모델

 

=> 지금 당장 돌려보고 싶은 것

1. 채색 모델
2. sketch2fashion

 

16주차
- 회의한 내용

러프한 스케치를 디테일하게 조정하는 건 어느 정도 조정을 하는 것으로 만족을 해야 할까? 내 생각 : 옷조차 아닌 모양을 옷처럼 보여주기만 하면 괜찮지 않을까? 왜냐면 우리는 조정에서 끝이 아니고 채색 모델도 돌릴 것이고 ms api도 돌릴 것이니 최종 결과만 보면 중간에서 조금 어눌한 건 괜찮을 것이라고 생각됩니다.

 

> 팀원 생각 : 사람의 눈의 눈꺼풀이나 얼굴의 점처럼 세세한 것이 만약 옷에 있다면 그것을 잡아줘야 합니다. 카라티나 셔츠의 왼쪽 가슴에 있는 주머니 정도는 봐서 고쳐줘야 한다고 생각합니다.

 

-> 이럴 경우 어떻게 해야 할까요? 현재 상황은 이렇다 할 본보기도 없고 모델의 결과도 안 돌려봐서 알 수 없고 예측할 수밖에 없는 상황입니다. (gan이 선행 연구대상으로 사람 얼굴이 많은 이유가 있었습니다.!! 사람 얼굴은 인종에 상관없이 눈 코 입이 있으니 모델이 이해하기 쉽습니다. 옷 같이 너무 다양한 종류가 있고 색도 다양한 건 특징이 너무 많아서 모델에게 어려울 것입니다.)

 

-> 시간이 많았다면 그냥 일단 결과를 보자고 돌려볼 것 같습니다. 시간이 많으면 팀원도 그렇게 해볼 것 같다고 할 것입니다. 근데 시간이 없으면? 나는 그래도 추상적인 논문은 구현으로 구체화되는 것을 배웠으니 실행해 보고 생각할 것 같습니다. 팀원들은 어떻게 반응할까 궁금합니다.

 

- 추가로 나 혼자 생각해 본 것

1번. 형편없는 그림 > 멋진 스케치(sketch rnn, sketch2idol)
2번. 멋진 스케치 > 멋진 스케치에 채색(스케치 > 내가 원하는 채색(실제 이미지는 아니지만 그림판으로 스케치를 해도 모델이 잘 이해합니다.)/ 스케치 색깔 없이 바로 pix2pix로 모델이 색깔은 맘대로 실제 이미지까지 만듦) 

가운데 선이 그림판으로 그린 추가 edge

 

=> 앞으로 할 것

1.sketch rnn으로 조정(너무 궁금합니다!)
2. 2번에서 원하는 채색 결과물을 바로 ms api에 넣기, 2번에서 원하는 채색 결과물을 pix2pix로 실사로 만들고 ms에 넣기, 2번에서 채색 없이 pix2pix에 넣어서 모델 맘대로 채색을 한 실제 이미지를 ms에 넣기

 

참고

sketch rnn

deepfacedrawing