[22.09.16] BOAZ PART.adv 9~12주차(중간 점검)

서론

프로젝트가 점점 확실해져 갑니다. 처음으로 하는 장기간 프로젝트인 만큼 처음엔 서툴렀습니다. 하지만 이것을 회사 가기 전에 깨달았다는 사실은 정말 엄청난 축복이고 감사한 것입니다.

 

본론

9주차

- 할 일

1. 일단 gan 공부랑 pix2pix 결과를 ms api에 넣어보고 되면 성공이고 안되면 추가로 방안을 모색해 보기로 했습니다.
2. 우리 팀원 그대로 서울 혁신 챌린지에 나가기 위해 애로 사항을 정리해서 현업의 종사자에게 물어보기로 했습니다. 서비스, 구현에 필요한 것을 그분이 알려주실 것입니다.

 

- 느낀 점

1. 오늘 pix2pix facade를 보고 느낀 건데 색연필 스케치면 훨씬 잘 될 것 같다고 생각했다. 채색이 되어있다면 영역 간 구분이 확실하기 때문입니다.
2. 항상 .tar 파이을 열어야 한다는 것은 용량이 크다는 얘기니 어디에 저장을 해둬야 합니다. -> tar 파일을 드라이브에 넣는 것으로 정정합니다!
3. 모델 학습한 것도 무조건 저장해야 합니다.(체크포인트를 저장하고 나중에 load 해서 이어서 학습합니다.)
4. 4명이서 깃허브 모델 사용하는 법과 텐서플로 허브, 모델 주 활용법을 같이 공부하기로 했습니다.

 

- 결론

이제 딥러닝 심화를 접할 시간입니다. cv, nlp, gan, recsys 중 gan을 처음으로 익히게 됩니다. 이제는 GAN 책을 두 권째 읽는 것입니다. 첫 번째는 쉬운 책이고 이번엔 난도가 있습니다. 확실히 많은 도움을 받을 것입니다. 

 

10주차

- 내가 주제를 정하고 그것을 구현하기 위해 어떤 식으로 검색을 했는지 알게 된 사실을 정리해 보자

-> 이런 식으로 프로젝트를 진행했다는 것을 기억하기 위함입니다.

 

1.완벽히 우리 프로젝트와 비슷한 시스템
-> 우리의 주제가 실제 구현 가능한지, 비슷한게 있는지 알게 되었습니다.

2.내용 기반 이미지 검색
-> 우리가 원하는 검색이 내용 기반 이미지 검색이라고 합니다.

3.구글 vision api
-> api에는 구글, ms, 카카오, 네이버가 있었습니다. 그중 유사 이미지 검색 api를 제공하는 곳은 구글과 ms였는데 ms를 성공하였습니다.

4.엘라스틱 서치
-> ES도 고려했었다. 공식 문서는 우리 팀 노션에 있습니다.

5.sketch2Fashion
-> 논문 리뷰 중 이런 것을 찾았고 우리가 원하는 방향과 같았습니다.

6.deep_fashion 데이터 셋
-> 학습용 데이터 셋

7.일러스트2real
-> 많은 생각을 해봤는데 일러스트를 real로 바꾸는 것은 쉬울 것이라고 생각됩니다. (ex 애니메이션 패션)

8.패션 스케치 데이터
-> 이런 곳에서도 데이터를 구할 수 있을 것입니다. 근데 우리는 1대 1 맵핑이 되는 한 쌍의 데이터가 필요하다는 것

8.아트브리더
9.nvidia gaugan2
10.메타
11.채색
-> 이것들은 남이 만든 도구를 정리한 것입니다. 여기서 인사이트를 얻을 수도 있고 이미 만든 툴을 끌어다 쓸 수 도 있을 것입니다. ex) 김인철 교수님 : 파파고를 끌어다 쓰는 것처럼

 

- 학습 노하우

처음부터 큰 용량의 데이터 셋, 내 주제에 맞는 입력으로 하면 안 됩니다. 저자의 논문이나 깃허브에 있는 것으로 일단 실행해 보고 되면 내 주제의 데이터로 합니다. (마치 처음에 에폭을 작게 하고 좋아지면 늘리는 것처럼 = 실패의 시간 낭비를 줄이기 위함) > 이때 서비스에 두 파트가 있다면 두 파트 모두 먼저 되는지 확인해야 합니다. ex) 파트 1: 저자의 데이터로 이미지 생성. 파트 2 : 생성한 이미지를 ms api에 넣어봤을 때 잘 결과가 유의미한가 확인

 

11주차

1. DCGAN 발제를 했습니다.
2. 서울 혁신 챌린지 프로젝트 대표님과 미팅

 

- 깨달음

채색을 다른 데이터로 하려다 보니 어려움이 많았습니다. > 근데 이번에 알게 된 점이 먼저 원작 깃허브 대로 실행이 되나 확인하고 만약 성공하고 내가 원하는 결과가 맞다면 깃허브에서 하라는 대로 내가 원하는 대로 바꿔서 하면 되겠구나라는 것을 알았습니다. > 근데 그걸 하려면 그 깃허브의 readme 외에도 실행 시나리오에 포함되는 다른 모든 파일을 다 들어가서 코드를 하나하나 다 파헤쳐봐야 합니다!!! > 예를 들어 원본 데이터는 어떤 모양인지, 원본 코드는 어떤 흐름인지를 봐야 합니다.

 

-> 내가 이번에 그런 것을 안 하고 그냥 깃허브 원작이 내가 원하는 결과가 맞으니 코드는 안 보고 내 데이터로 바꾸기만 하려고 했더니 학습이 안 됐다 보아하니 코드를 헤쳐보면 주석도 많아서 코드를 분석하고 파헤쳐본다면 readme에 없는 설명으로 해결할 방법이 생기기도 합니다!!!

 

12주차

1. pix2pix, cgan 발제

 

2. cgan, cyclegan, pix2pix가 우리 프로젝트에 적합한지 얘기해 보겠습니다.

1) cgan : 예를 들어 0~9 중에서 1을 뽑고 다양한 얼굴 중에서 웃는 것을 뽑는 것이니 스케치를 넣어서 치마에 해당하는 스케치만 뽑기는 가능할 듯 -> 탈락

2) cyclegan : 내용을 보면 스케치를 실제 이미지'풍'으로 바꿔줄 것 같다는 예상 > 정말 새로운 생성이 아닌 풍이다! -> 탈락

3) pix2pix, IGAN 선정

 

3. 다음 주부터 논문 코드리뷰 시작입니다!!! 내 인생 첫 논문 코드 파헤치기입니다. 매우 중요한 새 출발이고 그토록 원하던 순간입니다. 딥러닝 파헤치기를 통해 공부한 내용으로 이번에 논문 코드 리뷰하는 느낌을 알아보겠습니다!