Naver PART.팀 프로젝트 4, 5주차(3D 모델 리서치, 기술 리서치)

서론

프로젝트 기획 단계에서 서비스에 사용할 모델, 보다 나은 성능을 위한 후처리 등 기술 리서치와 타당성 분석, 비슷한 기존 서비스 등을 조사하고 토의하는 과정을 기록합니다.

 

본론

- 디자인 컨셉 짜기

팀원 모두 대체적으로 깔끔하고 사용자가 이용하기 깔끔한 디자인을 원하고 있으며 저의 컨셉은 아래와 같습니다.

 

1. 홈페이지

[봄 / 여름 / 겨울]

계절마다 분위기를 다르게 하면 좋을 것 같다는 생각을 하였습니다.

 

2. 메인 페이지

훤히 보이는 뷰에 깔끔한 디자인을 생각하였고 팀원 모두 저와 동일한 생각을 가지고 있었습니다.

 

3. 결과물 페이지

우측 이미지처럼 인테리어 후 전체 이미지를 보여주는 것은 반드시 있어야 합니다. 추가로 저는 좌측 이미지처럼 수정한 부분만 클릭해서 확대해서 볼 수 있다면 사용자의 편리함을 더해줄 수 있을 것 같다고 제안하였습니다.

 

- 모델 리서치

1. VisFusion

[https://github.com/huiyu-gao/VisFusion]

 

-> 모델에 대한 의견

1) 성능이 잘 안 나와서 우리 서비스에 사용하기엔 고도화가 필요하다.
2) 대신 책상 위에 불필요한 물품들은 못 잡아서 자연스럽게 제거가 된다.
3) 코드를 개발자가 수정할 수 있고 fps랑 해상도를 수정할 수 있어서 수정한다면, 세세하게 포착할 수 있을 것 같기도 하다.

 

 

-> 데이터 셋

깃헙에 보면 scenenet dataset이 있다. 하지만 1.2 테라로 용량이 너무 크다. 근데 사전학습 가중치가 스켄넷 결과라서 재학습 시 스켄넷으로 안 해도 되지 않을까 싶다.

 

 

2. NeuralRecon

[https://github.com/zju3dv/NeuralRecon]

 

-> 모델에 대한 의견

1) three.js에서 지원하는 확장자인 PLY 형식으로 mesh를 뽑아준다.
2) 이 역시 의자 다리 같은 디테일이 떨어진다.
3) 또한 색깔을 위한 후처리가 필요하다.
4) 실시간 성을 포기하더라도 디테일을 살려야 하는 생각이 든다.
5) 입력 데이터는 뉴럴리컨의 입력 데모 데이터와 동일하다.

 

 

3. nerf2mesh

 

 

-> 모델에 대한 의견

1) nerf 기반 모델은 인퍼런스 속도가 오래 걸린다. nerf는 인퍼런스 개념이 인퍼런스 할 때 렌더링을 원하는 공간마다 학습을 해야 한다. 인퍼런스가 학습 + 렌더링이다.