Naver PART.팀 프로젝트 9, 10주차(가구 모델 리서치, 슈가 뷰어, UXR 모델 확정)

서론

9, 10주차에는 UXR에 사용할 모델 리서치를 마무리하고 적용하는 시간을 가지기로 하였습니다.

 

본론

- 가구 모델 리서치

1. openLRM

배경이 없는 이미지만 가능하여, 입력 데이터 전처리를 해주어야 하며 그러기에 인퍼런스 과정에서 Segmentation 과정이 필요합니다. 단일 이미지 1장으로 결과를 내며 CPU 사용 시 10초 내로 가능합니다. 하지만 출력 결과가 다소 거친 경향이 있습니다.

 

2. One-2-3-45 / One-2-3-45++

Segmentation 과정을 포함하고 있기에 배경을 지워줄 필요가 없으며, 발전 가능성을 보입니다. 하지만 대부분 약간 뭉뚱그리한 결과가 나옵니다.

 

=> 결론

가구 이미지 입력 데이터 전처리를 위해 화질 개선이 필요할 수 있습니다. 사용자들이 대부분 핸드폰으로 찍어 올릴 텐데 요즘 모바일 폰 화질이 너무 좋아서 모델이 못 받아들이거나 자체적으로 화질을 개선해서 출력 결과는 다를 수 있습니다. 아이폰의 경우 heic를 png로 전환하는 과정이 필요합니다.

 

- Sugar 뷰어

가우시안 스플렛팅 방법론을 사용한 Sugar 모델은 모델 추론 결과를 뷰어로 제공합니다. 연구원 분께서 앞으로 사용하게 될지도 모르는 Sugar 모델 뷰어 사용 방법을 공유해 주셨습니다.

 

① texture 모드 : 가우시안을 mesh로 변환한 뷰어
② hybrid 모드 : 렌더링 모드로 Sugar 모델이 refined된 mesh를 렌더링 한 뷰어
③ wireframe 모드 : mesh 표면이 더 적나라하게 드러나는 뷰어(가우시안Tomesh 정도 차이로 예상)

 

- UXR 모델 픽스

UXR에 사용할 공간, 가구 모델을 픽스했습니다. 

 

1. 공간 모델 nerf facto

1) 입력은 mpt4 형태로 프레임간 오버랩이 잘 될 수록 성능이 좋기에, 명확한 사용자 가이드라인을 제공해야 합니다.
2) 모델 입력 사이즈가 정해져 있기에 해상도 검증이 필요해 보입니다.
3) 출력은 ply 형태로 30분 정도 걸립니다.

 

-> 장ㆍ단점

Sugar는 mesh 특화 모델이라서 정말 깔끔하게 나오는 데 시간이 오래 걸리고 커스텀 데이터에 로버스트 하지 않습니다. nerf facto는 커스텀 데이터에 로버스트하고 결과가 빠르지만, 포인트 클라우드로 결과가 나옵니다.

 

속도와 성능, 커스텀 데이터에 적용가능 한가?이 주된 선택 포인트가 되는 상황에서 저희는 렌더링, 인테리어 배치를 해야 해서 mesh가 필요합니다. 포인트 클라우드는 흙 뿌려져 있는 상태이고 경계가 없어서 공간과 가구의 상호 작용이 안 됩니다. 또한 유저가 보기에도 가까이 다가가면 포인트가 너무 잘 보입니다. 따라서 결국은 mesh로 바꾸는 것이 필요합니다.

 

-> 선택의 이유

역시 속도와 커스텀 데이터, 성능의 이유입니다. Sugar가 성능이 좋기는 하지만, 커스텀 데이터에 적용할 수 없어 의미가 없었고, 시간도 refined mesh하는 과정에서 4시간이나 걸립니다. Sugar나 nerf facto나 모델 학습 시간 자체로만 봤을 때는 Sugar가 10분 nerfacto가 3분인데 Sugar가 공간 구성이 point가 아니라 가우시안으로 구성되다 보니 깔끔하지 않아서 sugar 같은 mesh refine 연구가 나온 것이고 mesh로 바꾸는 시간이 2, 4시간으로 시간의 대부분을 차지합니다.

 

-> 한계점

윤기가 있거나, 패턴이 없는 데이터는 재구성이 정확하게 되지 않습니다. 뎁스 정보를 잘 추출할 수 없어서 포인트가 바당게 생기지 않고 다른 공간에 생깁니다. Sugar도 하얀 벽지는 재구성이 잘 안 되던데 3D 재구성 모델의 한계라고 합니다. 따라서 UXR까지는 nerf facto를 사용하고, 이를 1차 데모까지 극복할 것입니다.

 

2. 가구 모델 triplan 가우시안

1) 입력 포멧은 이미지 1장
2) 해상도가 높을 수록 좋은 결과
3) 사진에 목적 객체 외 다른 객체가 있으면 안 돼서 가이드가 필요
4) 출력은 ply

가구 모델은 명확하게 정해졌습니다. 부피, 투명돋, 굴곡 등을 완벽하게 재구성하고 시간도 오래 걸리지 않아서 결정하게 되었습니다.