Naver PART.팀 프로젝트 8주차(모델 세미나, 평가 지표)

서론

8주 차 지속적인 모델 세미나를 하고 평가 지표를 설계합니다.

 

본론

- 모델 리서치

이제 도면 모델과 실사화 모델 관련하여 도면, 실사화, 가구 팀을 나누고 모델 리서치를 진행합니다.

 

1. 도면 모델링 plan2scene

저희가 원하는 도면 모델링은 도면을 입력으로 넣으면 3D reconstruction과 텍스쳐 입히기를 모두 해주는 모델입니다. 3D로 재구성 이후 텍스쳐 입히기라면 이 모델은 2번째 단계인 텍스쳐 입히기 모델이었습니다. 3D 재구성은 임의로 해주어야 하며, 3D 메시가 주어질 때 자연스러운 텍스쳐를 보장한다고 합니다. 물론 3D 재구성이 선행되어야 하지만, 자연스러운 텍스쳐 단계에서 사용할 수도 있겠다고 생각하였습니다.

 

2. 공간 모델링 MVSFormer

MVS 기반 모델은 속도는 Nerf 계열에 비해 빠르지만, 성능은 저조합니다. 하지만 이 모델은 mesh 퀄리티도 나쁘지 않았습니다. 그래도 Nerf 보다는 퀄리티가 낮기에 속도와 퀄리티를 모두 잡아야 하는 저희에게는 적절하지 않을 수 있습니다.

 

-> 따라서 렌더링 후처리 🚨

원본 모델은 3D Mesh를 뽑는 것과 텍스쳐 입히는 것을 단계적으로 진행합니다. 하지만 그 결과가 저조하여, 렌더링 후처리로 mesh를 메꾸고 텍스쳐와 색깔을 입히는 것을 고려하기로 했습니다.

 

3. 공간 모델링  SuGaR

가우시안 스플랫팅 기반 모델입니다. 출력 결과로 포인트 클라우드가 나오며 mesh로 변경하면, coarse 한 mesh가 나옵니다. 그것을 재학습하여 refine mesh를 출력하여 위 사진처럼 보다 퀄리티 좋은 결과를 낼 수 있습니다. 

 

-> 문제점 🚨

역시 퀄리티가 좋으면, 속도가 느립니다. 이 모델은 1차 mesh를 뽑는 것과 2차 refine mesh를 뽑는 과정에서 1시간 가까이 걸리게 되어 서비스에 직접적으로 사용하기 어려울 수 있습니다. 이 모델의 속도를 높이기 위해 refine을 제거하고 시간이 얼마 걸리나 확인하고 mvs 모델 결과를 refine 하는 것도 고려하고 있습니다.

 

- 서비스 평가 지표 설계

MLOps 기초 수업에서 애플리케이션 설계 단계에서 평가 방법도 설계해야 한다고 배웠습니다. 저희 서비스에 맞는 평가 지표를 설계하는 과정을 기록합니다.

 

앱 의존도
stickiness
신규 vs 재방문율
총 세션수 / 총 사용자 수
사용자 체류시간

이렇게 다양한 어플리케이션 평가 지표 중에서 저희 서비스에 맞는 평가 지표를 찾아야 합니다.

 

-> 우리의 지표

1) 우리는 사용자가 모델을 얼마나 사용하고 공간을 얼마나 만들었는 지를 지표로 두면 좋을 것이다.

2) 신규 vs 재방문
1] 새로운 가구나 지난번 우리의 앱을 사용할 때 못 찾은 가구가 이번에 새로 생기면 알림을 주면 좋을 것이다.
2] 관심 가구가 업로드되면 알림

3) 우리 체류 시간을 늘릴 수 있는 건 어떤 게 있을까?
1] 가구 판매점에 우리 서비스를 홍보하자
2] ai 3d 재구성 배틀 커뮤니티

4) 우리는 유저가 자주 방문하지 않아서 DAU는 안 좋을 텐데 오늘의 집은 어떻게 극복하였나?
인스타에 자신의 인테리어를 자랑하는 기능을 제공함, 커뮤니티로 온라인 집들이와 인테리어 노하우 공유(집 꾸미기라는 동일 앱이 있었는데 커뮤가 없어서 오늘의 집에 밀렸다.)

5) 우리 서비스가 가구와 공간만 두고 커뮤 안 하면 stick 떨어질 거임

저희 서비스 관련 지표를 구상하고 다른 서비스와 비교하며 필요한 평가 지표를 설계하였습니다.