네이버 부스트캠프 AI Tech 13주차 회고

서론

OCR 프로젝트를 마무리하며, 프로젝트에서 가장 고민이었던 부분을 기록합니다.

 

본론

- 버전 이슈로 인한 학습 속도 차이

OCR 모델을 학습하기 위한 데이터 로딩 과정에서 geometry map과 score map을 구하는 시간이 굉장히 오래 걸려서 총 100장의 데이터인데 1에폭당 10분이 걸렸습니다. 실제로 학습되는 시간을 10초 내외였는데 로딩 과정에서만 시간이 오래 걸리는 문제가 있었습니다.

 

-> 버전 차이 🚨

numpy나 opencv는 이미지 처리 및 수치 계산에 사용되는 라이브러리라서 최적화 개선에 따른 속도 차이 有
라이브러리들 간에 호환성 문제로 인한 성능 저하

그러던 중 캠퍼 한 분께서 버전을 낮추면 3배 가까운 속도 향상이 있다는 정보를 공유해 주셨고, 라이브러리 버전 차이로 인해서도 학습 속도가 달라지는 것을 알게 되었습니다. 거대한 행렬 연산에 최적화된 언어가 파이썬이라는 것을 알고 있었지만, 라이브러리 버전으로 이렇게 큰 시간 차이가 있다는 것을 몸소 체험하는 경험이었습니다.

 

-> 학습 속도가 의지에 미치는 영향

10분 : 하,, 전체 150 에폭인데 그럼 1500분에 검증 로딩 시간까지 합쳐져서 실험 한 번 돌리는 데 25시간이 걸려??
4분 : 와.. 드디어 실험 할 맛 나네 얼른 밀렸던 실험 해봐야지!
25초 : 이건 신세계다. 내가 이 속도를 못 따라가겠다.

모델 학습 환경 셋팅이 이렇게 모델 학습에 큰 영향을 미치는 것을 깨달았습니다. 앞으로 모델 학습을 돌릴 땐 우선 베이스 라인 모델의 환경 셋팅부터 최적화해야겠습니다.