개발자로 후회없는 삶 살기

서론 Faster R-CNN은 기존 Fast R-CNN이 Resion Proposal을 추천기의 추천대로 하는 것의 한계를 느끼고 영역 추정 네트워크(RPN)를 자체적으로 추가한 모델입니다. 본 포스팅에서 주요 내용 위주로 논문을 번역/ 요약하였습니다. > 논문에서는 Fast R-CNN이 추천기에 의존하는 것 때문에 속도가 느리고 한계가 있다고 언급합니다. 따라서 모델 스스로 영역 추정을 하도록 합니다. 틀린 내용이 있으면 피드백 부탁드립니다. - 논문 제목 : Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks - 저자 : Shaoqing Ren, Kaiming He, Ross Girshick, and Jian S..

서론 이 프로젝트는 BERT의 specific task 중 하나인 Q&A를 한국어 위키백과 데이터로 fine tuning 하고 한국어로 BERT 모델과 질의응답을 하는 것을 목표로 합니다. -> 전체 코드 https://github.com/SangBeom-Hahn/Question_And_Answering GitHub - SangBeom-Hahn/Question_And_Answering Contribute to SangBeom-Hahn/Question_And_Answering development by creating an account on GitHub. github.com 본론 - 프로젝트 주제 위키백과 데이터로 BERT를 fine-tuning하여 질의응답을 수행합니다. => 세부목표 ① 위키백과 데이..

서론 Attention Is All You Need는 기존 Seq2Seq의 문제점이었던 시간 의존도를 해결하는 아이디어를 제안합니다. 본 포스팅에서 주요 내용 위주로 논문을 번역/ 요약하였습니다. > 논문에서는 Context Vector에 의한 시간 의존성으로 이해 입력 단어들 사이의 연관성이 사라지는 문제가 단어의 표현력을 저해함을 언급합니다. trasformer는 과거의 의미를 압축하는 Context Vector가 아닌 attention 기법을 활용하여 새로운 모델을 제안합니다. 틀린 내용이 있으면 피드백 부탁드립니다. - 논문 제목 : Attention Is All You Need - 저자 : Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit,..

서론 교과목 3주차 협업에 관한 내용을 정리해 보겠습니다. 본론 - 협업이란? 정의 : 공통된 규칙을 지키는 것 > 검증받지 않은 코드는 에러를 유발한다고 하여 100라인 이상 짜지 못하게 하는 회사가 있다고 합니다. (100라인 이상 짜면 버그가 발생할 확률이 높아집니다. > 코드가 긴 만큼 규칙을 지키기 어렵습니다.) + 혼자 만드는 코드는 그래도 돌아는 갑니다. 근데 같이 짤 때는 절대로 버그가 없을 수 없습니다. 하지만 우리는 프로젝트를 완성하기 위해서 혼자 할 수 없는 경우가 있으므로 협업을 해야 하고 따라서 규칙을 지켜야 합니다. ∴ 협업을 하는 위해 규칙을 만들어야 합니다! > 협업을 잘하게 해주는 협업 툴이 있고 협업 관리 툴을 잘 사용해야 합니다. => 형상관리(version contro..

서론 교과목 5주차 고급 신경망 활용에 관한 내용을 정리합니다. 목적 : feature extraction의 재발견! 본론 - Shallow Learning vs Deep Learning 1. SL : feature 추출은 전문가(사람)이 하고, 분류만 모델이 하는 방법 2. DL : feature 추출부터 분류까지 모델이 하는 방법 => 핵심 1. SL은 분류기만 학습합니다. 2. DL은 추출기부터 분류기까지 전부 학습합니다. ※ 빨간색 부분이 분류기/ 파란색 부분이 분류기 > 결론 : 과거와 현재의 차이는 feature 추출을 사람이 하는가, 기계가 하는가의 차이입니다. - CNN => FNN의 문제점 1. 뉴런이 완전 연결되어 학습시켜야 하는 파라미터의 개수가 폭발적으로 증가 2. 입력을 1차원으로..

서론 내가 원하는 조건 생성을 할 수 있는 Conditional GAN ※ 이 포스트는 다음 교재의 학습이 목적임을 밝힙니다. https://tensorflow.blog/gan-in-action/ GAN 인 액션 ★★★★★ GAN 을 철저하게 파헤쳐 주는 책! (책**아 님)★★★★★ GAN의 발전사를 알맹이만 쏙쏙 빼먹을 수 있어 유익했다. (아***인 님)★★★★★ GAN 입문을 위한 좋은 책 (spaci*** 님)★★★★★ tensorflow.blog 본론 - 도입부 미리 보기 : sgan이 판별자에 label을 사용했다면 cgan은 생성자와 판별자를 훈련하는데 모두 label을 사용 -> label을 학습하니 원하는 가짜 샘플을 합성 가능합니다! -> 동기 : 지금까지 gan은 실제 같은 손글씨 ..

서론 최신 GAN 기술을 파고 들어보겠습니다. 본론 - DCGAN 판별자 생성자 => 해설 1. 판별기는 그냥 합성곱 신경망을 쓰면 됩니다. 2. 생성기는 판별기 과정을 거꾸로 하면 됩니다. 이미지를 받아 처리하여 벡터를 만드는 것이(판별기가 하는 일) 아니라 벡터를 받아 크기를 늘려 이미지로 만듭니다. -> 전치 합성곱이라고 합니다. (transpose conv) -> A) 일반적인 합성곱 : 깊이를 늘리면서 입력 너비와 높이를 줄입니다.(압축 = 특징 추출) -> B) 전치 합성곱 : 깊이를 줄이는 동안 너비와 높이를 증가시킵니다.(확장 이미지 생성) - GAN 훈련의 어려움 GAN은 훈련하고 평가하기가 어렵기로 유명합니다. 빠르게 발전하는 분야이므로 새로운 정보를 탐색할 수 있는 능력을 갖추는 것이..

서론 GAN의 전체 시스템을 알았으니 두 네트워크의 비용함수를 이용한 훈련과정을 보겠습니다. 본론 - GAN의 훈련이란?(생성자 중심) 훈련 데이터 셋의 이미지는 화면에 그려질 때 행렬에 있는 픽셀 값이 이미지의 모든 시각적 요소를 표현합니다.(선, 이미지, 곡선 등) + 이 값들은 데이터 셋에 있는 각 이미지에 복잡하게 걸쳐 있는 어떤 분포를 따릅니다. ※ 어떤 분포도 따르지 않는다면 그 이미지는 랜덤한 잡음과 다를 바 없습니다. -> 이 분포를 흉내 내는 샘플을 만드는 것이 생성자가 훈련을 하는 이유입니다. - 비용함수 비용함수란 : 그림을 보고 이해했을 때는 손실 함수를 가리킨다.(U자 그래프) -> 하지만 모두 최소화되는 게 좋은 것입니다. ∴ 생성자의 비용함수도 최소가 좋은 것입니다. + 한 네..