개발자로 후회없는 삶 살기

서론 최신 GAN 기술을 파고 들어보겠습니다. 본론 - DCGAN 판별자 생성자 => 해설 1. 판별기는 그냥 합성곱 신경망을 쓰면 됩니다. 2. 생성기는 판별기 과정을 거꾸로 하면 됩니다. 이미지를 받아 처리하여 벡터를 만드는 것이(판별기가 하는 일) 아니라 벡터를 받아 크기를 늘려 이미지로 만듭니다. -> 전치 합성곱이라고 합니다. (transpose conv) -> A) 일반적인 합성곱 : 깊이를 늘리면서 입력 너비와 높이를 줄입니다.(압축 = 특징 추출) -> B) 전치 합성곱 : 깊이를 줄이는 동안 너비와 높이를 증가시킵니다.(확장 이미지 생성) - GAN 훈련의 어려움 GAN은 훈련하고 평가하기가 어렵기로 유명합니다. 빠르게 발전하는 분야이므로 새로운 정보를 탐색할 수 있는 능력을 갖추는 것이..

서론 GAN의 전체 시스템을 알았으니 두 네트워크의 비용함수를 이용한 훈련과정을 보겠습니다. 본론 - GAN의 훈련이란?(생성자 중심) 훈련 데이터 셋의 이미지는 화면에 그려질 때 행렬에 있는 픽셀 값이 이미지의 모든 시각적 요소를 표현합니다.(선, 이미지, 곡선 등) + 이 값들은 데이터 셋에 있는 각 이미지에 복잡하게 걸쳐 있는 어떤 분포를 따릅니다. ※ 어떤 분포도 따르지 않는다면 그 이미지는 랜덤한 잡음과 다를 바 없습니다. -> 이 분포를 흉내 내는 샘플을 만드는 것이 생성자가 훈련을 하는 이유입니다. - 비용함수 비용함수란 : 그림을 보고 이해했을 때는 손실 함수를 가리킨다.(U자 그래프) -> 하지만 모두 최소화되는 게 좋은 것입니다. ∴ 생성자의 비용함수도 최소가 좋은 것입니다. + 한 네..

서론 동아리 프로젝트를 위해 GAN 심화 공부를 시작합니다. ※ 이 포스트는 다음 교재의 학습이 목적임을 밝힙니다. https://tensorflow.blog/gan-in-action/ GAN 인 액션 ★★★★★ GAN 을 철저하게 파헤쳐 주는 책! (책**아 님)★★★★★ GAN의 발전사를 알맹이만 쏙쏙 빼먹을 수 있어 유익했다. (아***인 님)★★★★★ GAN 입문을 위한 좋은 책 (spaci*** 님)★★★★★ tensorflow.blog 본론 - GAN 이란? 하나는 가짜 데이터를 생성하도록 훈련되고 다른 하나는 실제 샘플과 가짜 샘플을 구분하도록 훈련되는 두 개의 모델을 훈련하는 머신러닝의 한 종류입니다. (첫걸음 2일차 참고!) > 레오나르도 다빈치의 작품처럼 보이는 이미지를 생성하고 싶다면..

서론 교재에 등장하는 tf의 유용한 기능을 정리합니다. 본론 - 콜백 => 정의 : 훈련 중에 동작을 확장하거나 수정하고자 모델로 전달하는 객체 1. model checkpoint : 정기적으로 모델의 체크 포인트를 저장하고 문제가 발생할 때 복구하는 데 사용 from tensorflow.keras.callbacks import EarlyStopping, ModelCheckpoint model_checkpoint = ModelCheckpoint(filepath="./{epoch}-{val_loss:.2f}-{val_accuracy:.2f}.h5", monitor="val_loss", save_best_only=True, verbose=1) # 데이터 전처리, 모델링, compile 생략 model.fit..

서론 교과목 1, 2주차 퍼셉트론에 관한 내용을 정리합니다. 목적 : 김인철 교수님의 강의는 무조건 남겨야 하는 값진 교육이다. 본론 1주차 - 퍼셉트론이란? N차원의 입력을 받아서 0, 1의 출력을 내는 하나의 뉴런입니다. 깨끗한 선형 분류는 가능하나 비선형 분류는 못합니다. ∴ 딥러닝의 최종 학습은 퍼센트론의 파라미터를 갱신하는 퍼센트론 러닝입니다. => MLP(multi layer perceptron) 퍼셉트론을 여러 개 연결하여 선형을 비선형으로 꺾는 퍼셉트론이다. 안에서 복잡한 일을 해야 곡선의 일(비선형)을 할 수 있습니다. => 퍼셉트론의 한계 1. 경계에서 확 뛴다 > 안정적인 수렴이 어렵습니다. 2. 그래프 중간이 연속적이지 않아서 > 안정적인 수렴이 어렵습니다. => 퍼셉트론의 활성화 ..

서론 GAN 스터디 그룹에서 별도로 공부 및 발제한 내용입니다. 본론 - 신경망에서의 학습 1. 학습 시 Gradient 기반의 방법들은 파라미터 값의 작은 변화가 신경망 출력에 얼마나 영향을 미칠 것인가를 기반으로 파라미터 값을 학습합니다. 2. 변화가 신경망 결과에 매우 작은 변화를 미치게 될 경우 효과적인 학습 불가합니다. 3. Gradient라는 것은 변화량으로 변화량이 매우 작아지거나(Vanishing) 커진다면(Exploding) 신경망 학습이 불가합니다. - 안정적인 학습을 위한 간접적인 방법 1. Sigmoid, tanh : 매우 비선형적인 방식으로 입력 값을 매우 작은 출력값의 범위로 squash e.g. sigmoid는 실수 범위의 수를 [0, 1]로 맵핑 2. 위의 문제점 : 1) 출..

서론 동아리에서 진행한 딥러닝 스터디의 발제 내용입니다. ※ 이 포스트는 다음 교재의 학습이 목적임을 밝힙니다. 밑바닥부터 시작하는 딥러닝 3 이 책은 ‘밑바닥부터’ 직접 만들어보며 즐겁게 딥러닝을 익히는 시리즈의 장점을 그대로 따랐습니다. 코드 3줄로 시작해 60단계까지 차근차근 구현해보세요. 어느새 파이토치, 텐서플로와 같은 현대적이지만 미니멀한 딥러닝 프레임워크가 완성돼 있을 것입니다. 딥러닝과 파이썬 지식을 어느 정도 갖췄다면 전편을 읽지 않고도 충분히 따라 할 수 있습니다. 동적 계산 그래프(Define-by-Run) 구조와 딥러닝 프레임워크 기본 설계, 두 마리 토끼를 잡아보세요! 저자 사이토 고키 출판 한빛미디어 출판일 2020.11.10 본론 - 신경망의 예 선형회귀 모델을 하나의 노드로 ..

서론 ※ 이 포스트는 다음 강의의 학습이 목적임을 밝힙니다. http://cs231n.stanford.edu/ Stanford University CS231n: Deep Learning for Computer Vision Course Description Computer Vision has become ubiquitous in our society, with applications in search, image understanding, apps, mapping, medicine, drones, and self-driving cars. Core to many of these applications are visual recognition tasks such as image cs231n.stanford.e..