목록[AI] (68)
개발자로 후회없는 삶 살기
논문 리뷰 PART.Word2Vec: Efficient Estimation of Word Representations in Vector Space
서론 Word2Vec는 단어를 모델이 이해할 수 있도록 수치 표현으로 변환하는 모델로 단어를 표현하는 방법을 설명합니다. 본 포스팅에서 주요 내용 위주로 논문을 번역/ 요약하였습니다. > 논문에서는 Word2Vec 방식 2가지를 설명합니다. 두 방식의 모양은 서로 다르지만 결과적으로는 같은 목적을 이룹니다. 저자들은 이전 NLP 모델과 저자들의 모델을 비교하며 과거의 문제점을 위 논문으로 해결한 것을 중점으로 다룹니다. 틀린 내용이 있으면 피드백 부탁드립니다. - 논문 제목 : Efficient Estimation of Word Representations in Vector Space - 저자 : Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean 본론 - 논문 ..
NLP PART.단어의 표현
서론 ※ 이 포스트는 다음 교재의 학습이 목적임을 밝힙니다. https://wikidocs.net/book/2155 딥 러닝을 이용한 자연어 처리 입문 많은 분들의 피드백으로 수년간 보완된 입문자를 위한 딥 러닝 자연어 처리 교재 E-book입니다. 오프라인 출판물 기준으로 코드 포함 **약 1,000 페이지 이상의 분량*… wikidocs.net -> 전체 코드 https://github.com/SangBeom-Hahn/NLP/blob/main/nlp_book/4_%EB%8B%A8%EC%96%B4%EC%9D%98_%ED%91%9C%ED%98%84.ipynb GitHub - SangBeom-Hahn/NLP Contribute to SangBeom-Hahn/NLP development by creating..
NLP PART.언어 모델
서론 ※ 이 포스트는 다음 교재의 학습이 목적임을 밝힙니다. https://wikidocs.net/book/2155 딥 러닝을 이용한 자연어 처리 입문 많은 분들의 피드백으로 수년간 보완된 입문자를 위한 딥 러닝 자연어 처리 교재 E-book입니다. 오프라인 출판물 기준으로 코드 포함 **약 1,000 페이지 이상의 분량*… wikidocs.net 이번 장에서는 통계 기반 전통 언어 모델을 배웁니다. -> 전체 코드 https://github.com/SangBeom-Hahn/NLP/blob/main/nlp_book/2_2_%EB%AA%A8%EB%8D%B8%EB%A7%81_%EC%A0%84%EC%B2%98%EB%A6%AC.ipynb GitHub - SangBeom-Hahn/NLP Contribute to ..
NLP PART.텍스트 전처리2
서론 ※ 이 포스트는 다음 교재의 학습이 목적임을 밝힙니다. https://wikidocs.net/book/2155 딥 러닝을 이용한 자연어 처리 입문 많은 분들의 피드백으로 수년간 보완된 입문자를 위한 딥 러닝 자연어 처리 교재 E-book입니다. 오프라인 출판물 기준으로 코드 포함 **약 1,000 페이지 이상의 분량*… wikidocs.net -> 전체 코드 https://github.com/SangBeom-Hahn/NLP/blob/main/nlp_book/2_1_%ED%85%8D%EC%8A%A4%ED%8A%B8_%EC%A0%84%EC%B2%98%EB%A6%AC.ipynb GitHub - SangBeom-Hahn/NLP Contribute to SangBeom-Hahn/NLP development ..
NLP PART.텍스트 전처리
서론 ※ 이 포스트는 다음 교재의 학습이 목적임을 밝힙니다. https://wikidocs.net/book/2155 딥 러닝을 이용한 자연어 처리 입문 많은 분들의 피드백으로 수년간 보완된 입문자를 위한 딥 러닝 자연어 처리 교재 E-book입니다. 오프라인 출판물 기준으로 코드 포함 **약 1,000 페이지 이상의 분량*… wikidocs.net -> 전체 코드 https://github.com/SangBeom-Hahn/NLP/blob/main/nlp_book/1_nlp_%EC%A4%80%EB%B9%84.ipynb GitHub - SangBeom-Hahn/NLP Contribute to SangBeom-Hahn/NLP development by creating an account on GitHub. g..
NLP PART.BERT, GPT
서론 ※ 이 포스트는 다음 강의의 학습이 목표임을 밝힙니다. https://www.youtube.com/@mcodeM/playlists 메타코드M 메타코드에서 SKY출신 / AI기업 현직자에게 무료로 코딩을 배우세요 서울대 , 카이스트, 고려대 + 현업 개발자들의 핵심 코딩/데이터 강의 [비지니스 협업은 메일로 연락주세요 : support@mcode.co.kr] - www.youtube.com 본론 BERT(bidirectional encoder rep transformer= 양방향성을 가지고 있습니다. 트랜스포머의 인코딩 부분을 사용합니다.) & GPT(Generative pretrained transformer = 이름대로 만들어내는 구조입니다.) - bert transformer의 인코더 부분을 사..
NLP PART.Attention 메커니즘
서론 ※ 이 포스트는 다음 강의의 학습이 목표임을 밝힙니다. https://www.youtube.com/@mcodeM/playlists 메타코드M 메타코드에서 SKY출신 / AI기업 현직자에게 무료로 코딩을 배우세요 서울대 , 카이스트, 고려대 + 현업 개발자들의 핵심 코딩/데이터 강의 [비지니스 협업은 메일로 연락주세요 : support@mcode.co.kr] - www.youtube.com 본론 - 어텐션 rnn의 단점을 보완하기 위해 만든 것이 lstm이었습니다. 이들은 시간에 따라서 sequential 한 w가 전달되는 특징이 있었습니다. 여기서 파생된 것이 seq2seq였습니다. 이는 인-디코더를 가지고 many-to-many 구조를 띄고 있었고 이것의 문제점을 보완하기 위해 만들어진 것이 at..
NLP PART.RNN, Seq2Seq 구조
서론 ※ 이 포스트는 다음 강의의 학습이 목표임을 밝힙니다. https://www.youtube.com/@mcodeM/playlists 메타코드M 메타코드에서 SKY출신 / AI기업 현직자에게 무료로 코딩을 배우세요 서울대 , 카이스트, 고려대 + 현업 개발자들의 핵심 코딩/데이터 강의 [비지니스 협업은 메일로 연락주세요 : support@mcode.co.kr] - www.youtube.com 본론 - rnn 시간에 따라 변화하는 데이터를 처리하기에 좋은 NN 구조입니다. > 예시 : 음성인식, 음악 생성기, DNA 염기 서열 분석, 번역기, 감정 분석 > state space model입니다. 입력, 상태, 출력을 다루는 모델입니다. history를 가져가는 모델입니다. 세 개의 w를 공유합니다. rn..