SMALL word2vec2 8장_워드투벡을 이용한 자연어 처리 이전 내용에서는 기존의 단어 임베딩(Word Embedding)을 원핫 인코딩(one-hot encoding)방식을 사용함. https://yuna96.tistory.com/133 7장_한글 자연어 처리 자연어 처리 기술(NLP, Natural Language Processing) : 사람이 말하는 언어를 기계적으로 분석해 컴퓨터가 이해할 수 있는 형태로 만드는 기술 1. 자연어 처리 분야 정보 검색(Information Retrieval Service) 가장 yuna96.tistory.com 이 방식은 단어 사전이 무한대로 길어지는 단점이 있으며 대부분 0으로 표시되어 의미 없는 메모리를 차지함. 또한 단어 간의 의미론적 차이와 연관 관계를 이해할 수 없음 이러한 문제를 해결하기 위해 단어를 다차원 공.. 2023. 3. 19. chap03. 자연어 처리 개요_단어 표현 자연어 처리는 크게 4가지(텍스트 분류, 텍스트 유사도, 텍스트 생성, 기계 이해)에 따라 어떻게 처리를 할지 달라진다. 이번 챕터에서는 자연어 처리를 통해 어떤 문제를 해결할 수 있고, 어떤 방식으로 해결하는지에 대해 알아본다. 먼저, 위에서 언급한 4가지를 알아보기 전에 단어 표현이라는 것에 대해 알아보자. [ 단어 표현 ] 자연어 처리란, 컴퓨터가 인간의 언어를 이해하고 분석 가능한 모든 분야를 말한다. 즉, 자연어 처리의 가장 기본적인 문제는 '어떻게 자연어를 컴퓨터에게 인식시킬 수 있을까?'가 된다. 컴퓨터는 모든 값을 이진화된 값으로 받아들이는데, 텍스트는 그중 "유니코드" 또는 "아스키 코드"라는 방식을 통해 인식한다. 이런 이진화된 방식을 자연어 처리에 그대로 사용하기에는 언어적 특성이 전.. 2021. 7. 6. 이전 1 다음 LIST
