ODDA

2025.03.24 - [자연어처리] - [2] 정제와 추출 [2] 정제와 추출2025.03.21 - [자연어처리] - [1] 토큰화(Tokenizer) [1] 토큰화(Tokenizer)NLP(Natural Language Processing)은 인간의 언어를 이해하고 해석하기 위한 목적으로 발전해 왔습니다. 다만 분석 모델의 학습 데이터셋은up-one-coding.tistory.com정제와 추출을 겪은 텍스트는 드디어 학습에 사용하기 위해 숫자의 형태로 바꿀 준비가 되어 있습니다. 텍스트 데이터를 숫자의 형태로 바꾸는 가장 대표적인 방법은 빈도수에 따라 매핑하는 것입니다."A barber is a person. A barber is good personbarbergoodperson212 위의 예시처럼,..