
2025.04.16 - [딥러닝] - Seq2Seq Seq2SeqSeq2Seq 모델은 Attention, Transformer의 기초가 되는 딥러닝 모델로서 시퀀스 데이터를 처리하는 RNN과 LSTM의 단점을 보완한 모델입니다. 특히 Seq2Seq 모델은 하나의 입력 시퀀스에서 다른 시퀀스로 출력up-one-coding.tistory.comRnn 모델의 장기 의존성 문제의 해결책으로 나온 Seq2Seq 모델에도 단점은 존재합니다. Encoder의 학습으로 산출된 Context vector은 압축된 정보가 담기므로 시퀀스가 길수록 정보 손실이 크고 학습이 어렵다는 것입니다. 이를 해결하기 위해 나온 구조가 Attention입니다. 기존 방식처럼 압축된 정보, Context Vector만을 추론하여 Deco..
딥러닝
2025. 4. 21. 16:02
TAG
- #웹 프로그래밍 #서버 #클라이언트 #http #was
- #docker #docker compose
- 머신러닝 #lightgbm #goss #ebf
- 머신러닝 #project #classification #dacon
- #자연어 처리 #정수 인코딩 #빈도 수 기반
- #with recursive #입양시각 구하기(2) #mysql
- #물고기 종류별 대어 찾기 #즐겨찾기가 가장 많은 식당 정보 출력하기 #mysql #programmers
- #attention #deeplearning
- 자연어 처리 #정제 #정규표현식 #어간 추출 #표제어 추출
- 로지스틱 회귀 #오즈비 #최대우도추정법 #머신러닝
- pca #주성분분석 #특이값분해 #고유값분해 #공분산행렬 #차원의 저주
- 머신러닝 #xgboost #
- 잘라서 배열로 저장하기 #2차원으로 만들기
- 프로젝트 #머신러닝 #regression #eda #preprocessing #modeling
- python #프로그래머스 #겹치는선분의길이
- # 프로그래머스 # 카펫 # 완전탐색
- #docker #container #docker command
- #tf idf
- #opencv #이미지 연산 #합성
- # 할인행사 #counter #딕셔너리 #프로그래머스
- #프로그래머스 #안전지대 #시뮬레이션
- #polars #대용량 데이터셋 처리
- #python #프로그래머스 #외계어사전 #itertools #순열과조합
- #django #mvt 패턴
- # 프로그래머스 #연속된 부분수열의 합 #이중 포인터 #누적합
- #opencv #이미지 읽기 #이미지 제작 #관심영역 지정 #스레시홀딩
- #seq2seq #encoder #decoder #teacher forcing
- #docker #image #build #dockerfile
- nlp #토큰화 #nltk #konply
- randomforest #bagging #머신러닝 #하이퍼파라미터 튜닝
글 보관함
최근에 올라온 글