ODDA

2025.04.16 - [딥러닝] - Seq2Seq Seq2SeqSeq2Seq 모델은 Attention, Transformer의 기초가 되는 딥러닝 모델로서 시퀀스 데이터를 처리하는 RNN과 LSTM의 단점을 보완한 모델입니다. 특히 Seq2Seq 모델은 하나의 입력 시퀀스에서 다른 시퀀스로 출력up-one-coding.tistory.comRnn 모델의 장기 의존성 문제의 해결책으로 나온 Seq2Seq 모델에도 단점은 존재합니다. Encoder의 학습으로 산출된 Context vector은 압축된 정보가 담기므로 시퀀스가 길수록 정보 손실이 크고 학습이 어렵다는 것입니다. 이를 해결하기 위해 나온 구조가 Attention입니다. 기존 방식처럼 압축된 정보, Context Vector만을 추론하여 Deco..

Seq2Seq 모델은 Attention, Transformer의 기초가 되는 딥러닝 모델로서 시퀀스 데이터를 처리하는 RNN과 LSTM의 단점을 보완한 모델입니다. 특히 Seq2Seq 모델은 하나의 입력 시퀀스에서 다른 시퀀스로 출력시키는 프로세스에 적합하므로 특정 언어를 다른 언어로 번역하는데 많이 활용됩니다. Seq2Seq 모델부터는 인코더와 디코더의 개념이 활용됩니다.기존 RNN 계열 모델은 시퀀스가 길어질수록 이전 정보가 현재 시점에서는 많이 희석되어 기울기가 소실되는 단점이 존재했습니다. Seq2Seq 모델은 이 문제점을 해결하기 위해 Context Vector라는 개념을 활용합니다. 입력 시퀀스에 대해서 Encoder가 학습을 하면 Context Vector에는 학습 내용이 압축되어 산출됩니..

오차역전파법(Backpropagation)은 딥러닝 모델 학습 중 가중치 매개변수의 기울기를 효과적으로 계산하는 수학적 방식입니다. 딥러닝의 오차역전파법은 손실함수의 비용을 최소화하는 가중치를 구하는 것을 목표로 동작합니다. 이를 위해서, X의 변화에 따른 Y의 변화를 알아보기 위해 계산 그래프를 그리는 것이 중요합니다.   위 이미지는 x*y+z라는 함수를 표현한 계산 그래프입니다. 각각의 매개변수에 값을 대입시켜 함수의 값을 구하는 방식을 딥러닝에서는 순전파라고 부릅니다. 하지만 딥러닝에서 처음에 매개변수에 대입시킨 값이 손실함수의 비용을 최소화하는지는 알 수 없습니다. 따라서 각 매개변수의 기울기를 구해 손실함수의 비용을 최소화하는 값으로 업데이트하는 것이 필요합니다. 그 역할을 하는 것이 오차역전..

적대적 생성 신경망(GAN)은 기존 Computer Vision 분야에서 이미지를 분류, Segmentation 하는 것에서 발전하여 진짜 같은 가짜 이미지를 생성하는데 활용되는 기술입니다. GAN의 궁극적인 목표는 진짜와 가짜를 분류하는 역할을 하는 판별자와 가짜를 생성하는 생성자가 서로 적대적으로 학습하면서 판별자가 더 이상 진짜와 가짜를 분류하지 못하도록 생성자의 학습 성능을 높이는 것입니다.  GAN은 생성자와 판별자 2개의 Neural network로 구성되어 있습니다. 학습 과정은 판별자를 먼저 학습시킨 후 생성자를 학습시키고 다시 판별자를 학습시키는 번갈아 가는 과정을 반복합니다. 생성자 G(Generator)의 역할은 모조 이미지를 생성하는 것입니다. 랜덤 벡터(노이즈) 값을 입력으로 받은..

RNN(Recurrent Neural Network)은 2024.06.27 - [딥러닝] - [3] LSTM(Long Short-Term Memory)에서 언급된 LSTM의 기반이 된 딥러닝 시계열 모델입니다. RNN의 구조와 동작원리, 어떤 문제가 존재하기에 LSTM으로 발전되었는지에 대해 포스트 하겠습니다. RNN의 대상이 되는 시계열 데이터는 시간의 흐름에 의해 관측되며, 현재 상태가 과거 상태에 영향을 받습니다. 이 특징을 활용하여 RNN은 이전 시점의 정보와 현재 입력되는 정보를 반영하여 현재 상태를 갱신하는 구조입니다. 이전 시점의 정보를 반영하는 방법은 은닉층에 이전 시점의 은닉층의 상태와 입력층의 상태를 연산하는 것입니다. 이때 각 layer에서 전달되는 상태를 표현하는 가중치가 필요합니다..

이번 포스팅에서는 2024.06.21 - [프로젝트] - [Time Series Forecasting] FinaceDataReader을 이용한 LSTM 시계열분석에서 주식 종목의 종가와 같은 시계열 데이터를 분석하기 위해 활용되었던 LSTM(Long Short-Term Memory)에 대해 포스트 하겠습니다. [Time Series Forecasting] FinaceDataReader을 이용한 LSTM 시계열분석투자하고 있는 주식 종목의 미래 가치를 예측하여 자산 관리에 도움이 될 수 있도록 하기 위해 이 프로젝트를 교내 학회에서 진행하였습니다. 1. Dataset 설명2. Data Preprocessing3. Modeling4. 확장점 1.up-one-coding.tistory.com 시계열 데이터는 ..

이번에는 저번 포스트 https://up-one-coding.tistory.com/12에 이어 합성곱 신경망의 다른 계층과 관련 용어에 대해 포스트 하겠습니다. 합성곱 신경망은 Feature Map을 생성하는 Convolution layer(합성곱 계층) 외에도 풀링 계층(Pooling layer)과 Fully Connected layer, Softmax layer로 구성되어 있습니다. 먼저 Pooling layer은 Feature Map의 공간적 크기를 줄이는 연산을 진행합니다. 합성곱 연산의 결과를 저장하는 Feature Map을 특정 조건을 토대로 일정 영역의 정보를 축약하는 것입니다. 그 종류로 일정 영역의 최댓값을 취하는 MaxPooling, 일정 영역의 평균값을 취하는 AveragePoolin..

이번 포스트에는 https://up-one-coding.tistory.com/11에서 언급된 합성곱 신경망(Convolution Neural Network)의 구조와 원리, 관련 용어를 2개의 포스트로 나누어 알아보겠습니다. 이번 포스트에서는 CNN의 등장 이유와 합성곱 연산이 이뤄지는 합성곱 계층에 대해 포스트 하겠습니다. 합성곱 신경망(Convolution Neural Network, CNN)은 기존 DNN(Deep Neural Network)의 구조에 합성곱 계층(Convolution layer)과 풀링 계층(Pooling layer)을 더해 만들어진 이미지 데이터 분석에 고성능을 가진 신경망 구조입니다. 그 이유는 주어진 이미지의 특징을 CNN의 합성곱 연산으로 쉽게 추출할 수 있기 때문입니다. ..