self-attention1 Transformer model 1. Transformer 란?"Attention is All you Need (2017, Google)"자연어 처리와 머신러닝에 사용되는 딥러닝 모델 : OpenAI의 GPT, Google의 Bert기존의 RNN, LSTM보다 빠르고 효율적 텍스트 처리2. 기존 모델(RNN, LSTM)과의 차이점입력 데이터를 순차적으로 처리해야 해서 속도가 느리고, 긴 문장을 다루기 어려움Transformer는 병렬 처리가 가능하고 문장의 모든 단어를 한꺼번에 처리할 수 있도록 설계3. Transformer의 핵심 개념Self-Attention : 문장 안의 각 단어가 다른 단어들과 얼마나 관련이 있는지 계산하는 과정Multi-Head Attention : Self-attention 을 여러개 동시 수행하는 기법으로 .. 2025. 4. 13. 이전 1 다음 반응형