[19′ NAACL] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT의 기본 구조, Pretraining과 Fine Tuning 과정, 그리고 다양한 NLP 작업에서의 성능을 상세히 살펴봅니다. BERT와 GPT-1의 차이점도 비교 분석하며, BERT의 장단점과 의의를 깊게 탐구합니다
Language Model
[18′ OpenAI] GPT-1 : Improving Language Understanding by Generative Pre-Training
GPT-1 논문을 리뷰합니다. 기존 방법의 문제점, GPT-1의 구조, Pretraining과 Fine Tuning 방법, Pretraining이 효과적인 이유, 실험 결과 등을 분석하고 GPT-1의 장단점과 의의에 대해 생각해봅니다.
[17′ NIPS] Transformer : Attention Is All You Need
Transformer 논문의 핵심 내용을 살펴봅니다. Transformer의 구조, Self Attention의 힘, 그리고 실제 실험 결과를 소개합니다. Transformer의 장단점과 중요성도 함께 알아봅니다.
