Prompt Engineering, PEFT, RAG – LLM이 외부 정보를 사용하는 세 가지 방법
LLM이 외부 정보를 사용하는 세 가지 방법인 Prompt Engineering, PEFT, RAG의 핵심 개념과 대표 논문을 소개합니다.
Language Model
[22′ NeurIPS] LIFT: Language-Interfaced Fine-Tuning for Non-Language Machine Learning Tasks
Non-Language Task를 언어 문제로 변환하여 해결하는 혁신적 방법을 제시합니다. 이 연구는 LLM의 표현력을 활용해 다양한 데이터 유형을 언어화하고, 이를 통해 문제를 직관적으로 해결합니다. LIFT는 LLM의 활용 범위를 확장하며, 데이터의 의미적 이해를 통한 정확한 예측과 분석을 가능하게 합니다.
[23′ ICLR] LANGUAGE MODELS ARE REALISTIC TABULAR DATA GENERATORS
GReaT 논문은 LLM을 활용하여 실제와 유사한 Tabular Dataset을 생성하는 혁신적 방법을 제시합니다. 이 방법론은 Tabular 데이터를 자연어 형태로 변환하여 LLM이 학습할 수 있게 하고, Feature Order Permutation을 통해 데이터의 다양성을 확보합니다. 이를 통해, LLM은 주어진 목표 성능에 맞는 셀 설계 인자를 자동으로 생성할 수 있으며, 이차전지 셀 설계 자동화 프로젝트에 새로운 가능성을 열어줍니다.
