Language Model

[23′ ICLR] LANGUAGE MODELS ARE REALISTIC TABULAR DATA GENERATORS

This entry is part 13 of 13 in the series Language Model

GReaT 논문은 LLM을 활용하여 실제와 유사한 Tabular Dataset을 생성하는 혁신적 방법을 제시합니다. 이 방법론은 Tabular 데이터를 자연어 형태로 변환하여 LLM이 학습할 수 있게 하고, Feature Order Permutation을 통해 데이터의 다양성을 확보합니다. 이를 통해, LLM은 주어진 목표 성능에 맞는 셀 설계 인자를 자동으로 생성할 수 있으며, 이차전지 셀 설계 자동화 프로젝트에 새로운 가능성을 열어줍니다.

GReaT 학습 과정

[22′ NeurIPS] LIFT: Language-Interfaced Fine-Tuning for Non-Language Machine Learning Tasks

This entry is part 12 of 13 in the series Language Model

Non-Language Task를 언어 문제로 변환하여 해결하는 혁신적 방법을 제시합니다. 이 연구는 LLM의 표현력을 활용해 다양한 데이터 유형을 언어화하고, 이를 통해 문제를 직관적으로 해결합니다. LIFT는 LLM의 활용 범위를 확장하며, 데이터의 의미적 이해를 통한 정확한 예측과 분석을 가능하게 합니다.

LIFT 방법

[23′ ICLR] Self Consistence : SELF-CONSISTENCY IMPROVES CHAIN OF THOUGHT REASONING IN LANGUAGE MODELS

This entry is part 10 of 13 in the series Language Model

Chain of Thought Prompting의 한계를 극복하고, 모델이 여러 추론 경로를 통해 일관된 최적의 답변을 도출하는 방법을 제시합니다. 실험 결과는 이 방식이 산수, 상식, 기호 추론 등에서 기존 방법보다 우수한 성능을 보임을 입증합니다. Self Consistency는 NLP 모델의 정확도와 신뢰성을 향상시키는 동시에, 계산 비용의 증가라는 도전과제를 제시합니다.

Self Consistency 예시

[20′ NeurIPS] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

This entry is part 9 of 13 in the series Language Model

Retrieval-Augmented Generation (RAG) 모델은 외부 지식을 동적으로 검색하여 복잡한 질문에 대한 정확하고 상세한 답변을 생성합니다. 이 글에서는 RAG가 기존 언어 모델의 한계를 어떻게 극복하고, NLP 분야에서 지식 기반 추론과 답변 생성의 새로운 기준을 설정하는지 탐구합니다.

RAG Architecture

[22′ NeurIPS] Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

This entry is part 8 of 13 in the series Language Model

Chain of Thought 방식을 통해 대규모 언어 모델이 복잡한 추론 문제를 해결하는 새로운 접근법을 탐구합니다. 이 방식이 산수, 상식, 기호 추론 등에서 어떻게 성능을 향상시키는지, 그리고 이러한 접근법이 모델의 추론 과정을 투명하게 만들어 인공지능 시스템의 신뢰성을 높이는 방법을 살펴봅니다.

Chain of Thought

[20′ NIPS] GPT-3 : Language Models are Few-Shot Learners

This entry is part 4 of 13 in the series Language Model

기존 언어 모델의 한계와 그 해결책, GPT-3의 혁신적인 특성, 다양한 실험 결과, 장단점과 사회적 파장까지 살펴봅니다. 특히 few shot 성능과 새로운 실험 결과들이 어떻게 이 모델을 다양한 방면에서 활용할 수 있는지에 대한 통찰을 제공합니다.

few shot 세팅
Scroll to Top