Large language models meet NLP: a survey

 

1. 한 줄 핵심 요약
LLM은 NLP를 task별 모델 학습 문제 → 하나의 generative inference 문제로 전환시켰고,
그 핵심은 prompt 기반 적응(inference-time) vs parameter tuning 기반 적응(training-time)이다.

---

2. 문제 정의 (왜 이 논문이 등장했는가)

🔹 기존 NLP 구조적 한계
기존 NLP는 다음과 같은 구조였다:

Task 정의 → Dataset 구축 → Model 설계 → Training → Inference

이 구조의 근본적인 한계는 명확하다.

• task마다 모델이 필요
• 데이터 수집 비용이 큼
• 새로운 task에 대한 generalization이 약함

즉, task마다 다시 배워야 하는 구조


🔹 LLM 등장 이후의 변화
LLM은 다음을 가능하게 만들었다.

• 하나의 모델로 다양한 task 수행
• zero-shot / few-shot generalization
• task를 “generation 문제”로 통합

하지만 동시에 새로운 질문이 등장한다:

• “모델을 학습하지 않아도 왜 잘 되는가?”
• “prompt는 왜 학습처럼 작동하는가?”
• “parameter update 없이 adaptation이 가능한 이유는?”

 이 논문은 이러한 패러다임 변화를 정리하고 구조화하려는 시도다.

---

3. ABSTRACT / INTRODUCTION

🔹 이 논문의 진짜 문제 : “LLM 이후, NLP에서 ‘학습’이란 무엇인가?”

🔹 기존 vs 현재

구분	기존 NLP	LLM 기반 NLP
학습	parameter update	context conditioning
일반화	unseen data	unseen task
task 정의	label space	prompt

 

🔹 Contribution 

이 논문은 새로운 모델을 제안하지 않는다.
대신 LLM 활용을 Parameter-Frozen vs Parameter-Tuning이라는 두 가지 축으로 formalize한다.

---

4. 핵심 아이디어

LLM이 task에 적응하는 방식이 두 가지 패러다임으로 나뉜다.

---

4.1 두 가지 적응 패러다임

1) Parameter-Frozen (Prompting)

•  Zero-shot learning : P = Prompt(I)
•  Few-shot learning : P = Prompt(E,I)

• 입력 / 출력
  • 입력: 텍스트 + instruction + (Few-shot learning) examples
  • 출력: 생성된 텍스트
• 왜 필요한가 : 모델을 바꾸지 않고도 task 수행 가능
• 해결하는 문제 : 새로운 task에 대한 빠른 적응
• 설계 이유 : LLM이 이미 다양한 패턴을 학습했기 때문
• 관점 : neural + inference-time conditioning

---

2) Parameter-Tuning

• Full-parameter tuning : Mˆ = Fine-tune(M|D)
• Parameter-efficient tuning : Wˆ = Fine-tune(W|D,M), (e.g., LoRA, Adapter 등)

• 입력 / 출력
  • 입력: dataset (D)
  • 출력: task에 적응된 모델
• 왜 필요한가 : 특정 도메인 / 형식 / 규칙 학습
• 해결하는 문제 : 정확도 향상, 일관성 확보, 구조화 학습
• 설계 이유 : LLM의 기본 능력은 일반적이며, 특정 task에는 부족
•  관점 : neural + optimization 

4.2 두 패러다임을 가능하게 하는 핵심 메커니즘

 

1. Task as Prompt
   • task는 더 이상 label(=기존 nlp)이 아니라 prompt(=LLM)로 정의됨
   • 문제 정의 자체가 입력으로 이동
2. In-context Learning
   • example을 통해 모델이 task를 “추론”
   • parameter update 없이 local adaptation
3. Parameter Adaptation
   • Full tuning : 전체 weight 업데이트
   • PEFT : 일부 구조만 업데이트
   • task 정보를 모델 내부에 직접 저장

---

5. 한계

• Hallucination : 사실성과 일관성 문제
• Prompt sensitivity : 입력 변화에 취약
• Reasoning instability : step consistency 부족
• Theoretical 부족 : 왜 잘 되는지 설명 부족

---

6. 결론

이 논문은 새로운 모델을 제안하지 않는다.

대신, LLM 시대의 NLP를 이해하기 위한 좌표계를 제시한다.

그리고 가장 중요한 메시지는 이것이다:

NLP는 더 이상 “모델을 어떻게 학습할 것인가”의 문제가 아니라

“이미 학습된 모델을 어떻게 정의하고 활용할 것인가”의 문제다.