한 줄 핵심 요약
왜 한국어 단문 분류는 어려운가
영어는 어순이 고정되어 있고 조사가 없어서 짧은 문장도 의미가 명확하다. 그러나 한국어는 교착어(agglutinative language)라는 특성상, 조사·어미가 생략되면 의미가 폭발적으로 불확실해진다.
여기에 훈련 데이터가 클래스당 단 20개뿐인 레이블 희소 환경까지 더해지면 기존 모델은 어떻게 실패할까?
| 방법 | 실패 원인 | |
|---|---|---|
| TF-IDF + SVM | "병원"이라는 단어 자체만 봄. 문맥·구조 전혀 없음 | 한계 |
| BERT (공백 토크나이징) | "먹었는데" ≠ "먹었다" — 어근이 같아도 완전히 다른 토큰으로 처리 | 한계 |
| TextGCN | 영어 단어 단위 그래프 설계 → "먹었는데"와 "먹었다"의 공통 형태소 연결 불가 | 한계 |
| 기존 대조학습 (SimCSE) | "배터리 금방 닳음"과 "충전 느려요"를 negative로 밀어냄 — 실제로는 같은 클래스 | 한계 |
| LIGRAM | 형태소 분석 + 계층 그래프 + 토픽 기반 대조학습으로 위 문제를 모두 해결 | 해결 |
저자의 두 가지 핵심 직관
직관 1 — 빠진 문맥은 언어 구조에서 복원할 수 있다
단문 하나를 형태소·품사·개체명 세 층위로 분해하면, 생략된 조사나 어미가 만들어낸 의미 공백을 구조적으로 채울 수 있다.
직관 2 — 의미적으로 유사한 문서는 토픽 분포로 묶어야 한다
핵심 메커니즘
세 가지 서브그래프
🔤 형태소 그래프 Gw
형태소를 노드로, PMI 기반 공동 출현을 엣지로 구성. KLUE/RoBERTa(d=768)로 각 형태소를 초기화.
엣지: PMI 공동출현🏷️ 품사 그래프 Gp
품사 태그를 노드로, 동일 문서 내 품사 쌍의 PMI를 엣지로 구성. one-hot 초기화로 품사 고유성 보존.
엣지: PMI 품사 공동출현🏢 개체명 그래프 Ge
KPFBERT-NER로 추출된 개체명을 노드로, 벡터 간 코사인 유사도를 엣지로 구성.
엣지: 코사인 유사도"이병헌"과 "봉준호"는 같은 문서에 잘 등장하지 않아 PMI가 낮다. 하지만 둘 다 한국 영화인이라 임베딩 공간에서 의미적으로 가깝다. 코사인 유사도를 쓰면 이런 의미적 관계를 포착할 수 있다.
GCN 인코딩 수식
| Ã = D̃⁻¹/² Â D̃⁻¹/² | 정규화된 인접행렬. 고빈도 노드(예: 조사 "이")의 과도한 영향을 차수로 나눠 억제 |
| Â = A_π + I | self-loop 추가. 자기 자신의 정보를 이웃 집계에 포함시켜 특성이 희석되지 않게 함 |
| W¹, W² | 학습 가능한 가중치. 2층 구조로 2-hop 이웃까지 정보 전파 |
계층적 풀링 — 노드 임베딩 → 문서 임베딩
| s_π^i (w, p) | 형태소·품사 그래프: TF-IDF 값 사용. 레이블 희소 환경에서 learnable attention보다 안정적 |
| s_e^i | 개체명 그래프: 0/1 출현 여부. 개체명 등장 자체가 강한 의미 신호이므로 가중치 불필요 |
SemCon 대조 손실
| P_i | anchor i와 같은 pseudo-topic을 가진 positive 문서 집합 |
| Z_i | i를 제외한 전체 문서 집합 (분모 — 대조의 기준) |
| 1/|P_i| | positive 수가 많은 문서가 과다 학습되지 않도록 정규화 |
통합 손실 함수
| L_ce만 사용 | 40개 labeled 문서에만 최적화 → 12,000개 unlabeled 문서의 표현 공간 무시 → 일반화 실패 |
| L_con만 사용 | 초기 pseudo-topic이 틀린 경우 잘못된 방향으로 임베딩이 당겨짐 |
| L_ce + 0.7 L_con | 분류 정확도를 유지하면서 의미 공간 구조도 함께 정제 → 최적 |
실험 결과
4개 한국어 단문 데이터셋에서 모든 베이스라인을 일관되게 능가했다.
Ablation — 각 컴포넌트의 기여
반드시 가져가야 할 개념과 스킬
언어 특화 그래프 설계 감각
노드와 엣지를 무엇으로 정의하느냐는 언어의 특성에서 출발해야 한다. 한국어 교착어 → 형태소 노드 + PMI 엣지, 개체명 → 코사인 유사도 엣지. 각 선택에 언어학적 근거가 있다.
PMI 기반 그래프 엣지 구성
PMI(a,b) = log[P(a,b) / (P(a)·P(b))]. 공동 출현이 우연보다 얼마나 더 자주 발생하는지를 측정한다. TextGCN 계열 논문 대부분이 사용하는 핵심 기법이며, 윈도우 크기·임계값 설정이 그래프 품질을 좌우한다.
Pseudo-label 기반 대조학습 설계
Gold label이 부족할 때 모델 자체 출력(softmax 분포)을 pseudo-label로 활용하는 self-training적 접근. 초기 품질이 낮은 pseudo-label이 학습에 미치는 노이즈 효과를 ablation으로 분리 분석하는 실험 설계까지 익혀야 한다.
TF-IDF를 attention 대용으로 쓰는 판단력
레이블이 극소한 환경에서 learnable attention은 과적합 위험이 크다. 코퍼스 통계 기반 고정 가중치(TF-IDF)가 더 안정적인 경우를 판단하는 것이 실험 설계 역량이다.
Multi-objective 손실 함수와 ablation 설계
L = L_ce + λ·L_con 형태의 결합 손실에서 λ 설정과 각 손실의 기여를 ablation으로 분리 검증하는 방법. 이 논문의 Table 3는 각 서브그래프와 SemCon을 체계적으로 분리한 좋은 ablation 설계 예시다.
연구자 관점 확장
🚦 병목 — O(N²) 스케일링
SemCon의 pairwise 계산이 O(N²d)다. 수십만 건으로 확장 시 메모리 폭발. FAISS 기반 Approximate Nearest Neighbor로 negative sampling을 근사하면 해결 가능하다.
🎚️ 고정된 PMI 윈도우·임계값
윈도우=5, δ=2.7은 heuristic 탐색으로 고정됐다. 학습 가능한 edge gating 메커니즘으로 대체하면 도메인 이식성이 높아진다.
🤖 LLM 임베딩으로 PMI 엣지 대체
KoSBERT 코사인 유사도로 PMI를 대체하면 저빈도 형태소 쌍의 엣지 품질이 올라간다. 특히 신조어·줄임말이 많은 SNS 데이터에서 유효하다.
🔬 Pseudo-topic 품질 검증 실험
Gold label pair vs. pseudo-topic pair의 성능 비교를 추가하면 SemCon이 얼마나 gold label에 근사하는지 정량화할 수 있다. 논문의 가장 큰 미검증 부분이다.
🌏 교착어 Cross-lingual 일반화
터키어·일본어 등 다른 교착어에 형태소 분석기만 교체하여 동일 프레임워크를 적용. 저자 스스로 future work로 언급한 방향이다.
🔄 Dynamic Graph 업데이트
현재 그래프는 학습 전 고정된다. epoch마다 document-document 엣지를 재계산하는 dynamic graph 방식을 도입하면 더 정교한 표현 학습이 가능하다.
