# LLM 기초부터 활용까지: LM 리터러시 완벽 가이드

> 2026-09-09 · 큐레이션 김태우
> https://challengekim.com/insights/llm-fundamentals-to-applications-complete-language-model-literacy-guide-ko
> 원문: https://www.youtube.com/watch?v=geY4UO23QA8

## 핵심 요약

- **LLM(Large Language Model)** 은 대규모 텍스트 데이터로 학습하여 다음 토큰을 예측하는 인공지능
- 학습과 추론은 LLM의 핵심 두 가지 행위로, 이를 이해하면 프롬프트·레그·파인튜닝 선택이 명확해짐
- **토큰** 은 단어가 아닌 압축된 데이터 단위로, 모든 LLM 작동의 기초
- **트랜스포머** 와 **어텐션** 메커니즘이 LLM의 다음 토큰 추론을 가능하게 함
- 프롬프트로 해결할 것, 레그(RAG)로 보강할 것, 파인튜닝으로 최적화할 것의 판단이 실무 성공의 핵심

## 왜 LM 리터러시가 필요한가

업계에서 일하려면 그 분야의 **기본 용어와 개념** 을 이해해야 합니다. 없으면 '까망눈'이라고 할 수 있죠.

LLM이 등장하면서 AI 컨설턴트나 개발자들에게는 **LM 리터러시**(LLM에 대한 이해)가 필수 역량이 되었습니다. 이를 통해:

- 문제를 LLM으로 풀 수 있는지 판단
- 프롬프트로 충분한지, 레그가 필요한지, 파인튜닝까지 해야 하는지 구분
- 새로운 기술이 나왔을 때 빠르게 이해하고 적용

이 능력이 생기면, 누군가와 대화할 때 **확신 있게 대응** 할 수 있고 **기술 트렌드를 주도** 할 수 있습니다.

## LLM이 학습되는 과정: 코퍼스부터 토큰까지

### 코퍼스와 토큰화

LLM 학습의 시작은 **코퍼스**(대량의 텍스트 데이터)입니다. 인터넷의 블로그, 웹사이트, SNS, 코드 등 공개된 텍스트가 모입니다. 이는 15조 바이트 같은 어마어마한 규모입니다.

이 긴 글을 그대로 학습할 수는 없으므로, **토큰화** 과정을 거칩니다:

1. 텍스트를 UTF-8 같은 인코딩으로 이진수로 변환
2. 반복되는 단어 조합들을 찾아 압축 (예: "hello world"는 자주 나오니 하나의 토큰으로)
3. 결과적으로 **어휘집(vocabulary)** 을 만듦 (보통 수십만 개)

**핵심**: 토큰은 **단어가 아닙니다**. 문자보다 크고 단어보다 작을 수도, 클 수도 있는 **압축 단위** 입니다.

### 프리트레인(Pre-training): 기초 학습

코퍼스가 토큰화되면, LLM은 **다음 토큰 맞추기 게임** 을 합니다:

```
문장: "우리 점심 메뉴는 ___"
정답: [토큰 A]
```

1. 처음엔 모든 후보 토큰(수십만 개)에 대해 랜덤한 확률 예측
2. 정답이 아니면 **역전파(backpropagation)** 로 틀린 이유를 분석
3. **파라미터(가중치)** 를 조정해서 다시 시도
4. 이를 수없이 반복하며 정확도 향상

이 과정에서 엄청난 GPU, 전력, 시간(수개월)이 소비됩니다. 결과물을 **베이스 모델** 이라 합니다.

### 포스트트레인(Post-training): 사람다운 응답 만들기

베이스 모델은 다음 토큰을 잘 예측하지만, **상황(TPO)에 맞는** 응답은 못 합니다.

예를 들어:

- 코딩 질문에는 코드 형식으로
- 보고서 작성에는 보고서 형식으로
- 창의성이 필요한 질문에는 좀 더 자유롭게

**파인튜닝** 이라는 추가 학습으로 이 문제를 해결합니다:

- 베이스 모델의 파라미터는 유지하되, 상황별 응답 데이터로 한두 번 더 학습
- 혹은 새로운 파라미터 계층을 추가해서만 학습

이렇게 완성된 모델이 우리가 쓰는 **ChatGPT, Claude** 같은 서비스 모델입니다.

## LLM이 추론(응답)하는 과정: 트랜스포머와 어텐션

### 입력부터 임베딩까지

사용자가 "우리 점심 메뉴는" 입력하면:

1. 프롬프트를 **토큰 시퀀스로 변환** (숫자 배열)
2. 각 토큰을 **임베딩** (컴퓨터가 이해하는 벡터 형태로)
3. 추론 엔진으로 전송

### 레이어 반복: 어텐션 메커니즘

LLM은 여러 **레이어** 로 구성되며, 각 레이어에서:

1. **어텐션 단계**: 입력된 토큰들 사이의 **관계를 계산**
   - "점심"과 "메뉴" 사이의 연관도가 높음
   - 각 토큰이 다음 예측에 얼마나 중요한지 가중치 부여

2. **후처리 단계(MLP)**: 어텐션 결과를 정제해서 다음 레이어로 전달

이 과정이 N번 반복되면서 점점 정교한 예측이 나옵니다.

### 최종 단계: 샘플링과 응답 생성

마지막 레이어에서:

1. 모든 가능한 토큰에 대한 **점수(로짓)** 산출
2. 점수를 **소프트맥스** 로 정규화 (0\~100% 확률로)
3. **샘플링**: 온도(temperature) 설정으로 얼마나 창의적일지 조정
   - 온도 높음 = 낮은 확률 토큰도 선택 가능 (창의적)
   - 온도 낮음 = 최고 확률 토큰만 선택 (보수적)
4. 동전 던지기처럼 하나의 토큰 선택 및 응답 반환

**캐싱의 중요성**: 이미 계산한 부분은 다시 계산하지 않아 빠른 응답이 가능합니다.

## 프롬프트 vs 레그 vs 파인튜닝: 언제 뭘 쓸까?

### 프롬프트와 지침만으로 해결

**사용 시기**:

- 일회성이거나 간단한 작업
- 형식(예: JSON 출력)이 고정적
- 맥락이 적거나 최신 정보 필요 없음

**장점**: 즉시 적용, 비용 낮음

### RAG(Retrieval-Augmented Generation): 레그

**개념**: 긴 문서, 최신 규약, 기업 데이터 등이 있을 때 필요한 부분만 찾아서 프롬프트에 주입

**사용 시기**:

- 대용량 문서 기반 답변 필요
- 최신 정보 반영 필요
- 컨텍스트 윈도우(입력 제한) 초과 우려

**작동 원리**:

1. 질문을 벡터화
2. 저장된 문서들 중 의미상 유사한 것 검색
3. 검색 결과를 프롬프트에 포함해서 모델 실행

**장점**: 정보 최신화가 쉽고, 반복 호출 시 토큰 절감으로 비용 감소

### 파인튜닝

**사용 시기**:

- **반복적이고 일관된 작업** (하루에 100만 번 이상)
- **특화된 응답 형식** (항상 JSON, 특정 구조)
- **비용 최적화가 중요** (대규모 반복에서 프롬프트 비용이 월 천만 원 이상)

**작동 원리**: 모델 자체를 우리 목적에 맞게 재학습해서, 프롬프트에 긴 지침 없이도 올바른 응답 가능

**비용 고려**: 파인튜닝 비용(천만 원)이 반복 호출 비용(월 1억+)보다 저렴하면 선택

## 결론

**LM 리터러시** 는 단순한 기술 개념이 아니라, **비즈니스 문제를 효율적으로 풀 수 있는 판단력** 입니다.

LLM이 학습되는 과정(코퍼스→토큰→파라미터 최적화)과 추론하는 과정(토큰→레이어 반복→어텐션)을 이해하면:

- 어느 상황에 **프롬프트만으로 충분** 한지
- 언제 **레그를 추가** 해야 하는지
- 정말 **파인튜닝이 필요** 한지

이를 판단할 수 있고, 결과적으로 **비용도 절감** 하고 **성능도 높일** 수 있습니다.

지금부터 LLM을 단순한 검색 도구로 쓰는 것을 넘어, **전략적으로 활용** 해보세요.

---

원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://www.youtube.com/watch?v=geY4UO23QA8)