핵심 요약

  • LLM(Large Language Model) 은 대규모 텍스트 데이터로 학습하여 다음 토큰을 예측하는 인공지능
  • 학습과 추론은 LLM의 핵심 두 가지 행위로, 이를 이해하면 프롬프트·레그·파인튜닝 선택이 명확해짐
  • 토큰 은 단어가 아닌 압축된 데이터 단위로, 모든 LLM 작동의 기초
  • 트랜스포머 와 어텐션 메커니즘이 LLM의 다음 토큰 추론을 가능하게 함
  • 프롬프트로 해결할 것, 레그(RAG)로 보강할 것, 파인튜닝으로 최적화할 것의 판단이 실무 성공의 핵심

왜 LM 리터러시가 필요한가

업계에서 일하려면 그 분야의 기본 용어와 개념 을 이해해야 합니다. 없으면 '까망눈'이라고 할 수 있죠.

LLM이 등장하면서 AI 컨설턴트나 개발자들에게는 LM 리터러시(LLM에 대한 이해)가 필수 역량이 되었습니다. 이를 통해:

  • 문제를 LLM으로 풀 수 있는지 판단
  • 프롬프트로 충분한지, 레그가 필요한지, 파인튜닝까지 해야 하는지 구분
  • 새로운 기술이 나왔을 때 빠르게 이해하고 적용

이 능력이 생기면, 누군가와 대화할 때 확신 있게 대응 할 수 있고 기술 트렌드를 주도 할 수 있습니다.

LLM이 학습되는 과정: 코퍼스부터 토큰까지

코퍼스와 토큰화

LLM 학습의 시작은 코퍼스(대량의 텍스트 데이터)입니다. 인터넷의 블로그, 웹사이트, SNS, 코드 등 공개된 텍스트가 모입니다. 이는 15조 바이트 같은 어마어마한 규모입니다.

이 긴 글을 그대로 학습할 수는 없으므로, 토큰화 과정을 거칩니다:

  1. 텍스트를 UTF-8 같은 인코딩으로 이진수로 변환
  2. 반복되는 단어 조합들을 찾아 압축 (예: "hello world"는 자주 나오니 하나의 토큰으로)
  3. 결과적으로 어휘집(vocabulary) 을 만듦 (보통 수십만 개)

핵심: 토큰은 단어가 아닙니다. 문자보다 크고 단어보다 작을 수도, 클 수도 있는 압축 단위 입니다.

프리트레인(Pre-training): 기초 학습

코퍼스가 토큰화되면, LLM은 다음 토큰 맞추기 게임 을 합니다:

문장: "우리 점심 메뉴는 ___"
정답: [토큰 A]
  1. 처음엔 모든 후보 토큰(수십만 개)에 대해 랜덤한 확률 예측
  2. 정답이 아니면 역전파(backpropagation) 로 틀린 이유를 분석
  3. 파라미터(가중치) 를 조정해서 다시 시도
  4. 이를 수없이 반복하며 정확도 향상

이 과정에서 엄청난 GPU, 전력, 시간(수개월)이 소비됩니다. 결과물을 베이스 모델 이라 합니다.

포스트트레인(Post-training): 사람다운 응답 만들기

베이스 모델은 다음 토큰을 잘 예측하지만, 상황(TPO)에 맞는 응답은 못 합니다.

예를 들어:

  • 코딩 질문에는 코드 형식으로
  • 보고서 작성에는 보고서 형식으로
  • 창의성이 필요한 질문에는 좀 더 자유롭게

파인튜닝 이라는 추가 학습으로 이 문제를 해결합니다:

  • 베이스 모델의 파라미터는 유지하되, 상황별 응답 데이터로 한두 번 더 학습
  • 혹은 새로운 파라미터 계층을 추가해서만 학습

이렇게 완성된 모델이 우리가 쓰는 ChatGPT, Claude 같은 서비스 모델입니다.

LLM이 추론(응답)하는 과정: 트랜스포머와 어텐션

입력부터 임베딩까지

사용자가 "우리 점심 메뉴는" 입력하면:

  1. 프롬프트를 토큰 시퀀스로 변환 (숫자 배열)
  2. 각 토큰을 임베딩 (컴퓨터가 이해하는 벡터 형태로)
  3. 추론 엔진으로 전송

레이어 반복: 어텐션 메커니즘

LLM은 여러 레이어 로 구성되며, 각 레이어에서:

  1. 어텐션 단계: 입력된 토큰들 사이의 관계를 계산

    • "점심"과 "메뉴" 사이의 연관도가 높음
    • 각 토큰이 다음 예측에 얼마나 중요한지 가중치 부여

  2. 후처리 단계(MLP): 어텐션 결과를 정제해서 다음 레이어로 전달

이 과정이 N번 반복되면서 점점 정교한 예측이 나옵니다.

최종 단계: 샘플링과 응답 생성

마지막 레이어에서:

  1. 모든 가능한 토큰에 대한 점수(로짓) 산출
  2. 점수를 소프트맥스 로 정규화 (0~100% 확률로)
  3. 샘플링: 온도(temperature) 설정으로 얼마나 창의적일지 조정
    • 온도 높음 = 낮은 확률 토큰도 선택 가능 (창의적)
    • 온도 낮음 = 최고 확률 토큰만 선택 (보수적)
  4. 동전 던지기처럼 하나의 토큰 선택 및 응답 반환

캐싱의 중요성: 이미 계산한 부분은 다시 계산하지 않아 빠른 응답이 가능합니다.

프롬프트 vs 레그 vs 파인튜닝: 언제 뭘 쓸까?

프롬프트와 지침만으로 해결

사용 시기:

  • 일회성이거나 간단한 작업
  • 형식(예: JSON 출력)이 고정적
  • 맥락이 적거나 최신 정보 필요 없음

장점: 즉시 적용, 비용 낮음

RAG(Retrieval-Augmented Generation): 레그

개념: 긴 문서, 최신 규약, 기업 데이터 등이 있을 때 필요한 부분만 찾아서 프롬프트에 주입

사용 시기:

  • 대용량 문서 기반 답변 필요
  • 최신 정보 반영 필요
  • 컨텍스트 윈도우(입력 제한) 초과 우려

작동 원리:

  1. 질문을 벡터화
  2. 저장된 문서들 중 의미상 유사한 것 검색
  3. 검색 결과를 프롬프트에 포함해서 모델 실행

장점: 정보 최신화가 쉽고, 반복 호출 시 토큰 절감으로 비용 감소

파인튜닝

사용 시기:

  • 반복적이고 일관된 작업 (하루에 100만 번 이상)
  • 특화된 응답 형식 (항상 JSON, 특정 구조)
  • 비용 최적화가 중요 (대규모 반복에서 프롬프트 비용이 월 천만 원 이상)

작동 원리: 모델 자체를 우리 목적에 맞게 재학습해서, 프롬프트에 긴 지침 없이도 올바른 응답 가능

비용 고려: 파인튜닝 비용(천만 원)이 반복 호출 비용(월 1억+)보다 저렴하면 선택

결론

LM 리터러시 는 단순한 기술 개념이 아니라, 비즈니스 문제를 효율적으로 풀 수 있는 판단력 입니다.

LLM이 학습되는 과정(코퍼스→토큰→파라미터 최적화)과 추론하는 과정(토큰→레이어 반복→어텐션)을 이해하면:

  • 어느 상황에 프롬프트만으로 충분 한지
  • 언제 레그를 추가 해야 하는지
  • 정말 파인튜닝이 필요 한지

이를 판단할 수 있고, 결과적으로 비용도 절감 하고 성능도 높일 수 있습니다.

지금부터 LLM을 단순한 검색 도구로 쓰는 것을 넘어, 전략적으로 활용 해보세요.