ChatGPT, Claude, Gemini 같은 서비스의 심장에는 LLM(Large Language Model, 대규모 언어 모델)이 있습니다. 이름이 어렵게 들리지만, 핵심 원리는 놀랄 만큼 단순합니다. 바로 '다음에 올 단어 맞히기'입니다.
스마트폰 자동완성의 초거대 버전
카카오톡에서 '오늘 저녁에'라고 치면 키보드가 '뭐 먹을까', '만나자' 같은 단어를 추천해 주지요. LLM은 이 자동완성(autocomplete)을 상상할 수 없을 만큼 크게 키운 것입니다. 다만 바로 앞 한두 단어만 보는 게 아니라, 지금까지의 대화 전체를 보고 다음 단어를 예측합니다.
예를 들어 '대한민국의 수도는'이라는 문장 뒤에 올 단어를 예측한다면, 모델 내부에서는 '서울 98%, 부산 0.5%, 인천 0.3%...' 같은 확률 분포가 계산됩니다. 여기서 가장 그럴듯한 단어를 골라 붙이고, 다시 그 문장 전체를 보고 다음 단어를 예측하고... 이 과정을 반복해 긴 답변이 완성됩니다.
어떻게 이런 능력을 배웠을까요?
LLM의 학습은 크게 두 단계로 나뉩니다. 요리사에 비유하면, 먼저 세상의 모든 레시피 책을 읽고(사전학습), 그다음 손님 앞에서 요리하는 법을 코치에게 배우는(미세조정) 과정입니다.
LLM이 만들어지는 과정
- 사전학습(Pre-training): 인터넷의 방대한 텍스트를 읽으며 '빈칸 채우기' 문제를 수조 번 풉니다. 이 과정에서 문법, 지식, 논리 패턴이 모델 안에 스며듭니다.
- 지도 미세조정(Fine-tuning): '질문에는 이렇게 답한다' 같은 모범 대화 예시를 학습해, 단순 이어쓰기 기계에서 대화 상대로 변신합니다.
- 인간 피드백 강화학습(RLHF): 사람이 여러 답변 중 더 좋은 것을 고르면, 모델이 그 선호를 학습해 더 유용하고 안전한 답을 하도록 다듬어집니다.
이해하는 걸까요, 흉내 내는 걸까요?
LLM은 사람처럼 '의식'을 갖고 이해하는 것은 아닙니다. 하지만 수조 개의 단어에서 배운 패턴이 워낙 깊고 정교해서, 결과적으로는 번역, 요약, 추론, 코딩까지 해냅니다. '확률 예측'이라는 단순한 재료로 만든 요리가 생각보다 훨씬 맛있는 셈이지요.
- LLM은 지식을 데이터베이스처럼 저장하지 않고, 패턴으로 압축해 기억합니다.
- 그래서 같은 질문에도 매번 조금씩 다른 답이 나올 수 있습니다.
- 학습이 끝난 시점(지식 컷오프) 이후의 사건은 기본적으로 알지 못합니다.
LLM을 '무엇이든 아는 백과사전'이 아니라 '엄청나게 잘 읽고 잘 쓰는 인턴'으로 생각해 보세요. 지시가 구체적일수록 결과물이 좋아지고, 중요한 사실은 반드시 검증해야 한다는 감각이 자연스럽게 생깁니다.
LLM이 자신 있게 말한다고 해서 그 내용이 사실이라는 보장은 없습니다. '그럴듯한 다음 단어'를 고르는 기계라는 본질을 항상 기억하세요. 이 문제는 3강 할루시네이션에서 자세히 다룹니다.