LeanX

LLM·AI 기초 완벽 이해

AI가 어떻게 생각하는지부터 프롬프트 잘 쓰는 법, RAG 개념까지 — 모든 AX의 출발점

LLM이란 무엇인가

LLM은 인터넷 규모의 텍스트를 학습해 '다음에 올 단어'를 확률적으로 예측하는 초거대 자동완성 기계이며, 이 단순한 원리가 쌓여 대화·요약·코딩 같은 지능적인 능력으로 나타납니다. 약 7분.

LLM은 글자가 아니라 토큰이라는 조각 단위로 텍스트를 처리하며, 한 번에 기억할 수 있는 토큰의 양(컨텍스트 윈도우)이 정해져 있어서 대화가 길어지면 앞부분을 잊어버립니다. 약 7분.

할루시네이션은 LLM이 사실이 아닌 내용을 그럴듯하게 지어내는 현상으로, '다음 단어 예측'이라는 작동 원리에서 비롯되는 구조적 특성이기 때문에 완전히 없앨 수는 없고 검증 습관으로 관리해야 합니다. 약 7분.

2026년 현재 GPT·Claude·Gemini·오픈소스 모델이 각자 다른 강점을 가진 4강 구도를 이루고 있으며, 하나의 최강 모델을 고르기보다 작업에 따라 모델을 골라 쓰는 것이 정답입니다. 약 8분.

좋은 프롬프트의 3요소는 역할(누구로서), 맥락(어떤 상황에서 왜), 형식(어떤 모양으로)이며, 이 세 가지만 채워도 답변 품질이 극적으로 달라집니다. 약 9분.

예시를 2~3개 보여주는 퓨샷(few-shot) 프롬프팅과 풀이 과정을 유도하는 단계적 사고(chain of thought)는 공식 가이드들이 검증한 가장 효과 확실한 두 가지 고급 기법입니다. 약 9분.

시스템 프롬프트는 매 대화에 자동 적용되는 기본 설정으로, 역할·말투·규칙을 한 번만 정의해 두면 매번 같은 지시를 반복하지 않아도 일관된 나만의 AI 비서를 만들 수 있습니다. 약 8분.

임베딩은 텍스트의 의미를 숫자 좌표로 바꿔 '의미가 비슷한 글'을 찾을 수 있게 하는 기술이고, RAG는 이를 이용해 내 문서에서 관련 내용을 찾아 AI에게 건네주는 '오픈북 시험' 방식입니다. 약 9분.

챗 서비스는 사람이 직접 쓰는 완성품이고 API는 내 서비스에 AI를 부품으로 끼워 넣는 통로이며, 반복 작업의 자동화나 제품 개발 단계가 되면 월 구독제가 아닌 사용량 과금제 API가 필요해집니다. 약 8분.

추론 모델은 답을 내기 전에 내부에서 사고 과정(thinking)을 길게 전개하는 모델로, 수학·코드 디버깅·복잡한 분석처럼 다단계 논리가 필요한 문제에서 정확도가 크게 올라가지만 응답 속도가 느리고 비용이 높아지므로 문제 난이도에 맞게 켜고 꺼야 합니다. 약 8분.

구조화된 출력(structured output)은 LLM의 응답을 JSON 같은 정해진 스키마(schema)로 강제하는 기법으로, AI 답변을 다른 프로그램이 자동으로 읽어야 하는 모든 자동화·API 연동 작업에서 사실상 필수입니다. 약 7분.

LLM API 비용은 토큰 단위로 발생하며, 모델 티어 선택·프롬프트 캐싱·배치 처리 세 가지 전략만 잘 써도 품질을 유지하면서 비용을 수십 분의 일로 줄일 수 있습니다. 약 8분.