LeanX
GGUF
GGUF는 양자화된 모델을 담는 데 흔히 쓰는 파일 형식입니다. llama.cpp 프로젝트에서 만든 형식으로, 모델 가중치와 실행 정보를 한 파일에 담아 Ollama 같은 도구로 일반 컴퓨터에서 실행하게 해줍니다.
쉽게 말하면
영화 파일을 화질을 조금 낮춰 용량을 줄이면 USB에도 들어가죠? AI 모델도 숫자 정밀도를 낮추는 '양자화'로 크기를 줄이는데, 그렇게 줄인 모델을 한 파일로 담아 두는 형식이 GGUF예요!
예시
원본 모델을 4비트로 양자화해 GGUF 파일로 저장 → 파일 크기가 원본보다 크게 줄어듦 → 일반 노트북에서 Ollama로 불러와 실행
함께 보면 좋은 용어
올라마, vLLM
더 배우기
AX 가이드 전체 보기
다음 단계
이 개념을 우리 팀 업무에 어떻게 적용할지 고민된다면 아래에서 시작할 수 있습니다.