AI 용어 총정리 - LLM, Ollama, MCP, Agent 핵심 개념 완벽 이해

💡 팩트 브리핑

  • AI 입문에서는 대부분의 용어를 모델(Model), 서비스(Service), 런타임(Runtime), 에이전트(Agent)라는 네 가지 역할로 이해하면 구조를 파악하기 쉽습니다.
  • Ollama는 AI 모델 자체가 아니라 내 컴퓨터에서 모델을 실행해 주는 로컬 런타임(Runtime) 프로그램입니다.
  • MCP는 LLM이 외부 도구 및 데이터베이스와 통신하기 위해 사용하는 표준 프로토콜입니다.
AI 용어 총정리

AI 관련 뉴스나 기술 아티클을 읽다 보면 ChatGPT, GPT-5.5, Ollama, MCP, Agent 등 수많은 용어가 쏟아져 나와 헷갈린 적이 많으셨을 겁니다. “ChatGPT가 모델 아닌가?”, "Ollama는 AI 이름인가?"처럼 개념이 모호하게 얽히면 AI 기술을 제대로 활용하기 어렵습니다. 이번 글에서는 복잡한 AI 용어를 생태계 구조부터 핵심 개념까지 한눈에 이해할 수 있도록 명확하게 정리해 드립니다.

1. AI 생태계의 4대 핵심 축: Model, Service, Runtime, Agent

AI 생태계를 이해하는 가장 쉬운 방법은 각 기술의 역할을 구분하는 것입니다. 대부분의 AI 용어는 아래 4가지 범주 중 하나에 속합니다.

  • Model (모델 / LLM): 언어를 이해하고 답변을 생성하는 AI의 두뇌 자체입니다. (예: GPT-5.5, Gemini 3.1 Pro, Qwen3, Gemma4, Kimi K3)
  • Cloud Service (서비스): 일반 사용자가 웹이나 앱으로 AI를 사용할 수 있도록 제공하는 인터페이스입니다. (예: ChatGPT, Gemini, Claude)
  • Runtime (런타임): AI 모델을 실제로 실행(Inference)하고 관리하는 소프트웨어입니다. (예: Ollama, LM Studio, vLLM)
  • Agent (에이전트): 단순 답변을 넘어 파일 수정, 터미널 명령, Git 작업 등을 스스로 수행하는 자율형 시스템입니다. (예: Claude Code, Cline, Cursor Agent)

많은 분들이 ChatGPT와 GPT-5.5를 같은 개념으로 혼동하지만, ChatGPT는 웹 서비스이고 그 내부에서 동작하는 두뇌가 GPT-5.5 모델(작성 시점 기준)입니다.

Open Weight vs Closed Weight

로컬 PC에서 실행할 수 있는 모델인지 여부는 가중치(Weight) 공개 여부로 결정됩니다.

Weight(가중치)란?

AI가 학습을 통해 얻은 지식과 능력이 저장된 숫자들입니다. AI 모델들은 수십억 개의 Weight(숫자)로 이루어져 있습니다.

이 Weight 파일을 가지고 있어야 AI를 직접 실행할 수 있습니다.

구분 설명 대표 예시
Open Weight 가중치 파일을 직접 내려받아 로컬 실행 가능 Qwen, Gemma, Kimi, DeepSeek
Closed Weight API로만 접근 가능하며 가중치는 비공개 GPT, Claude, Gemini

GPT나 Claude를 Ollama로 못 돌리는 이유가 바로 모델의 Weight(학습된 지식)가 공개되어 있지 않기 때문입니다.

2. 로컬 AI 실행과 모델 파라미터 핵심 용어

인터넷 연결 없이 내 컴퓨터에서 AI를 직접 돌리는 Local LLM 환경이 대중화되면서 Runtime과 파일 형식 관련 용어가 중요해졌습니다.

  • Ollama: 로컬 환경에서 LLM을 다운로드하고 실행·관리하며 REST API를 제공하는 개인용 런타임입니다. (개인 개발이나 로컬 환경에서는 Ollama가 많이 사용되고, 대규모 서비스 환경에서는 vLLM이나 Hugging Face TGI 같은 추론 서버가 자주 활용됩니다.)
  • GGUF: 로컬에서 실행하기 쉽도록 만들어진 LLM 모델 파일 포맷입니다. (컴퓨터의 .jpg.mp4 파일 확장자와 유사한 개념입니다.)
  • Quantization (양자화): 모델의 용량을 줄이고 실행 속도를 높이기 위해 정밀도를 낮추는 기술입니다. (Q4, Q8 등으로 표기되며, 일반적으로 비트 수가 낮을수록 메모리 사용량은 줄고 실행 속도는 빨라질 수 있지만, 너무 낮게 양자화하면 모델 성능이 저하될 수 있습니다.)
  • Parameter (파라미터): 모델의 규모(크기)를 나타내며 B(Billion, 10억 개) 단위로 표현합니다. 예를 들어 8B 모델은 80억 개의 파라미터를 의미합니다.
  • Multimodal (멀티모달): AI가 텍스트, 이미지, 소리, 영상 등 여러 종류의 정보를 동시에 이해하고 처리하는 기술을 말합니다.
  • Token (토큰) & Context Window: AI가 문장을 처리하기 위해 사용하는 최소 단위를 토큰이라 하며, 한 번의 입력과 출력 과정에서 모델이 참조할 수 있는 최대 토큰 수를 Context Window라고 합니다.
    멀티모달 모델에서는 이미지나 음성도 내부적으로 모델이 처리할 수 있는 형태로 변환되어 함께 Context Window 안에서 처리됩니다.

3. 고급 AI 동작 방식: RAG, Tool Calling, MCP, Agent

최근 AI 기술은 단순한 질의응답을 넘어 외부 데이터 검색 및 자율적인 업무 수행 단계로 진화하고 있습니다.

RAG와 Hallucination

  • Hallucination (환각): 모델이 사실이 아닌 내용을 그럴듯하게 거짓으로 생성해내는 현상입니다.
  • RAG (Retrieval-Augmented Generation): 외부 문서나 데이터베이스에서 관련 정보를 먼저 검색(Retrieval)한 뒤 LLM에 전달하여 답변을 생성하게 함으로써 환각을 줄이는 데 도움을 주는 기술입니다.

Agent, Tool Calling, MCP의 관계

  1. Tool (도구): AI가 사용할 수 있는 기능 자체입니다. (예: 파일 시스템 관리, Git 사용, 웹 브라우징, DB 조회)

  2. Tool Calling (Function Calling): LLM이 필요에 따라 어떤 도구를 쓸지 선택하고 필요한 인자를 생성하여 외부 함수나 API를 호출하도록 하는 LLM의 '기능’입니다.

  3. MCP (Model Context Protocol): LLM이 외부 도구(Tool) 및 리소스(Resources), 프롬프트(Prompts)와 통신하기 위해 만든 '표준화된 프로토콜’입니다. 마치 웹의 standard인 HTTP와 같은 역할입니다.

  4. Agent (에이전트): LLM이 단순 채팅을 넘어, Tool Calling과 MCP 등을 활용해 스스로 문제를 판단하고 작업을 수행하는 '시스템’입니다.

💡 핵심 정리: AgentTool Calling이라는 기능을 사용하여 복잡한 작업을 수행하는데, 이때 외부의 다양한 Tool들과 표준화된 방식으로 연결하기 위해 MCP라는 규격을 사용합니다.


자주 헷갈리는 AI 용어 한눈에 정리

헷갈리는 표현 올바른 개념
ChatGPT = AI 모델 ChatGPT는 서비스(Service), AI 모델은 GPT-5.5
Ollama = AI 모델 ⭕ Ollama는 AI 모델을 실행하는 런타임(Runtime)
MCP = 프로그램(앱) ⭕ MCP는 통신을 위한 표준 프로토콜(Protocol)
Claude Code = LLM ⭕ Claude Code는 코딩 작업을 수행하는 AI 에이전트(Agent)

댓글

이 블로그의 인기 게시물

주가 향방 가르는 '실적 발표', 한국과 미국 차이점 총정리

AI 기업 투자 전 필수 체크! CAPEX 뜻과 OPEX 차이 총정리