오픈소스 LLM 생태계는 지난 몇 년 사이 빠르게 커졌고, 이제는 Llama, Mistral, Phi, Qwen 같은 모델을 직접 내려받아 로컬에서 돌리는 일이 자연스러운 선택지가 됨
Google이 이 흐름에 내놓은 모델군이 Gemma이며, 2026년 4월 2일 공개된 Gemma 4는 이번 세대의 가장 큰 도약
- Gemini 3 연구 기반 멀티모달 모델로 텍스트·이미지·비디오·오디오까지 다룸
- 컨텍스트는 최대 256K, native function calling과 켜고 끌 수 있는 thinking mode 제공
- 라이선스도 마침내 깔끔한 Apache 2.0으로 정리
이 글에서는 다음 순서로 진행
- Gemma 4가 정확히 무엇인지 아키텍처 그림과 함께 이해
- Ollama로 노트북에서 약 5분 안에 실행
- 터미널에서 직접 대화
- 이미지를 넣고 질의
- 더 어려운 문제에서는 thinking mode 활성화
- Python 스크립트에서 실제 API처럼 호출
- 이 요소들을 묶어 작은 프로젝트 구성
GPU 대여도, API 키도, 텔레메트리도 불필요
머신러닝 배경지식이 없어도 진행 가능
- 소프트웨어 설치와 터미널 명령 실행 정도만 가능하면 충분

Gemma 4란 무엇인가

Gemma는 Google DeepMind의 open-weight 언어 모델 계열
open-weight는 모델을 움직이는 실제 신경망 가중치를 내려받아 직접 실행·수정·파인튜닝·제품 배포까지 할 수 있다는 뜻
Gemma 4는 Gemma 3 대비 여러 축에서 크게 바뀜
- Apache 2.0 라이선스
  - 이전 Gemma는 금지 사용 정책이 붙은 커스텀 라이선스를 써 기업 법무팀에 부담 요인이 됐음
  - Gemma 4는 일반적인 Apache 2.0으로 전환
  - 상업적 사용 제한 없음
  - MAU 상한 없음
  - 별도 허가도 불필요
  - 프로덕션 배포 관점에서는 이 변화만으로도 큰 차이
- Mixture-of-Experts
  - 새로운 26B MoE 변형은 토큰당 약 4B 파라미터만 활성화
  - 비용은 4B급, 품질은 13B급에 가까운 구성
- Thinking mode
  - 답변 전에 단계별 추론을 수행하는 모드
  - 어려운 문제에서는 켜고, 빠른 채팅에는 끄는 방식
- Native function calling
  - 구조화된 도구 호출을 기본 지원
  - 프롬프트 꼼수 없이 에이전트 구성 가능
- 멀티모달 확대
  - 이미지와 비디오 프레임 지원
  - 작은 E2B/E4B 모델은 오디오 입력도 기본 지원
  - system prompt도 기본 지원
- 더 긴 컨텍스트
  - 소형 모델은 128K
  - 대형 모델은 256K

모델 크기 한눈에 보기

모델	디스크 크기 (Ollama)	활성 파라미터	전체 파라미터	멀티모달	컨텍스트	권장 대상
E2B	~7.2 GB	~2B	~2.3B	텍스트 + 이미지 + 오디오	128K	휴대폰, 엣지 디바이스, 브라우저
E4B	~9.6 GB	~4B	~4.5B	텍스트 + 이미지 + 오디오	128K	대부분의 노트북, 가장 무난한 선택
26B A4B (MoE)	~18 GB	~4B	26B	텍스트 + 이미지	256K	일반 소비자용 GPU, 에이전트형 워크로드
31B Dense	~20 GB	31B	31B	텍스트 + 이미지	256K	워크스테이션, 가장 높은 답변 품질

이름에서 알아둘 점 두 가지
- E2B / E4B
  - E는 Effective parameters를 뜻함
  - 엣지 우선의 dense 소형 모델이며, Per-Layer Embeddings(PLE)로 적은 활성 파라미터 대비 성능을 끌어올림
- 26B A4B
  - Mixture-of-Experts 모델
  - 전체는 26B지만 한 번의 추론에서 실제로 켜지는 것은 약 4B
  - 지연시간과 비용은 4B 모델처럼 움직이고, 품질은 13B dense 모델에 더 가까움
  - 다만 메모리에는 26B 전체를 올려야 함
노트북 사용자라면 E4B부터 시작하는 편이 가장 적절
16 GB Mac이나 최근 개발용 머신이면 무리 없이 구동 가능

Gemma 4와 다른 오픈 모델 비교 (2026년 5월)

모델	크기	멀티모달	컨텍스트	라이선스
Gemma 4	E2B / E4B / 26B MoE / 31B	텍스트 + 이미지 + 비디오 + 오디오 (소형 모델)	128K / 256K	Apache 2.0
Llama 4	여러 크기	텍스트 + 이미지	128K+	Llama community license
Qwen 3.5	여러 크기	텍스트 + 이미지	128K+	Apache 2.0
DeepSeek V4 Flash	MoE	텍스트	128K	MIT

Gemma 4의 강점은 휴대폰부터 서버까지 한 계열로 이어지면서, Apache 2.0 아래에서 멀티모달과 오디오까지 함께 제공한다는 점

아키텍처를 쉬운 말로 보면

이 섹션은 Gemma 4를 쓰는 데 필수는 아니지만, 멀티모달 모델이 이미지를 보고 오디오를 받는 과정이 궁금하다면 알아둘 만한 부분

이해해 둘 만한 핵심 구성요소는 다음과 같음
- 입력 경로가 세 갈래
  - 텍스트는 Gemini와 공유하는 SentencePiece tokenizer를 통과
  - 이미지는 가로세로 비율과 해상도를 유연하게 처리하는 vision encoder를 거침
  - Gemma 3처럼 정사각형 입력만 강제하지 않음
  - E2B와 E4B에서는 Gemma 3n에서 가져온 USM 계열 conformer encoder가 오디오를 처리
  - 세 입력 경로가 모두 토큰으로 바뀐 뒤 하나의 스트림에 섞이므로, 한 프롬프트 안에서 텍스트·이미지·오디오를 원하는 순서로 함께 넣을 수 있음
- 로컬/글로벌 attention 교차 배치
  - 대부분의 레이어는 최근 토큰만 보는 슬라이딩 윈도우 방식이라 비용이 낮음
  - 일부 레이어만 전체 컨텍스트를 바라보며, 비용은 크지만 빈도는 낮음
  - 256K 컨텍스트에서도 KV 캐시가 과도하게 커지는 문제를 줄이는 일반적인 방식
- Per-Layer Embeddings (PLE)
  - 소형 모델이 기대 이상으로 버티는 핵심
  - 일반 transformer는 입력 시점에 토큰당 임베딩 벡터 하나를 만들고, 이후 residual stream이 그 정보를 계속 들고 감
  - PLE는 여기에 병렬 경로를 더해 각 레이어가 토큰별 전용 conditioning vector를 따로 받게 만듦
  - 임베딩 테이블 자체는 커서 메모리를 쓰지만, 토큰당 실제 활성 파라미터는 작게 유지 가능
  - 그래서 활성 파라미터 4B 수준의 E4B가 체급보다 나은 결과를 내기 쉬움
- Mixture-of-Experts (26B A4B)
  - MoE 레이어 안에 여러 개의 expert feed-forward 네트워크가 들어감
  - 작은 라우터가 토큰마다 8개 중 2개 같은 방식으로 일부 expert만 고름
  - 전체 파라미터는 26B지만 실제 동작하는 양은 토큰당 약 4B
  - FLOP 대비 품질 효율이 좋음
- Thinking mode
  - system prompt 시작부에 특수 토큰 <|think|>를 넣으면 활성화
  - 모델이 최종 답변 전에 <|channel>thought\n...<channel|> 마커 사이에 내부 추론을 먼저 생성
  - 빠른 대화에는 끄고, 수학·코드·다단계 추론에는 켜는 편이 적합
이 정도면 핵심은 충분하고, 이제 실제 실행 단계로 넘어가면 됨

1단계: Ollama 설치

Gemma 4를 로컬에서 돌리는 방법은 여럿 있지만, 가장 간단한 선택지는 Ollama
LLM용 Docker처럼 이해하면 쉬움
- 모델 다운로드 처리
- 메모리 관리
- GPU 가속 사용
- 로컬 API 노출
CUDA 버전이나 PyTorch 세부 설정까지 직접 신경 쓸 필요가 없음
설치 방법
- macOS / Windows
  - ollama.com/download에서 설치 프로그램을 내려받아 실행
- Linux

curl -fsSL https://ollama.com/install.sh | sh

설치 확인

ollama --version

버전 번호가 출력되면 정상
Gemma 4는 Ollama v0.20.0 이상 필요
- 더 낮은 버전이라면 먼저 업데이트 필요

2단계: Gemma 4 모델 내려받기

기본 모델은 E4B이며, 크기는 약 9.6 GB

ollama pull gemma4

약 9.6 GB를 내려받으니 잠시 기다릴 준비 필요
다른 크기를 원하면 다음 모델도 선택 가능

ollama pull gemma4:e2b # ~7.2 GB --- smallest, for low-RAM machines
ollama pull gemma4:e4b # ~9.6 GB --- the default; same as `gemma4`
ollama pull gemma4:26b # ~18 GB --- the MoE; 256K context
ollama pull gemma4:31b # ~20 GB --- biggest dense model

하드웨어 현실 체크 필요
- Apple Silicon 16 GB 통합 메모리면 E4B를 무난하게 소화 가능
- NVIDIA 사용자는 GPU 가속 추론을 하려면 모델 전체가 VRAM에 들어가야 함
- 26B 모델은 24 GB에서 간신히 맞지만 여유가 거의 없어, 권장 목표라기보다 사실상 상한선에 가까움
현재 내려받은 모델 목록 확인

ollama list

3단계: 터미널에서 대화하기

가장 단순한 테스트는 아래 명령 한 줄이면 충분

ollama run gemma4

실행하면 대화형 프롬프트가 열리고, Explain what a hash map is, like I'm a junior dev. 같은 질문을 바로 넣을 수 있음
엔터를 치면 응답이 스트리밍으로 출력됨
종료는 /bye 입력
이 단계만 끝내도 클라우드 의존 없이 최신급 LLM을 로컬에서 돌리는 상태
아래처럼 질문해 보면 응답 성향을 빠르게 파악 가능
- Write a Python function that finds duplicates in a list, with three different approaches and their tradeoffs.
- What's the difference between TCP and UDP? Use an analogy.
- Translate 'Where is the nearest train station?' into Japanese, Spanish, and Hindi.

4단계: 이미지 보내기

Gemma 4는 이미지 입력도 처리 가능
현재 디렉터리에 이미지 파일을 넣고 다음처럼 실행

ollama run gemma4
>>> Describe what's in this image:./screenshot.png

Ollama가 이미지를 vision encoder로 넘기고, 모델이 답변 생성
Gemma 3는 모든 이미지를 896×896으로 줄였지만, Gemma 4는 가로세로 비율과 해상도를 그대로 처리
- 세로로 긴 스크린샷, 가로로 넓은 다이어그램, 고해상도 사진도 수동 크롭 없이 사용 가능
바로 시켜볼 만한 작업
- "이 스크린샷에 어떤 오류가 보이나?" 스택 트레이스 이미지로 확인
- "이 UI에서 'submit' 버튼의 bounding box는 어디인가?" JSON으로 바로 반환
- "이 메모의 손글씨를 읽고 텍스트로 옮겨라"

5단계: Thinking Mode 켜기

여러 단계를 거치는 수학 문제, 복잡한 코드, 논리 퍼즐처럼 난도가 높으면 Thinking Mode 사용
system prompt 맨 앞에 <|think|> 토큰 추가

ollama run gemma4
>>> /set system "<|think|>You are a careful, methodical assistant."
>>> Three friends split a $73.42 dinner bill. Alice had a $12 appetizer, Bob had a $9 drink. The rest is shared. What does everyone pay?

모델은 최종 답변 전에 <|channel>thought\n...<channel|> 블록으로 추론 과정을 먼저 출력
빠른 대화가 목적이면 이 토큰을 빼는 편이 낫고, 그 경우 바로 답변
잘 맞는 용도
- 코드 생성
- 수학
- 다단계 추론
- 에이전트형 계획 수립
굳이 켤 필요 없는 용도 (지연만 늘어남)
- 단발성 사실 질문
- 요약
- 번역

6단계: Python에서 Gemma 4 호출하기

채팅 프롬프트보다 코드에서 직접 호출하는 편이 개발 작업에는 더 실용적
Ollama를 실행하면 http://localhost:11434에 로컬 REST API 노출
공식 Python client도 제공
설치 예시

pip install ollama

기본 채팅

import ollama

response = ollama.chat(
    model="gemma4",
    messages=[
        {"role": "system", "content": "You are a senior code reviewer. Be concise and direct."},
        {"role": "user", "content": "Review this code:\n\ndef add(a, b):\n return a+b"},
    ],
)

print(response["message"]["content"])

스트리밍 응답(ChatGPT 스타일)

import ollama

stream = ollama.chat(
    model="gemma4",
    messages=[{"role": "user", "content": "Write a haiku about debugging."}],
    stream=True,
)

for chunk in stream:
    print(chunk["message"]["content"], end="", flush=True)

이미지 보내기

import ollama

response = ollama.chat(
    model="gemma4",
    messages=[{
        "role": "user",
        "content": "What's in this image?",
        "images": ["./my_photo.jpg"],
    }],
)

print(response["message"]["content"])

Thinking Mode + Function Calling(에이전트형 조합)

여기서부터 Gemma 4가 도구 호출을 스스로 고르며 에이전트형 워크플로에 가까워짐
도구를 JSON schema로 선언하면 모델이 호출 시점을 판단하고, 호출 결과를 다시 넘겨 후속 응답 생성
프롬프트 꼼수 없이 처리 가능

import ollama

tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the current weather for a city.",
        "parameters": {
            "type": "object",
            "properties": {
                "city": {"type": "string", "description": "City name, e.g. 'Tokyo'"},
            },
            "required": ["city"],
        },
    },
}]

def get_weather(city: str) -> str:
    # Pretend this hits a real API.
    return f"{city}: 22°C, partly cloudy"

response = ollama.chat(
    model="gemma4",
    messages=[
        {"role": "system", "content": "<|think|>You are a helpful weather assistant."},
        {"role": "user", "content": "Should I bring an umbrella in Tokyo today?"},
    ],
    tools=tools,
)

# If the model wants to call a tool, execute it and feed the result back:
for tool_call in response["message"].get("tool_calls", []):
    name = tool_call["function"]["name"]
    args = tool_call["function"]["arguments"]
    if name == "get_weather":
        result = get_weather(**args)
        # Send result back for the model to finalize its answer
        followup = ollama.chat(
            model="gemma4",
            messages=[
                {"role": "user", "content": "Should I bring an umbrella in Tokyo today?"},
                response["message"],
                {"role": "tool", "content": result, "name": name},
            ],
        )
        print(followup["message"]["content"])

Raw HTTP(Python client 없이)

다른 언어에서도 같은 방식으로 호출 가능

curl http://localhost:11434/api/chat -d '{
  "model": "gemma4",
  "messages": [{"role": "user", "content": "Hello!"}],
  "stream": false
}'

Node, Go, Rust, 셸 등 HTTP 요청을 보낼 수 있는 환경이면 같은 JSON 형태 그대로 사용 가능

작은 프로젝트: 폴더를 감시하는 이미지 설명기

30줄 남짓한 실용 예제
폴더를 감시하다가 새 이미지가 들어오면 Gemma 4가 자동으로 설명 생성
접근성 도구, 콘텐츠 검토 프로토타입, 학습용 예제로 잘 맞음

import os, time
import ollama

WATCH_DIR = "./inbox"
os.makedirs(WATCH_DIR, exist_ok=True)
SEEN = set(os.listdir(WATCH_DIR))

print(f"Watching {WATCH_DIR}/ --- drop an image in to describe it.")
print(" (Ctrl+C to stop)\n")

IMAGE_EXTS = (".png", ".jpg", ".jpeg", ".webp", ".gif")

try:
    while True:
        current = set(os.listdir(WATCH_DIR))
        new_files = sorted(current - SEEN)

        for filename in new_files:
            if not filename.lower().endswith(IMAGE_EXTS):
                continue

            path = os.path.join(WATCH_DIR, filename)
            print(f" New image: {filename}")

            response = ollama.chat(
                model="gemma4",
                messages=[{
                    "role": "user",
                    "content": (
                        "Describe this image in 2-3 sentences. "
                        "Mention any visible text. Be specific."
                    ),
                    "images": [path],
                }],
            )

            print(f" → {response['message']['content']}\n")

        SEEN = current
        time.sleep(2)
except KeyboardInterrupt:
    print("\n Stopped.")

실행한 뒤 inbox/ 폴더에 이미지를 끌어다 놓으면 설명이 바로 쌓임
30줄로 만든 실제 활용 가능한 완전 로컬 AI 도구라는 점이 핵심

진지하게 배포하기 전에 알아둘 점

현실적인 제약은 다음과 같음

주의점	왜 중요한가
Hallucination	로컬 모델도 틀린 내용을 자신 있게 만들어냄. 사실 주장은 반드시 검증 필요. Thinking Mode가 추론 작업에는 도움 되지만 환각을 없애지는 못함
CPU latency	CPU만 있는 노트북에서 E4B는 초당 1~3토큰 정도 예상. GPU를 쓰면 3~10배 빨라짐
Context costs RAM	256K 컨텍스트는 실제로 가능하지만 끝까지 채우면 메모리 사용량이 크게 늘어남. 대부분의 용도는 `<16K` 토큰이면 충분
MoE memory	26B MoE는 토큰당 4B만 활성화돼 속도는 빠르지만, 메모리에는 26B 전체를 올려야 함. 활성 파라미터 수와 실제 메모리 점유를 혼동하면 안 됨
Audio is small-model only	E2B/E4B만 오디오 입력을 기본 지원. 26B와 31B 모델은 지원하지 않음
Apache 2.0 ≠ no responsibilities	라이선스는 관대하지만, 실제 배포 시 안전성·편향·컴플라이언스 책임은 직접 감당해야 함

^source^{https://dzone.com/articles/run-gemma-4-locally-guide}

내 노트북에서 Gemma 4 실행하기: 구글의 최신 오픈 멀티모달 LLM에 대한 실습 가이드