快速入門¶

Models Gemma 4 Uses Transformers llama.cpp Ollama MLX vLLM LM Studio

Gemma 是輕量且技術領先的開放模型家族，基於開發 Gemini 模型的相同研究與技術打造。Gemma 由 Google DeepMind 與 Google 其他團隊共同開發，名稱源自拉丁文 gemma，意為寶石。Gemma 模型權重搭配開發者工具，促進創新、協作，以及人工智慧（AI）的負責任使用。

Gemma 家族的最新成員是 Gemma 4，支援多模態（文字、圖像、音訊）輸入。

第一次接觸 Gemma？

想深入了解 Gemma 模型家族，請造訪模型家族頁面一覽。

選擇模型¶

Gemma 4 提供五種尺寸。它們共用相同的分詞器與提示格式，因此您可以從小尺寸開始，日後無需改寫任何內容即可升級。

尺寸	輸入 ➔ 輸出	上下文	適用平台
E2B	Text, Image, Audio, Video ➔ Text	128K	Mobile devices
E4B	Text, Image, Audio, Video ➔ Text	128K	Mobile devices and laptops
12B	Text, Image, Audio, Video ➔ Text	256K	Laptops, desktop computers and small servers
26B A4B	Text, Image, Video ➔ Text	256K	Desktop computers and small servers
31B	Text, Image, Video ➔ Text	256K	Large servers or server clusters

執行第一次推論¶

Hugging Face Transformersllama.cppOllamaApple MLXvLLMLMStudio

安裝 transformers，然後執行：

from transformers import pipeline

pipe = pipeline(
    "text-generation",
    model="google/gemma-4-12B-it",
    device_map="auto"
)
output = pipe("Explain quantum computing simply:", max_new_tokens=150)
print(output[0]["generated_text"])

安裝 llama.cpp，然後執行：

llama-cli -hf google/gemma-4-12B-it-qat-q4_0-gguf --prompt "Write a poem about the Kraken."

安裝 ollama，然後執行：

ollama run gemma4:12b "Explain quantum computing simply:"

安裝 MLX LM，然後執行：

mlx_lm.generate --model mlx-community/gemma-4-12B-it-qat-4bit \
    --prompt "Explain quantum computing simply:"

安裝 vLLM，然後執行：

vllm serve google/gemma-4-26B-A4B-it

安裝 LMStudio，然後執行：

lms chat google/gemma-4-12b

使用程式碼代理？

安裝 gemma-dev skill，讓您的代理始終跟上最新模型：

npx skills add google-gemma/gemma-skills --skill gemma-dev --global

供應商¶

若想在其他堆疊上執行 Gemma 4，可從以下選項中選擇：

取得權重¶

每種尺寸都提供全精度權重與量化感知訓練（Quantization-Aware Training）（QAT）檢查點；在 4 位元下，QAT 檢查點的表現遠優於一般的訓練後量化。

哪裡	有什麼
Hugging Face	Safetensors、GGUF 與 QAT 集合
Kaggle	相同的檢查點，鏡像版本
Ollama	預先建置的標籤，首次執行時自動拉取

檢查點命名遵循 google/gemma-4-{SIZE}-it{SUFFIX} —— 請依引擎選擇適合的後綴：

執行環境	後綴
llama.cpp, LM Studio, Ollama	`-qat-q4_0-gguf`
vLLM, SGLang	`-qat-w4a16-ct`
行動裝置	`-qat-mobile-transformers`, `-qat-mobile-ct`

接下來¶

最佳做法

取樣參數、思考模式詞元、模態順序與圖像詞元預算。

功能

文字、推理、工具呼叫、視覺、影片與音訊——皆附可執行的程式碼。

模型家族

每一代與每個變體，以及各自源自哪個基礎模型。