模型卡

Gemma 是由 Google DeepMind 打造的開放模型家族。Gemma 4 模型為多模態，可處理文字與圖像輸入（E2B、E4B 與 12B 模型另支援音訊），並生成文字輸出。本次發布包含預訓練與指令微調版本的開放權重模型。Gemma 4 具備最高達 256K 詞元的上下文視窗，並維持超過 140 種語言的多語言支援。

Gemma 4 同時具備稠密（Dense）與混合專家（Mixture-of-Experts, MoE）架構，非常適合文字生成、程式設計與推理等任務。模型提供五種不同尺寸：E2B 、E4B 、12B 、26B A4B 與 31B。多樣的尺寸使其可部署於從高階手機到筆記型電腦、伺服器的各種環境，讓最先進的 AI 更加普及。

Gemma 4 帶來了關鍵的能力與架構進展：

• 推理 -- 此家族所有模型皆設計為高能力的推理者，並支援可設定的思考模式。

• 擴展多模態 -- 可處理文字、圖像（所有模型均支援可變長寬比與解析度）、影片與音訊（E2B、E4B 與 12B 模型原生支援）。

• 多元且高效的架構 -- 提供不同尺寸的稠密與混合專家（MoE）變體，支援可擴展部署。

• 為裝置端優化 -- 小型模型專為在筆記型電腦與行動裝置上高效本地執行而設計。

• 更大的上下文視窗 -- 小型模型具備 128K 上下文視窗，中型模型支援 256K。

• 增強的程式設計與智慧代理能力 -- 在程式設計基準測試上取得顯著進步，並具備原生函式呼叫支援，驅動高能力的自主智慧代理。

• 原生系統提示支援 -- Gemma 4 內建對 system 角色的支援，實現更結構化、可控的對話。

模型總覽¶

Gemma 4 模型旨在在每個尺寸上提供前沿級效能，部署情境涵蓋行動與邊緣裝置（E2B、E4B）到消費級 GPU 與工作站（12B、26B A4B、31B）。它們非常適合推理、智慧代理工作流程、程式設計與多模態理解。

這些模型採用混合注意力機制，將局部滑動視窗注意力與完整全域注意力交錯排列，並確保最終層始終為全域注意力。這種混合設計在不犧牲複雜長上下文任務所需的深度感知能力下，提供輕量模型的處理速度與低記憶體佔用。為了優化長上下文的記憶體，全域層具備統一的鍵（Keys）與值（Values），並應用比例式 RoPE（p-RoPE）。

稠密模型¶

E2B 與 E4B 中的「E」代表「有效（effective）」參數。小型模型採用逐層嵌入（PLE）以最大化裝置端部署的參數效率。PLE 不為模型增加更多層或參數，而是讓每個解碼器層為每個詞元擁有自己的小型嵌入。這些嵌入表雖然龐大，但僅用於快速查表，這也是有效參數量遠小於總量的原因。

Gemma 4 12B Unified 中的「Unified」指的是其無編碼器架構。其他 Gemma 4 模型使用專用編碼器先處理多模態資料，再傳給 LLM。Gemma 4 12B 完全移除這些編碼器，透過輕量線性層將原始圖像區塊與音訊波形直接投影到 LLM 的嵌入空間。這種統一方法讓所有模態直接流入單一僅解碼器 Transformer，降低多模態延遲，並允許整個模型一次完成微調。

混合專家（MoE）模型¶

26B A4B 中的「A」代表「啟用（active）」參數，相對於模型包含的總參數量而言。由於推論期間僅啟用 4B 參數子集，混合專家模型的運行速度遠快於其 26B 總量所暗示的速度。與稠密 31B 模型相比，這使其成為快速推論的絕佳選擇，因為它的運行速度幾乎與 4B 參數模型相當。

基準測試結果¶

這些模型使用大量不同的資料集與指標進行評測，涵蓋文字生成的各個面向。表格中標示的評測結果為指令微調模型的結果。

^*不含中文。

核心能力¶

Gemma 4 模型可處理文字、視覺與音訊領域的廣泛任務。主要能力包括：

• 思考 -- 內建推理模式，讓模型在回答前逐步思考。
• 長上下文 -- 最高達 128K 詞元（E2B/E4B）與 256K 詞元（12B/26B A4B/31B）的上下文視窗。
• 圖像理解 -- 物件偵測、文件/PDF 解析、螢幕與 UI 理解、圖表理解、OCR（含多語言）、手寫辨識與指點定位。圖像可以可變長寬比與解析度處理。
• 影片理解 -- 透過處理影格序列分析影片。
• 交錯多模態輸入 -- 在單一提示中以任意順序自由混合文字與圖像。
• 函式呼叫 -- 原生支援結構化工具使用，啟用智慧代理工作流程。
• 程式設計 -- 程式碼生成、補全與修正。
• 多語言 -- 開箱即支援 35 種以上語言，在 140 種以上語言上預訓練。
• 音訊（僅 E2B、E4B 與 12B Unified）-- 跨多語言的自動語音辨識（ASR）與語音轉譯文字翻譯。

最佳實踐¶

為獲得最佳效能，請使用以下配置與最佳實踐：

1. 取樣參數¶

在所有使用情境中採用以下標準化取樣配置：

• temperature=1.0
• top_p=0.95
• top_k=64

2. 思考模式配置¶

與 Gemma 3 相比，這些模型使用標準的 system、assistant 與 user 角色。若要妥善管理思考流程，請使用以下控制詞元：

• 觸發思考：在系統提示開頭加入 <|think|> 詞元即可啟用思考；移除該詞元即可停用。
• 標準生成：啟用思考時，模型會先輸出內部推理，再輸出最終答案，結構如下：<|channel>thought\n[內部推理] <channel|>
• 停用思考時的行為：除 E2B 與 E4B 變體外所有模型，若停用思考，模型仍會生成標籤，但思考區塊為空：<|channel>thought\n<channel|>[最終答案]

3. 多輪對話¶

• 歷史紀錄中不含思考內容：在多輪對話中，歷史模型輸出應僅包含最終回應。在下一輪使用者發言開始前，不得加入先前模型輪次的思考內容；工具呼叫輪次例外，該情況下應保留思考內容。

4. 模態順序¶

為在多模態輸入下獲得最佳效能，請將：

• 圖像內容放在提示中的文字之前。
• 音訊內容放在提示中的文字之後。

5. 可變圖像解析度¶

除了可變長寬比，Gemma 4 還透過可設定的視覺詞元預算支援可變圖像解析度，控制用於表示圖像的詞元數量。較高的詞元預算以更多運算為代價保留更多視覺細節；較低的預算則為不需要細粒度理解的任務實現更快的推論。

• 支援的詞元預算為：70 、140 、280 、560 與 1120 。
  • 對於分類、圖說生成或影片理解，請使用較低的預算，此時更快的推論與處理大量影格的重要性勝過細粒度細節。
  • 對於 OCR、文件解析或讀取小字等任務，請使用較高的預算。

6. 音訊¶

處理音訊時請使用以下提示結構：

• 自動語音辨識（ASR）

Transcribe the following speech segment in {LANGUAGE} into {LANGUAGE} text.

Follow these specific instructions for formatting the answer:
  *   Only output the transcription, with no newlines.
  *   When transcribing numbers, write the digits, i.e. write 1.7 and not one point seven, and write 3 instead of three.

• 自動語音翻譯（AST）

Transcribe the following speech segment in {SOURCE_LANGUAGE}, then translate it into {TARGET_LANGUAGE}.
When formatting the answer, first output the transcription in {SOURCE_LANGUAGE}, then one newline, then output the string '{TARGET_LANGUAGE}: ', then the translation in {TARGET_LANGUAGE}.

7. 音訊與影片長度¶

所有模型均支援圖像輸入，並可將影片作為影格處理；而 E2B、E4B 與 12B 模型還支援音訊輸入。音訊最長支援 30 秒；假設圖像以每秒一影格處理，影片最長支援 60 秒。

模型資料¶

用於模型訓練的資料，以及資料的處理方式。

訓練資料集¶

我們的預訓練資料集是大規模、多元的資料蒐集，涵蓋廣泛的領域與模態，包括網路文件、程式碼、圖像與音訊，截止日期為 2025 年 1 月。主要組成如下：

• 網路文件：多元的網路文字蒐集，讓模型接觸廣泛的語言風格、主題與詞彙。訓練資料集包含超過 140 種語言的內容。
• 程式碼：讓模型接觸程式碼有助於學習程式語言的語法與模式，進而提升生成程式碼與理解程式相關問題的能力。
• 數學：以數學文字訓練有助於模型學習邏輯推理、符號表示，並處理數學問題。
• 圖像：廣泛的圖像讓模型能執行圖像分析與視覺資料擷取任務。

這些多元資料來源的組合，對於訓練出能處理各種任務與資料格式的強大多模態模型至關重要。

資料預處理¶

以下為應用於訓練資料的主要資料清理與過濾方法：

• CSAM 過濾：在資料準備過程的多個階段實施嚴格的 CSAM（兒童性虐待內容）過濾，以確保排除有害與非法內容。
• 敏感資料過濾：為使 Gemma 預訓練模型安全可靠，使用自動化技術從訓練集中過濾掉部分個人資訊與其他敏感資料。
• 其他方法 ：依據內容品質與安全性進行過濾，符合我們的 政策。

倫理與安全¶

隨著開放模型成為企業基礎設施的核心，來源與安全性至關重要。Gemma 4 由 Google DeepMind 開發，接受與我們專有的 Gemini 模型同樣嚴格的安全評測。

評測方法¶

Gemma 4 模型與內部安全及負責任 AI 團隊合作開發。我們進行了一系列自動化與人工評測，以提升模型安全性。這些評測符合 Google 的 AI 原則與安全政策，旨在防止我們的生成式 AI 模型生成有害內容，包括：

• 與兒童性虐待內容及剝削相關的內容
• 危險內容（例如鼓吹自殺，或教導可能造成現實世界傷害的活動）
• 色情內容
• 仇恨言論（例如貶低受保護群體成員）
• 騷擾（例如鼓勵對他人施暴）

評測結果¶

在所有安全測試領域，相較於先前的 Gemma 模型，我們在各內容安全類別都看到大幅改善。整體而言，Gemma 4 模型在提升安全性方面顯著優於 Gemma 3 與 3n 模型，同時將無正當理由的拒答維持在低水準。所有測試均在未使用安全篩選器的情況下進行，以評測模型的能力與行為。在文字轉文字與圖像轉文字、以及所有模型尺寸上，模型僅產生極少的政策違規，並較先前 Gemma 模型的表現有顯著改善。

使用方式與限制¶

這些模型存在使用者應注意的特定限制。

預期用途¶

多模態模型（能處理視覺、語言與/或音訊）在各產業與領域有廣泛應用。以下潛在用途清單並不詳盡，目的在於提供背景資訊，說明模型建立者在模型訓練與開發過程中所考量的可能使用情境。

• 內容創作與溝通
  • 文字生成：這些模型可用於生成詩歌、劇本、程式碼、行銷文案與電子郵件草稿等創意文字格式。
  • 聊天機器人與對話式 AI：為客戶服務、虛擬助理或互動式應用程式提供對話介面。
  • 文字摘要：為文字語料庫、研究論文或報告生成精簡摘要。
  • 圖像資料擷取：這些模型可用於擷取、解讀與摘要視覺資料，供文字溝通使用。
  • 音訊處理與互動：E2B、E4B 與 12B 模型可分析與解讀音訊輸入，實現語音驅動的互動與轉錄。
• 研究與教育
  • 自然語言處理（NLP）與 VLM 研究：這些模型可作為研究人員的基礎，用於實驗 VLM 與 NLP 技術、開發演算法，並推動該領域的發展。
  • 語言學習工具：支援互動式語言學習體驗，協助文法修正或提供寫作練習。
  • 知識探索：協助研究人員探索大量文字，透過生成摘要或回答特定主題的問題。

限制¶

• 訓練資料
  • 訓練資料的品質與多樣性會顯著影響模型的能力。訓練資料中的偏見或缺口可能導致模型回應受限。
  • 訓練資料集的範圍決定了模型能有效處理的主題領域。
• 上下文與任務複雜度
  • 模型在能以明確提示與指示框架化的任務上表現良好。開放式或高度複雜的任務可能較具挑戰性。
  • 模型的效能可能受提供的上下文量影響（上下文越長通常輸出越好，但有其上限）。
• 語言歧義與細微差別
  • 自然語言本質上很複雜。模型可能難以掌握細微差別、諷刺或比喻性語言。
• 事實準確性
  • 模型根據從訓練資料集學到的資訊生成回應，但它們並非知識庫，可能會生成錯誤或過時的事實陳述。
• 常識
  • 模型依賴語言中的統計模式，在某些情境下可能缺乏應用常識推理的能力。

倫理考量與風險¶

視覺語言模型（VLM）的開發引發了若干倫理議題。在打造開放模型時，我們審慎考量了以下事項：

• 偏見與公平性
  • 以大規模真實世界文字與圖像資料訓練的 VLM 可能反映訓練資料中蘊含的社會文化偏見。Gemma 4 模型經過嚴格審查、輸入資料預處理與訓練後評測（如本卡所述），以協助緩解這些偏見的風險。
• 錯誤資訊與濫用
  • VLM 可能被濫用來生成虛假、誤導或有害的文字。
  • 我們提供負責任使用模型的指南，詳見 負責任生成式 AI 工具包。
• 透明度與問責制
  • 本模型卡彙整了模型的架構、能力、限制與評測流程的詳細資訊。
  • 一個負責任地開發的開放模型，讓整個 AI 生態系的開發者與研究人員都能取用 VLM 技術，提供了共享創新的機會。

已識別的風險與緩解措施：

• 有害內容的生成：內容安全機制與指南至關重要。鼓勵開發者謹慎行事，並依據其特定產品政策與應用情境實施適當的內容安全防護。
• 惡意用途的濫用：技術限制，以及開發者與終端使用者的教育，有助於緩解 VLM 的惡意應用。我們提供教育資源與回報機制，供使用者舉報濫用。
• 隱私侵犯：模型在經過過濾以移除部分個人資訊與其他敏感資料的資料上訓練。鼓勵開發者遵守隱私法規，並採用隱私保護技術。
• 偏見的延續：鼓勵在模型訓練、微調與其他使用情境中持續監控（使用評測指標、人工審查），並探索去偏見技術。

優點¶

在發布時，與同等規模的模型相比，此模型家族提供從零開始為負責任 AI 開發而設計的高效能開放視覺語言模型實作。

引用¶

如果我們的工作對您有幫助，歡迎引用：

@misc{gemmateam2026gemma4,
      title={Gemma 4 Technical Report},
      author={Gemma Team},
      year={2026},
      eprint={2607.02770},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2607.02770},
}