模型卡¶

模型頁面：Gemma 3n

資源與技術文件：

• 負責任生成式 AI 工具包
• Kaggle 上的 Gemma
• HuggingFace 上的 Gemma
• Vertex Model Garden 上的 Gemma

使用條款：條款

作者：Google DeepMind

模型資訊¶

摘要說明，以及輸入與輸出的簡要定義。

說明¶

Gemma 是 Google 推出的輕量級、最先進的開放模型家族，採用與打造 Gemini 模型相同的技術與研究成果。Gemma 3n 模型專為在低資源裝置上高效執行而設計。它們支援多模態輸入，可處理文字、圖像、影片與音訊輸入，並生成文字輸出，提供預訓練與指令微調版本的開放權重。這些模型以超過 140 種口語語言的資料進行訓練。

Gemma 3n 模型使用選擇性參數啟用技術來降低資源需求。此技術讓模型能以 2B 與 4B 參數的有效規模運作，低於它們實際包含的參數總數。關於 Gemma 3n 高效參數管理技術的更多資訊，請見 Gemma 3n 頁面。

輸入與輸出¶

• 輸入：
  • 文字字串，例如問題、提示或待摘要的文件
  • 圖像，正規化為 256x256、512x512 或 768x768 解析度，每張編碼為 256 個詞元
  • 音訊資料，以單聲道每秒 6.25 個詞元編碼
  • 總輸入上下文為 32K 詞元
• 輸出：
  • 針對輸入生成的文字，例如問題的答案、圖像內容分析或文件摘要
  • 總輸出長度最高達 32K 詞元，並扣除請求的輸入詞元

引用¶

@article{gemma_3n_2025,
    title={Gemma 3n},
    url={https://ai.google.dev/gemma/docs/gemma-3n},
    publisher={Google DeepMind},
    author={Gemma Team},
    year={2025}
}

模型資料¶

用於模型訓練的資料，以及資料的處理方式。

訓練資料集¶

這些模型在包含各種來源的資料集上進行訓練，共計約 11 兆個詞元。訓練資料的知識截止日期為 2024 年 6 月。主要組成如下：

• 網路文件：多元的網路文字蒐集，讓模型接觸廣泛的語言風格、主題與詞彙。訓練資料集包含超過 140 種語言的內容。
• 程式碼：讓模型接觸程式碼有助於學習程式語言的語法與模式，進而提升生成程式碼與理解程式相關問題的能力。
• 數學：以數學文字訓練有助於模型學習邏輯推理、符號表示，並處理數學問題。
• 圖像：廣泛的圖像讓模型能執行圖像分析與視覺資料擷取任務。
• 音訊：多元的聲音樣本讓模型能辨識語音、從錄音轉錄文字，並識別音訊資料中的資訊。

這些多元資料來源的組合，對於訓練出能處理各種任務與資料格式的強大多模態模型至關重要。

資料預處理¶

以下為應用於訓練資料的主要資料清理與過濾方法：

• CSAM 過濾：在資料準備過程的多個階段實施嚴格的 CSAM（兒童性虐待內容）過濾，以確保排除有害與非法內容。
• 敏感資料過濾：為使 Gemma 預訓練模型安全可靠，使用自動化技術從訓練集中過濾掉部分個人資訊與其他敏感資料。
• 其他方法 ：依據內容品質與安全性進行過濾，符合我們的政策。

實作資訊¶

模型內部機制的詳細資訊。

硬體¶

Gemma 使用張量處理單元 （Tensor Processing Unit, TPU）硬體（TPUv4p、TPUv5p 與 TPUv5e）進行訓練。訓練生成式模型需要龐大的運算能力。TPU 專為機器學習中常見的矩陣運算而設計，在此領域具有多項優勢：

• 效能：TPU 專為處理訓練生成式模型所涉及的大規模運算而設計。與 CPU 相比，可大幅加速訓練。
• 記憶體：TPU 通常配備大量高頻寬記憶體，可在訓練期間處理大型模型與批次大小，有助於提升模型品質。
• 可擴展性：TPU Pod（大型 TPU 叢集）為應對日益複雜的大型基礎模型提供了可擴展的解決方案。您可以將訓練分散到多個 TPU 裝置，以更快、更有效率地處理。
• 成本效益：在許多情境下，與基於 CPU 的基礎設施相比，TPU 為訓練大型模型提供了更具成本效益的方案，尤其是考量到更快的訓練所節省的時間與資源。

這些優勢與 Google 永續營運的承諾相符。

軟體¶

訓練使用 JAX 與 ML Pathways 進行。 JAX 讓研究人員得以利用最新一代硬體（包括 TPU），更快、更有效率地訓練大型模型。ML Pathways 是 Google 為打造能跨多個任務泛化的人工智慧系統所做的最新努力。這特別適合基礎模型，包括這類大型語言模型。

JAX 與 ML Pathways 的共同使用方式如關於 Gemini 模型家族的論文所述： 「Jax 與 Pathways 的『單一控制器』程式設計模型，讓單一 Python 行程即可編排整個訓練流程，大幅簡化了開發工作流程。」

評測¶

模型評測指標與結果。

基準測試結果¶

這些模型以全精度（float32）使用大量不同的資料集與指標進行評測，涵蓋內容生成的各個面向。標示 IT 的評測結果為指令微調模型的結果；標示 PT 的為預訓練模型的結果。

推理與事實性¶

多語言¶

STEM 與程式設計¶

其他基準測試¶

倫理與安全¶

倫理與安全評測方法及結果。

評測方法¶

我們的評測方法包括結構化評測，以及針對相關內容政策的內部紅隊測試。紅隊測試由多個不同團隊執行，各自有不同的目標與人工評測指標。這些模型針對與倫理及安全相關的多個類別進行評測，包括：

• 兒童安全：針對涵蓋兒童安全政策的文字轉文字與圖像轉文字提示進行評測，包括兒童性虐待與剝削。
• 內容安全：針對涵蓋安全政策的文字轉文字與圖像轉文字提示進行評測，包括騷擾、暴力與血腥，以及仇恨言論。
• 表徵危害：針對涵蓋安全政策的文字轉文字與圖像轉文字提示進行評測，包括偏見、刻板印象，以及有害關聯或不實內容。

除了開發階段的評測，我們還進行「保證評測（assurance evaluations）」——這是我們為負責任治理決策所做的「保持距離（arms-length）」內部評測。這些評測由模型開發團隊以外的單位獨立執行，為發布決策提供依據。高層級發現會回饋給模型團隊，但提示集合會保留不公開，以防止過擬合，並維持結果對決策的參考價值。值得注意的保證評測結果會作為發布審查的一部分，呈報給我們的責任與安全委員會。

評測結果¶

在所有安全測試領域，相較於先前的 Gemma 模型，我們在兒童安全、內容安全與表徵危害等類別都看到安全的效能水準。所有測試均在未使用安全篩選器的情況下進行，以評測模型的能力與行為。在文字轉文字、圖像轉文字與音訊轉文字、以及所有模型尺寸上，模型僅產生極少的政策違規，並在高嚴重度違規方面較先前 Gemma 模型的表現有顯著改善。我們評測的一個限制是主要包含英文提示。

使用方式與限制¶

這些模型存在使用者應注意的特定限制。

預期用途¶

開放生成式模型在各產業與領域有廣泛應用。以下潛在用途清單並不詳盡，目的在於提供背景資訊，說明模型建立者在模型訓練與開發過程中所考量的可能使用情境。

• 內容創作與溝通
  • 文字生成：生成詩歌、劇本、程式碼、行銷文案與電子郵件草稿等創意文字格式。
  • 聊天機器人與對話式 AI：為客戶服務、虛擬助理或互動式應用程式提供對話介面。
  • 文字摘要：為文字語料庫、研究論文或報告生成精簡摘要。
  • 圖像資料擷取：擷取、解讀與摘要視覺資料，供文字溝通使用。
  • 音訊資料擷取：轉錄口語、將語音翻譯為其他語言的文字，並分析基於聲音的資料。
• 研究與教育
  • 自然語言處理（NLP）與生成式模型研究：這些模型可作為研究人員的基礎，用於實驗生成式模型與 NLP 技術、開發演算法，並推動該領域的發展。
  • 語言學習工具：支援互動式語言學習體驗，協助文法修正或提供寫作練習。
  • 知識探索：協助研究人員探索大量資料，透過生成摘要或回答特定主題的問題。

限制¶

• 訓練資料
  • 訓練資料的品質與多樣性會顯著影響模型的能力。訓練資料中的偏見或缺口可能導致模型回應受限。
  • 訓練資料集的範圍決定了模型能有效處理的主題領域。
• 上下文與任務複雜度
  • 模型在能以明確提示與指示框架化的任務上表現較好。開放式或高度複雜的任務可能較具挑戰性。
  • 模型的效能可能受提供的上下文量影響（上下文越長通常輸出越好，但有其上限）。
• 語言歧義與細微差別
  • 自然語言本質上很複雜。模型可能難以掌握細微差別、諷刺或比喻性語言。
• 事實準確性
  • 模型根據從訓練資料集學到的資訊生成回應，但它們並非知識庫，可能會生成錯誤或過時的事實陳述。
• 常識
  • 模型依賴語言中的統計模式，在某些情境下可能缺乏應用常識推理的能力。

倫理考量與風險¶

生成式模型的開發引發了若干倫理議題。在打造開放模型時，我們審慎考量了以下事項：

• 偏見與公平性
  • 以大規模真實世界文字與圖像資料訓練的生成式模型可能反映訓練資料中蘊含的社會文化偏見。這些模型經過嚴格審查，輸入資料預處理如上所述，後續評測結果載於本卡。
• 錯誤資訊與濫用
  • 生成式模型可能被濫用來生成虛假、誤導或有害的文字。
  • 我們提供負責任使用模型的指南，詳見 負責任生成式 AI 工具包。
• 透明度與問責制：
  • 本模型卡彙整了模型的架構、能力、限制與評測流程的詳細資訊。
  • 一個負責任地開發的開放模型，讓整個 AI 生態系的開發者與研究人員都能取用生成式模型技術，提供了共享創新的機會。

已識別的風險與緩解措施：

• 偏見的延續：鼓勵在模型訓練、微調與其他使用情境中持續監控（使用評測指標、人工審查），並探索去偏見技術。
• 有害內容的生成：內容安全機制與指南至關重要。鼓勵開發者謹慎行事，並依據其特定產品政策與應用情境實施適當的內容安全防護。
• 惡意用途的濫用：技術限制，以及開發者與終端使用者的教育，有助於緩解生成式模型的惡意應用。我們提供教育資源與回報機制，供使用者舉報濫用。Gemma 模型的禁用用途載於 Gemma 禁用用途政策。
• 隱私侵犯：模型在經過過濾以移除部分個人資訊與其他敏感資料的資料上訓練。鼓勵開發者遵守隱私法規，並採用隱私保護技術。

優點¶

在發布時，與同等規模的模型相比，此模型家族提供從零開始為負責任 AI 開發而設計的高效能開放生成式模型實作。

根據本文件所述的基準測試評測指標，這些模型的表現優於其他同等規模的開放模型替代方案。