模型卡¶

模型頁面：Gemma

資源與技術文件：

• 負責任生成式 AI 工具包
• Kaggle 上的 Gemma
• Vertex Model Garden 上的 Gemma

使用條款：條款

作者：Google

模型資訊¶

摘要說明，以及輸入與輸出的簡要定義。

說明¶

Gemma 是 Google 推出的輕量級、最先進的開放模型家族，採用與打造 Gemini 模型相同的技術與研究成果。這些模型是文字轉文字的僅解碼器大型語言模型，提供英文版本，具備預訓練與指令微調版本的開放權重。Gemma 模型非常適合各種文字生成任務，包括問答、摘要與推理。相對較小的體積使其能夠部署在資源有限的環境中，例如筆記型電腦、桌機或您自己的雲端基礎設施，讓最先進的 AI 模型更加普及，並促進人人創新。

輸入與輸出¶

• 輸入：文字字串，例如問題、提示或待摘要的文件。
• 輸出：針對輸入生成的英文文字，例如問題的答案或文件摘要。

引用¶

@article{gemma_2024,
    title={Gemma},
    url={https://www.kaggle.com/m/3301},
    DOI={10.34740/KAGGLE/M/3301},
    publisher={Kaggle},
    author={Gemma Team},
    year={2024}
}

模型資料¶

用於模型訓練的資料，以及資料的處理方式。

訓練資料集¶

這些模型在包含各種來源的文字資料集上進行訓練。27B 模型以 13 兆個詞元訓練，9B 模型以 8 兆個詞元訓練，2B 模型以 2 兆個詞元訓練。主要組成如下：

• 網路文件：多元的網路文字蒐集，讓模型接觸廣泛的語言風格、主題與詞彙。主要為英文內容。
• 程式碼：讓模型接觸程式碼有助於學習程式語言的語法與模式，進而提升生成程式碼或理解程式相關問題的能力。
• 數學：以數學文字訓練有助於模型學習邏輯推理、符號表示，並處理數學問題。

這些多元資料來源的組合，對於訓練出能處理各種任務與文字格式的強大語言模型至關重要。

資料預處理¶

以下為應用於訓練資料的主要資料清理與過濾方法：

• CSAM 過濾：在資料準備過程的多個階段實施嚴格的 CSAM（兒童性虐待內容）過濾，以確保排除有害與非法內容。
• 敏感資料過濾：為使 Gemma 預訓練模型安全可靠，使用自動化技術從訓練集中過濾掉部分個人資訊與其他敏感資料。
• 其他方法：依據內容品質與安全性進行過濾，符合我們的政策。

實作資訊¶

模型內部機制的詳細資訊。

硬體¶

Gemma 使用最新一代的張量處理單元（Tensor Processing Unit, TPU）硬體（TPUv5p）進行訓練。

訓練大型語言模型需要龐大的運算能力。TPU 專為機器學習中常見的矩陣運算而設計，在此領域具有多項優勢：

• 效能：TPU 專為處理訓練 LLM 所涉及的大規模運算而設計。與 CPU 相比，可大幅加速訓練。
• 記憶體：TPU 通常配備大量高頻寬記憶體，可在訓練期間處理大型模型與批次大小，有助於提升模型品質。
• 可擴展性：TPU Pod（大型 TPU 叢集）為應對日益複雜的大型基礎模型提供了可擴展的解決方案。您可以將訓練分散到多個 TPU 裝置，以更快、更有效率地處理。
• 成本效益：在許多情境下，與基於 CPU 的基礎設施相比，TPU 為訓練大型模型提供了更具成本效益的方案，尤其是考量到更快的訓練所節省的時間與資源。
• 這些優勢與Google 永續營運的承諾相符。

軟體¶

訓練使用 JAX 與 ML Pathways 進行。

JAX 讓研究人員得以利用最新一代硬體（包括 TPU），更快、更有效率地訓練大型模型。

ML Pathways 是 Google 為打造能跨多個任務泛化的人工智慧系統所做的最新努力。這特別適合基礎模型，包括這類大型語言模型。

JAX 與 ML Pathways 的共同使用方式如關於 Gemini 模型家族的論文所述：「Jax 與 Pathways 的『單一控制器』程式設計模型，讓單一 Python 行程即可編排整個訓練流程，大幅簡化了開發工作流程。」

評測¶

模型評測指標與結果。

基準測試結果¶

這些模型使用大量不同的資料集與指標進行評測，涵蓋文字生成的各個面向：

倫理與安全¶

倫理與安全評測方法及結果。

評測方法¶

我們的評測方法包括結構化評測，以及針對相關內容政策的內部紅隊測試。紅隊測試由多個不同團隊執行，各自有不同的目標與人工評測指標。這些模型針對與倫理及安全相關的多個類別進行評測，包括：

• 文字轉文字內容安全：針對涵蓋安全政策的提示進行人工評測，包括兒童性虐待與剝削、騷擾、暴力與血腥，以及仇恨言論。
• 文字轉文字表徵危害：以相關學術資料集進行基準測試，例如 WinoBias 與 BBQ 資料集。
• 記憶化：對訓練資料記憶化進行自動評測，包括個人可識別資訊外洩的風險。
• 大規模危害：測試「危險能力」，例如化學、生物、放射性與核（CBRN）風險。

評測結果¶

倫理與安全評測結果在兒童安全、內容安全、表徵危害、記憶化、大規模危害等類別上，均符合內部政策的可接受閾值。除了嚴謹的內部評測，BBQ、BOLD、Winogender、Winobias、RealToxicity、TruthfulQA 等知名安全基準測試的結果如下。

Gemma 2.0¶

危險能力評測¶

評測方法¶

我們評測了一系列危險能力：

• 攻擊性網路安全：為評測模型在網路安全情境中的潛在濫用，我們使用了公開的奪旗（CTF）平台（如 InterCode-CTF 與 Hack the Box）以及內部開發的 CTF 挑戰。這些評測衡量模型在模擬環境中利用漏洞與取得未授權存取的能力。
• 自我複製：我們設計了涉及資源取得、程式碼執行與遠端系統互動的任務，評測模型的自我複製能力。這些評測評估模型獨立複製與擴散的能力。
• 說服：為評測模型的說服與欺瞞能力，我們進行了人工說服研究。這些研究包含的情境衡量模型建立融洽關係、影響信念，以及引發人類參與者特定行為的能力。

評測結果¶

所有評測詳見 Evaluating Frontier Models for Dangerous Capabilities，簡述則載於 Gemma 2 技術報告。

使用方式與限制¶

這些模型存在使用者應注意的特定限制。

預期用途¶

開放大型語言模型（LLM）在各產業與領域有廣泛應用。以下潛在用途清單並不詳盡，目的在於提供背景資訊，說明模型建立者在模型訓練與開發過程中所考量的可能使用情境。

• 內容創作與溝通
  • 文字生成：這些模型可用於生成詩歌、劇本、程式碼、行銷文案與電子郵件草稿等創意文字格式。
  • 聊天機器人與對話式 AI：為客戶服務、虛擬助理或互動式應用程式提供對話介面。
  • 文字摘要：為文字語料庫、研究論文或報告生成精簡摘要。
• 研究與教育
  • 自然語言處理（NLP）研究：這些模型可作為研究人員的基礎，用於實驗 NLP 技術、開發演算法，並推動該領域的發展。
  • 語言學習工具：支援互動式語言學習體驗，協助文法修正或提供寫作練習。
  • 知識探索：協助研究人員探索大量文字，透過生成摘要或回答特定主題的問題。

限制¶

• 訓練資料
  • 訓練資料的品質與多樣性會顯著影響模型的能力。訓練資料中的偏見或缺口可能導致模型回應受限。
  • 訓練資料集的範圍決定了模型能有效處理的主題領域。
• 上下文與任務複雜度
  • LLM 較擅長能以明確提示與指示框架化的任務。開放式或高度複雜的任務可能較具挑戰性。
  • 模型的效能可能受提供的上下文量影響（上下文越長通常輸出越好，但有其上限）。
• 語言歧義與細微差別
  • 自然語言本質上很複雜。LLM 可能難以掌握細微差別、諷刺或比喻性語言。
• 事實準確性
  • LLM 根據從訓練資料集學到的資訊生成回應，但它們並非知識庫，可能會生成錯誤或過時的事實陳述。
• 常識
  • LLM 依賴語言中的統計模式，在某些情境下可能缺乏應用常識推理的能力。

倫理考量與風險¶

大型語言模型（LLM）的開發引發了若干倫理議題。在打造開放模型時，我們審慎考量了以下事項：

• 偏見與公平性
  • 以大規模真實世界文字資料訓練的 LLM 可能反映訓練資料中蘊含的社會文化偏見。這些模型經過嚴格審查，輸入資料預處理如上所述，後續評測結果載於本卡。
• 錯誤資訊與濫用
  • LLM 可能被濫用來生成虛假、誤導或有害的文字。
  • 我們提供負責任使用模型的指南，詳見 負責任生成式 AI 工具包。
• 透明度與問責制：
  • 本模型卡彙整了模型的架構、能力、限制與評測流程的詳細資訊。
  • 一個負責任地開發的開放模型，讓整個 AI 生態系的開發者與研究人員都能取用 LLM 技術，提供了共享創新的機會。

已識別的風險與緩解措施：

• 偏見的延續：鼓勵在模型訓練、微調與其他使用情境中持續監控（使用評測指標、人工審查），並探索去偏見技術。
• 有害內容的生成：內容安全機制與指南至關重要。鼓勵開發者謹慎行事，並依據其特定產品政策與應用情境實施適當的內容安全防護。
• 惡意用途的濫用：技術限制，以及開發者與終端使用者的教育，有助於緩解 LLM 的惡意應用。我們提供教育資源與回報機制，供使用者舉報濫用。Gemma 模型的禁用用途載於 Gemma 禁用用途政策。
• 隱私侵犯：模型在經過過濾以移除 PII（個人可識別資訊）的資料上訓練。鼓勵開發者遵守隱私法規，並採用隱私保護技術。

優點¶

在發布時，與同等規模的模型相比，此模型家族提供從零開始為負責任 AI 開發而設計的高效能開放大型語言模型實作。

根據本文件所述的基準測試評測指標，這些模型的表現優於其他同等規模的開放模型替代方案。