視覺總覽¶

Gemma 4 是 Gemma 家族的最新模型，可執行廣泛的 視覺語言任務，例如物件偵測、光學字元辨識（Optical Character Recognition, OCR）、視覺問答、圖說生成，以及跨多張影像的推理。它也支援可變解析度處理，讓您 能在推論速度與輸出準確度之間取得平衡。

本節說明如何有效地在提示中準備與使用視覺資料。

視覺資料¶

視覺資料有許多格式與解析度。支援的具體檔案格式 （例如 JPEG 與 PNG）取決於您選擇用來將視覺資料轉換為張量的框架。

以下是為 Gemma 準備視覺資料時的關鍵考量：

• 詞元成本： 每張影像通常使用 256 個詞元，不過 PaliGemma 的影像詞元成本會依所選的具體模型而異。
• 解析度： 解讀的解析度——意即編碼為詞元並由模型處理的像素數——取決於您使用的 Gemma 版本：
  • Gemma 4： 依詞元預算調整的可變解析度。您可以從 70、140、280、560 或 1120 個詞元的預算大小中選擇，這決定了輸入影像縮放與處理的程度。
  • Gemma 3：（4B 及以上）896x896 解析度，較大影像可使用全景掃描（pan-and-scan）選項。
  • Gemma 3n： 256x256、512x512 或 768x768 解析度
  • PaliGemma 2： 224x224、448x448 或 896x896 解析度

低解析度影像處理速度更快，但能捕捉的視覺細節較少。為了 最佳化推論速度，您應盡量提供符合所選 Gemma 模型內建解讀解析度的視覺資料。

可變解析度與詞元預算¶

Gemma 4 模型引入了以不同解析度處理影像的能力， 讓您可以依具體任務調整視覺輸入。例如，您 可能會選擇高解析度以在物件偵測中精準定位細小細節， 而分析單一影片影格時，較低的解析度可能更適合用來加速處理。歸根結底，這項功能讓您能在推論速度與視覺呈現的準確度之間取得平衡。

您可以使用詞元預算來管理這項取捨。此預算為模型針對單張影像可生成的視覺詞元（亦稱為視覺詞元嵌入）數量設定了硬性上限。

您可以選擇 70、140、280、560 或 1120 個詞元的預算：

• 高預算（例如 1120 個詞元）： 保留較高的影像解析度。這會為模型生成更多圖塊進行處理，非常適合捕捉精細、複雜的細節。
• 低預算（例如 70 個詞元）： 縮小影像尺寸，產生的圖塊較少。這會顯著加快推論時間。

預算的運作方式 詞元預算直接透過決定初始影像圖塊的數量上限，來控制影像縮放的程度。系統生成的圖塊數量是所選預算的九倍。例如， 280 個詞元的預算最多可產生 2,520 個圖塊（280 × 9）。

之所以有 9 倍的乘數，是因為圖塊的壓縮方式：在 處理過程中，模型會將每個相鄰的 3x3 圖塊網格取平均值，合併為 一個嵌入。這些合併後的嵌入成為最終的 視覺詞元。因此，較高的詞元預算會產生更多的最終 嵌入，讓模型能從您的視覺資料中擷取更豐富、更細緻的資訊。

建議做法¶

以下是在用視覺資料提示 Gemma 時應遵循的一些最佳實務。

• 具體明確：如果您有任何具體任務，請提供充分的脈絡 與指引。與其說「描述這張影像」，不如說「描述這張影像中的場景， 專注於人物與物體之間的關係。」

• 提供限制條件：要達到特定的風格或語氣，請務必 在提示中明確指定。例如，與其提出籠統的故事請求，不如要求 Gemma「用黑色電影的風格為這張影像寫一個短篇故事。」

• 迭代精煉：要獲得理想的輸出，通常需要 實驗並精煉提示。先從基本的提示開始， 再逐步增加複雜度。

應避免的做法¶

以下是在用視覺資料提示 Gemma 時應避免的一些事項。

• 期待極密集物件的精確計數：雖然 Gemma 4 擅長 物件偵測與 OCR，但對於極度密集或微小的物件（例如計算 個別草葉），它仍可能給出近似值而非精確計數。為了在視覺任務中獲得最佳準確度， 請使用較高的詞元預算。

• 模糊或含糊的提示：與其使用「根據這張影像生成 某樣東西」這類籠統提示，不如提供具體指示以達成 預期的輸出。清楚定義「某樣東西」是什麼，例如一首詩、 一份食譜或一段程式碼片段。

下一步¶