電腦視覺（computer vision）是讓軟件把圖像和影片轉化為可執行資訊的技術，例如在叉車外圍畫出方框、點算閘口人數，或用一句話說明貨台上正在發生甚麼。目前實際應用中最常被討論的有兩類視覺模型：以 YOLO 為代表、經過訓練的快速偵測器；把圖像編碼器與大型語言模型結合的視覺語言模型（VLM）。此外還有一類本身不看圖像、但可以配合視覺系統使用的新模型：TypeSafe AI 的 Jev，一個專門輸出類型化決策的快速模型。不少實際系統會同時使用多於一類。
YOLO 類偵測器如何運作
最初的 YOLO 論文（Redmon 等人，2016 年）把物件偵測當作單一回歸問題處理：一個神經網絡看整張圖一次，便同時預測邊界框和類別機率。作者報告基本模型在其測試硬件上可達每秒 45 幀的即時速度，「You Only Look Once」之名正由此而來。
現時最廣為人知的實作由 Ultralytics 維護。其偵測文件列出以 COCO 資料集預訓練、由 nano 到 extra-large 多種尺寸的模型，並可匯出為 ONNX、TensorRT、CoreML、LiteRT 等格式，配合不同硬件。代價是偵測器只認得訓練過的類別。如果要它辨認「堵住走火通道的卡板」，一般需要自行收集及標註圖片，再作微調。
視覺語言模型如何運作
VLM 把圖像與文字連結起來。CLIP（OpenAI，2021 年）透過配對約 4 億組來自互聯網的圖片與說明文字來學習，因此毋須針對個別任務訓練，也能按日常語言寫成的標籤為圖片分類。後來的模型把圖像特徵輸入語言模型，可以回答問題、讀出圖中文字或描述場景，例子包括 Qwen-VL、Google 的 PaliGemma、Microsoft 的 Florence-2（以文字提示處理圖片描述、偵測及定位），以及 GPT-4V 一類的雲端模型。
介乎兩者之間的是開放詞彙偵測。Grounding DINO 和 Google 的 OWL-ViT 可按文字提示中提及的物件輸出方框，即使該類別從未被明確訓練。至於冷門類別的準確度，仍需要用自己的片段測試。
VLM 的弱點亦相當清楚：大型 VLM 每張圖的速度較慢、成本較高；雲端服務會把圖像傳送給第三方；模型亦可能出現「幻覺」，描述不存在的物件或事件，或自信地給出錯誤數目。
Jev 是甚麼，不是甚麼
Jev 由 TypeSafe AI 推出，公司創辦人 Diogo Almeida 曾任職 OpenAI。根據其發布文章，Jev 是該公司首個「System One Model」，現以搶先體驗（early access）形式開放。這類模型的名稱取自 Daniel Kahneman 所說快速、直覺的「系統一」思考；Jev 則以經濟學家 William Stanley Jevons 命名。
Jev 接收非結構化的狀態資料，例如文字或結構化的程式狀態，並輸出類型安全（type-safe）的結構化決策。可能的輸出事先以 schema 定義，每個答案都附有經校準的機率和信心分數。代價是放棄自由文字生成：Jev 不能寫句子，也不能作出解釋。它不是逐個 token 生成，而是在一次查詢中平行輸出所有答案。TypeSafe 以一種名為 Reinforcement Learning for Calibrated Decisions（RLCD）的方法訓練模型。文章亦指出，Jev 的單一選擇最多支援 255 個選項。
以下數字均為公司自稱，並非獨立測試結果：端到端回應時間為 70 至 500 毫秒，輸入每百萬 token 收費 0.042 美元，輸出免費。在公司自家的工作流程評測中，Jev 比大型語言模型最高快 193.6 倍、便宜 444.6 倍，但公司亦承認這些數字可能屬實際效益的較高水平。TypeSafe 又稱 Jev「不會產生幻覺」。準確地說，由於輸出必須符合 schema，Jev 不會傳回格式錯誤的值或出現類型錯誤，但答案本身仍然可能是錯的。
對本文而言最重要的一點：Jev 目前並非視覺模型。TypeSafe 的示範都以文字形式的結構化狀態運行，公司亦註明「尚未用於圖像」（not on images (yet)）。在視覺系統中，它適合放在偵測器之後，擔當快速決策層。
三者比較
| 考慮因素 | YOLO 類偵測器 | VLM／開放詞彙模型 | Jev（TypeSafe AI） |
|---|---|---|---|
| 輸入 | 圖像及影片幀 | 圖像加文字提示 | 文字或結構化資料；目前不處理圖像 |
| 主要輸出 | 方框、類別、信心分數 | 文字答案、描述，或按文字提示輸出方框 | 按預設 schema 輸出的類型化決策，附校準機率；不能輸出文字 |
| 速度與延遲 | 為即時處理而設；小型模型可在邊緣裝置運行 | 一般較慢；大型模型需要 GPU 或雲端 API | 公司稱每次 70 至 500 毫秒；屬雲端服務 |
| 標註資料 | 自訂類別需要已標註圖片 | 起步時幾乎毋須標註，以提示代替標籤 | 以 schema 及指示定義決策；需用自己的個案測試 |
| 開放詞彙與推理 | 類別固定，不作推理 | 強：可回答自由問題並作解釋 | 可分類、評分、分流或分支；不能以文字解釋 |
| 幻覺風險 | 會漏報或誤報，但不會編造敘述 | 可能描述不存在的事物 | 保證符合 schema，不會有類型錯誤，但答案仍可能出錯 |
| 成本與私隱 | 運行成本低，可完全留在本地 | 雲端服務按次收費；除非自行部署，圖像或會離開內部網絡 | 公司列明輸入每百萬 token 0.042 美元、輸出免費；資料會傳送至第三方 API；仍屬搶先體驗 |
何時選用哪一類
- 選用 YOLO 類偵測器：物件類別事先已知（人、車輛、安全帽、包裹），需要以毫秒計的結果，而且鏡頭或邊緣裝置必須在不連雲端的情況下運作。
- 選用 VLM：問題經常改變、需要解釋，或涉及讀取文字和理解情境，而每張圖等候數秒亦可接受。
- 考慮 Jev：偵測結果已轉為結構化資料，而你需要快速、附信心分數的類型化決策，例如分類、分流、排列優先次序或決定是否上報。Jev 仍屬搶先體驗，正式使用前應先以自己的個案測試。
混合流程：偵測、快速決策，再作解釋
三者可以按次序配合。以下為說明用例子：YOLO 模型處理工地鏡頭的每一幀，輸出「人、B 區、未偵測到安全帽、02:14」之類的偵測結果。這些結構化資料交給 Jev，並設定固定 schema，例如動作分為忽略、記錄或上報，優先次序分為低、中、高，每項附有機率。只有 Jev 決定上報或信心偏低的畫面，才會交給 VLM，並附上提示，例如「此人有否佩戴安全帽及反光背心？請回答是或否並說明原因。」結果連同截圖再交由 AI Agent 或工作流程開立工單或通知職員。這樣 VLM 的成本和資料外洩風險只限於真正需要的畫面。加入 RAG 步驟，更可讓 VLM 在回答前先查閱工地規則。
涉及重大後果的決定應保留人手覆核，記錄每個模型看到和輸出的內容，並把鏡頭納入 IoT 保安範圍。聯網裝置本身就是攻擊面，詳見我們有關 AI 蠕蟲的文章。拍攝人物亦涉及私隱規定，有需要時請諮詢法律顧問。
technine.io 在 AIoT 項目中設計鏡頭、感應器及警報流程，並透過 AI 系統開發服務處理更廣泛的模型整合。
常見問題
有了 VLM，YOLO 是否已經過時？
不是。要以高幀率偵測固定、已知的物件，小型訓練偵測器通常更快、更便宜，亦較容易在本地運行。VLM 帶來的是彈性和解釋能力，而非處理量。
VLM 可否取代自行標註資料？
製作原型時通常可以，開放詞彙模型加上提示已足以起步。但要在自己的鏡頭和物件上達到正式運作的準確度，一般仍需要已標註的測試集，很多時亦需要訓練資料。
Jev 可否直接分析鏡頭畫面？
目前不可以。TypeSafe 表示其示範以文字形式的結構化狀態運行，尚未用於圖像。在視覺系統中，Jev 只會處理偵測器輸出或其他結構化資料，而且不能撰寫解釋，需要說明的個案仍要交給 VLM 或人手處理。
如何減少視覺系統中 VLM 的幻覺？
提出範圍窄、結構清晰的問題，只傳送相關畫面或裁切部分，以偵測器結果或規則核對答案，並把不確定的個案轉交人手處理。