计算机视觉（computer vision）是让软件把图像和视频变成可执行信息的技术：给叉车框出位置、统计闸口人数，或者用一句话说明装卸区正在发生什么。目前在落地讨论中最常见的有两类视觉模型：以 YOLO 为代表、经过训练的快速检测器；把图像编码器接到大语言模型上的视觉语言模型（VLM）。另外还有一类本身不处理图像、但能和视觉系统配合使用的新模型：TypeSafe AI 的 Jev，一个专门输出类型化决策的快速模型。很多实际系统会组合使用。
YOLO 类检测器的工作原理
最早的 YOLO 论文（Redmon 等，2016 年）把目标检测看成一个回归问题：一个神经网络只看整张图一次，就同时预测边界框和类别概率。作者报告基础模型在其测试硬件上达到每秒 45 帧的实时速度，“You Only Look Once”的名字就来源于此。
目前最知名的实现由 Ultralytics 维护。其检测文档提供在 COCO 数据集上预训练、从 nano 到 extra-large 多个尺寸的模型，并支持导出为 ONNX、TensorRT、CoreML、LiteRT 等格式，适配不同硬件。局限在于检测器只认识训练过的类别。想让它识别“堵住消防通道的托盘”，通常要自己采集、标注图片后再做微调。
视觉语言模型的工作原理
VLM 把图像和文字关联起来。CLIP（OpenAI，2021 年）通过匹配约 4 亿组互联网图片与配文进行学习，因此无需针对具体任务训练，就能按自然语言写的标签给图片分类。之后的模型把图像特征输入语言模型，可以回答问题、识别图中文字或描述场景，例如 Qwen-VL、Google 的 PaliGemma、Microsoft 的 Florence-2（用文本提示完成图像描述、检测和定位），以及 GPT-4V 这类云端模型。
介于两者之间的是开放词汇检测。Grounding DINO 和 Google 的 OWL-ViT 能根据文本提示里提到的物体输出检测框，即使这个类别从未专门训练过。至于小众类别的准确率，仍要用自己的视频实测。
VLM 的短板也很明显：大模型单张图片处理更慢、成本更高；云端服务意味着图像要发给第三方；模型还可能出现“幻觉”，描述并不存在的物体或事件，或者很笃定地给出错误数量。
Jev 是什么，不是什么
Jev 由 TypeSafe AI 推出，公司创始人 Diogo Almeida 曾在 OpenAI 工作。根据其发布文章，Jev 是该公司第一个“System One Model”，目前以抢先体验（early access）形式开放。这类模型的名字来自 Daniel Kahneman 提出的快速、直觉的“系统一”思维；Jev 则以经济学家 William Stanley Jevons 命名。
Jev 接收非结构化的状态数据，比如文本或结构化的程序状态，输出类型安全（type-safe）的结构化决策。可能的输出提前用 schema 定义好，每个答案都带有经过校准的概率和置信度。为此它放弃了自由文本生成：Jev 不能写句子，也不能给出解释。它不是逐个 token 生成，而是在一次查询里并行输出全部答案。TypeSafe 用一种叫 Reinforcement Learning for Calibrated Decisions（RLCD）的方法训练模型。文章还提到，Jev 的单个选择最多支持 255 个选项。
以下数字都是公司自己的说法，不是独立测试结果：端到端响应时间 70 到 500 毫秒，输入每百万 token 0.042 美元，输出免费。在公司自己的工作流评测中，Jev 比大语言模型最高快 193.6 倍、便宜 444.6 倍，公司也承认这些数字可能偏向实际收益的上限。TypeSafe 还称 Jev“不会产生幻觉”。准确理解是：输出必须符合 schema，所以 Jev 不会返回格式错误的值，也不会出现类型错误，但答案本身仍可能是错的。
对本文来说最关键的一点：Jev 目前不是视觉模型。TypeSafe 的演示都基于文本形式的结构化状态，公司也注明“还没用在图像上”（not on images (yet)）。在视觉系统里，它适合放在检测器之后，充当快速决策层。
三类模型对比
| 对比项 | YOLO 类检测器 | VLM／开放词汇模型 | Jev（TypeSafe AI） |
|---|---|---|---|
| 输入 | 图像和视频帧 | 图像加文本提示 | 文本或结构化数据；目前不处理图像 |
| 主要输出 | 检测框、类别、置信度 | 文字回答、描述，或按文本提示输出检测框 | 按预设 schema 输出的类型化决策，带校准概率；不能输出文本 |
| 速度与延迟 | 面向实时；小模型可在边缘设备运行 | 通常较慢；大模型需要 GPU 或云端 API | 公司称每次调用 70 到 500 毫秒；云端服务 |
| 标注数据 | 自定义类别需要标注图片 | 起步阶段几乎不用标注，用提示代替标签 | 用 schema 和指令定义决策；需要用自己的案例测试 |
| 开放词汇与推理 | 类别固定，不做推理 | 强：能回答开放问题并给出解释 | 能分类、打分、分流或分支；不能用文字解释 |
| 幻觉风险 | 会漏检、误检，但不会编造叙述 | 可能描述不存在的东西 | 保证符合 schema，没有类型错误，但答案仍可能出错 |
| 成本与隐私 | 运行成本低，可完全本地部署 | 云端按次计费；除非私有化部署，图像可能离开内网 | 公司标价输入每百万 token 0.042 美元、输出免费；数据要发送到第三方 API；仍处于抢先体验 |
怎么选
- 选 YOLO 类检测器：要识别的物体事先明确（人员、车辆、安全帽、包裹），需要毫秒级响应，且摄像头或边缘设备必须脱离云端运行。
- 选 VLM：问题经常变化、需要解释，或者涉及识别文字、理解上下文，并且每张图等几秒可以接受。
- 考虑 Jev：检测结果已经转成结构化数据，需要快速、带置信度的类型化决策，比如分类、分流、排优先级或判断是否上报。Jev 还在抢先体验阶段，正式使用前应先用自己的案例测试。
混合方案：检测、快速决策，再做解释
三者可以串联使用。下面是一个示例场景：YOLO 模型处理工地摄像头的每一帧，输出“人员、B 区、未检测到安全帽、02:14”这样的检测结果。这些结构化数据交给 Jev，并设定固定 schema，比如动作分为忽略、记录、上报，优先级分为低、中、高，每项都带概率。只有 Jev 判定要上报或置信度偏低的画面，才交给 VLM，并附上提示，例如“此人是否佩戴安全帽和反光背心？请回答是或否并说明理由。”结果和截图随后交给 AI Agent 或工作流，自动创建工单或通知现场人员。这样一来，VLM 的费用和数据暴露范围只限于真正需要的画面。再加一步 RAG，还能让 VLM 回答前先查阅现场规章。
后果较重的决策应保留人工复核，记录每个模型看到了什么、输出了什么，并把摄像头纳入 IoT 安全管理范围。联网设备本身就是攻击面，可参考我们关于 AI 蠕虫的文章。拍摄人员还涉及隐私合规，必要时请咨询法律顾问。
technine.io 在 AIoT 项目中设计摄像头、传感器和告警流程，并通过 AI 系统开发服务承接更广泛的模型集成。
常见问题
有了 VLM，YOLO 是不是过时了？
没有。对固定、已知的物体做高帧率检测，小型训练检测器通常更快、更省钱，也更容易本地运行。VLM 带来的是灵活性和解释能力，而不是吞吐量。
VLM 能不能代替自己标注数据？
做原型时通常可以，开放词汇模型加提示就能起步。但要在自己的摄像头和物体上达到生产级准确率，一般仍需要标注好的测试集，很多时候也需要训练数据。
Jev 能直接分析摄像头画面吗？
目前不能。TypeSafe 表示其演示基于文本形式的结构化状态，还没有用在图像上。在视觉系统里，Jev 只处理检测器输出或其他结构化数据，而且不能写解释，需要说明的情况仍要交给 VLM 或人工处理。
怎样减少视觉系统里 VLM 的幻觉？
问题要窄、结构要清晰，只发送相关画面或裁剪区域，用检测器结果或规则交叉核对答案，不确定的情况转人工处理。