图像相似性搜索：工作原理及重要性

一个市场卖家拍摄了一盏灯，以寻找其来源。一名记者追踪一张病毒式照片的最早出现。一位品牌经理扫描列表，查找未经授权的产品图片副本。每个人都在问同一个问题：这张图片或类似图片还在哪里出现？

文本搜索处理文字，因为文字带有标签。图片则很少有。一张照片可以被裁剪、过滤、压缩、截图或上传，而没有有用的元数据，但仍然显示相同的物体、人物或场景。图像相似性搜索通过比较视觉信号，而不是仅仅依赖标题和关键词，来弥补这一差距。

这项技术现在支持产品发现、图库照片研究、推荐系统、内容审核、版权监控、新闻业和身份验证。但它并不能以相同的置信度回答所有问题。“相似”可能意味着完全重复、视觉相关的产品、相同的场景，或者一张与另一张脸相似的脸。这些是不同的任务，具有不同的失败模式。

下面的实用指南将从图像相似性搜索的历史和机制开始，然后区分反向查找、重复检测和人脸识别。它还涵盖了开发者控制、死胡同、结果质量，以及当图片中出现人物时最关键的隐私限制。

为什么图像相似性搜索仍然重要

图像搜索始于1990年代末期的基于文本的方法，并在1990年至2000年期间发展为基于内容的图像检索，通常称为CBIR。一项被广泛引用的技术调查将2000年确定为一个转折点，而 Google 于2001年推出的商业图像搜索提供了对2.5亿张网络图片的访问。这些里程碑表明，图像相似性搜索需要的不仅仅是一个巧妙的界面。它依赖于特征提取、索引和网络规模的部署（图像搜索的技术历史）。

用户体验在2009年变得更加熟悉，当时 Google Images 推出了“相似图片”。在2011年， Google 添加了“按图片搜索”功能，允许用户上传图片或粘贴其URL。 Google 后来的总结将这些工作流程描述为有助于查找原始来源、追踪图片在网络上的出现位置以及发现视觉上相似的内容（Google 图片的历史）。

用户名是呈现。ID是基础设施。

文件名、标题、用户名或页面标题可以帮助搜索引擎组织图片，但这些字段并非可靠的身份信号。卖家会更改产品名称，社交账号会更改句柄，复制的图片也常常没有原始描述。像素可能仍然是不同页面之间最强的联系。

这使得图像相似性搜索在几种实际情况中非常有用：

• 产品发现： 当产品名称未知时，购物者可以使用灯具、椅子、连衣裙或电器照片来查找视觉相关的商品列表。
• 来源追溯： 记者可以将病毒图片与已索引页面进行比较，查找更早的出现或不同的分辨率。
• 内容监控： 摄影师或品牌团队可以搜索复制品、修改版本或重复使用原始图片的列表。
• 验证： 用户可以调查个人资料照片是否出现在其他地方，同时记住，匹配可以显示重复使用，但不能证明操作该账户的人是谁。
• 审核： 即使在用户更改文件名、标题或周围文本时，平台也能识别视觉相关的上传内容。

上传背后的问题与上传本身同样重要。你可能正在寻找原始来源、精确副本、相似物体、相同场景或人物。如果你不首先明确目标，一个技术上有效的结果仍然可能感觉不对。

图像相似性搜索的实际工作原理

将图片视为需要转换为可搜索形式的指纹。一个系统从原始像素开始，提取视觉模式，创建紧凑的表示，将该表示与已索引图片集合进行比较，并对最接近的候选进行排名。

较早的系统依赖于手工设计的特征。SIFT，于1999年提出，帮助解决了局部块匹配问题，并为现代相似性方法奠定了基础。颜色直方图、边缘模式和其他工程描述符也起到了类似的作用。它们为系统提供了关于形状、纹理、颜色和局部区域的可测量线索，而不是将整个图像视为一个未分化的像素块（图像搜索发展调查）。

现代系统通常使用神经网络生成嵌入。嵌入是图片的数值表示，其中相关的视觉属性被编码成一个向量。基于卷积神经网络、视觉转换器或图像-文本训练的模型可以将具有相关内容的图片在高维空间中放置得更近。“相似”的具体表示和距离函数决定了其是强调构图、物体身份、纹理、语义，还是某种组合。

检索阶段通常依赖于最近邻搜索。精确方法会将查询与每个存储的向量进行比较，但这随着集合的增长变得昂贵。近似最近邻索引将搜索范围缩小到有希望的区域，以牺牲少量理论精确性来换取实际速度。大规模系统通常在百万规模的集合上评估此过程。例如，NeurIPS'21图像相似性挑战要求系统确定查询是否是100万张图片参考集中图片的修改副本，包括自动化编辑、手工更改和基于机器学习的操作（图像相似性挑战基准）。

一个有用的生产工作流程清晰地划分了各个阶段：

1. 接收查询： 服务接受上传、URL或选定的图像区域。
2. 准备图像： 它可能调整大小、标准化、裁剪或检测重要区域。
3. 提取特征： 模型或描述符将视觉内容转换为可搜索的信号。
4. 构建或读取索引： 服务使用适当的索引存储或搜索表示。
5. 检索候选： 最近邻逻辑返回可能的匹配项。
6. 重新排序和过滤： 系统可能应用阈值、元数据规则、区域检查或特定于人脸的逻辑。

对于构建此管道的团队来说，生产管道的特征提取实用概述可以帮助将模型输出与数据收集和部署决策联系起来。开发者还需要选择存储、刷新行为、索引策略和评估数据，而不仅仅是嵌入模型。

索引可以实质性地影响操作。在一项使用1000万个深度描述符向量的基准测试中，HANNIS报告称，在搜索深度达到100时，其召回率、精确度和F1得分均强于基于HNSW的库，同时将索引加载到内存中速度最高可达18倍（HANNIS基准）。这个结果并不意味着HANNIS将在所有工作负载中胜出。它确实表明了索引构建和加载如何与模型质量一起影响数据新鲜度和延迟。

有关更广泛工作流程的初学者友好解释，请参阅这篇反向图像搜索工作原理指南。核心思想很简单：模型决定哪些视觉信息在压缩成表示后得以保留，而索引决定系统能多有效地找到附近的表示。

反向图像查找、重复检测和人脸识别

上传产品照片，从合影中裁剪一张脸，或提交在商品列表中找到的图片。结果取决于系统旨在回答的问题。反向图像查找在网络规模的索引中搜索相同图片或修改版本。重复检测通常搜索受控集合，例如市场或媒体档案。人脸识别则将人脸隔离、对齐并与允许的图库进行比较。

任务	主要目标	编辑容忍度	示例工具
反向图像查找	查找图片或相关版本在网络上的出现位置	通常容忍部分裁剪、调整大小和编辑，但覆盖范围取决于索引	Google Lens, Bing Visual Search, Yandex Images
重复检测	识别已知集合内重复或近似重复的文件	旨在容忍常见的修改，如裁剪、颜色变化和水印	感知哈希管道、图片管理系统, TinEye
人脸识别	比较检测和对齐的人脸以确定身份或人物级别相似性	严重依赖于人脸可见性、姿势、光照、图片质量和政策	Azure Face, AWS Rekognition, Tencent Cloud

“相似”一词隐藏了多种不同的结果。反向查找可能会找到相同的产品照片，但遗漏同一产品的另一张照片。重复检测器可能会将一个列表图片的裁剪或带水印版本进行分组，但对其集合之外的页面一无所知。人脸系统可能会比较可见的人脸而忽略周围场景，因此它无法可靠地找到原始产品页面。

根据任务解释每个结果：

• 精确匹配支持图片重用： 文件或密切相关的版本出现在其他地方。
• 视觉产品匹配支持发现： 结果可能共享物体类别或风格，但并非来自同一制造商。
• 场景匹配支持上下文研究： 它可能指向某个地点或事件，但未识别摄影师。
• 人脸匹配支持候选比较： 它不建立法律身份、账户所有权或同意。
• 无匹配证明力小： 来源可能未被索引、受限、新生成或更改超出系统容忍度。

Google 早期图片搜索功能帮助将“相似图片”和“按图片搜索”确立为图片原生的检索工作流程（Google 图片历史）。人脸查询引入了一个独立的隐私边界。Lens 在检测到人物时可能会限制结果，用户无法直接覆盖此限制，如 Google 支持讨论中所述。此限制是故意的，不一定证明该图片没有相关结果。

这些类别可能重叠。名人类似物查询可能结合了人脸比较、网络检索和一般视觉相似性。首先选择任务仍然可以避免一个基本错误：要求面向产品的查找服务回答个人身份问题。

在创建或使用人脸搜索工作流程之前，请查阅这篇人脸识别技术监管概述。围绕生物识别系统的规则可能会影响哪些图库、目的和结果是可接受的。

高级技术以及开发者看到而你没有看到的东西

消费者工具隐藏了塑造结果页面的大部分决策。一个生产系统可能会结合感知哈希用于近似重复项，学习到的嵌入用于语义相似性，区域检测用于物体或人脸，以及近似最近邻索引用于快速候选检索。

服务的选择会改变答案。Google Cloud Vision 和 Bing Visual Search 面向视觉和网络搜索工作流程。AWS Rekognition 暴露了面向人脸收集和审核的操作。TinEye 与查找精确和修改后的副本相关联。专门的人脸API可能会搜索受控图库而非公共网络。

服务	主要算法或控制界面	最佳适用场景
Azure Face Find Similar	人脸嵌入、候选人脸ID、可选择的匹配模式	将检测到的人脸与定义的人脸集合进行比较
AWS Rekognition SearchFacesByImage	带最小置信度过滤器的人脸搜索	在适当的置信度阈值下搜索存储的人脸集合
Tencent Cloud SearchFaces	人脸检测限制、最小人脸尺寸、阈值和人物元数据控制	跨定义组的可配置人脸搜索
Google Lens	对检测到的人物具有隐私限制的消费者视觉检索	通用视觉查找、产品、场景和来源发现
TinEye	重复和修改副本检索	跟踪图片重用和替代版本

Azure 的 Find Similar 需要通过检测创建的 faceId。该标识符在24小时后过期，候选列表限于1,000个人脸ID，服务最多可返回1,000个相似人脸，默认返回数量为20个。其 mode 可以区分 matchPerson 和 matchFace（Azure Find Similar API）。

AWS Rekognition 默认应用80%的最小置信度阈值，调用者可以设置不同的下限，例如70%，以改变哪些匹配项符合条件（AWS SearchFacesByImage API）。严格的下限可以抑制边缘候选。宽松的下限会增加噪音，因此正确的设置取决于错过候选或审查假阳性哪一个成本更高。

腾讯的控制揭示了另一层实用细节。MaxFaceNum 默认为1，最多可达10。MinFaceSize 默认为34像素，而 FaceMatchThreshold 决定是否返回结果。搜索最多可覆盖100个组，并且 MaxPersonNum 最多可达100。开发者还决定是否通过 NeedPersonInfo 返回人物详细信息（腾讯人脸搜索文档）。

Azure 允许开发者在检测和相关人脸列表操作期间指定 recognitionModel，而 returnRecognitionModel 默认为 false（Azure 识别模型指南）。这些设置解释了为什么两个系统对同一张图片的排名可能不同。嵌入模型、候选范围、阈值、索引和元数据过滤器共同塑造了可见结果。

想要更全面了解模型辅助图片解读的开发者还可以查阅这篇AI图片分析指南。对于大多数读者而言，实用教训就足够了：“无匹配”可能意味着“没有候选通过配置的规则”，而不是“不存在相关图片”。

为什么你的搜索比预期更常碰壁

你上传了一张清晰的产品照片，期望找到其原始列表，但却收到了不相关的物品。这个结果通常反映了你提出的问题与搜索系统可用的证据之间的不匹配。反向查找无法找到从未被索引的页面，而相似性模型无法恢复编辑删除的细节。

大规模匹配研究已经测试了修改后的副本，包括机器生成的篡改（图像相似性挑战研究）。当编辑保留了主题但改变了其可见信号时，像素比较就会遇到困难。裁剪可能会移除特征区域。滤镜会改变颜色模式。截图会添加边框、界面元素和压缩伪影。

数据缺失比大多数指南承认的更普遍

许多死胡同是由于普通的数据空白而非算法故障造成的：

• 来源从未被索引： 私人页面、被阻止的爬虫、已删除的帖子和新上传的内容可能不在可搜索的集合中。
• 查询被修改过多： 大量裁剪、滤镜、叠加、拼接全景图和表情包会移除连接不同版本的特征。
• 压缩损坏了信号： 重复调整大小和JPEG重新压缩会模糊局部细节和边缘。
• 错误区域占主导： 人脸、标志或物体可能只占据繁忙图片中的一小块区域。
• 主题模糊： 相似的椅子、建筑物或服装可能共享视觉特征，但并非同一物品。
• 图片是新生成的： 合成图片可能没有更早的网络来源可检索。
• 服务搜索的语料库不同： 提供商涵盖不同的页面、集合和账户级数据。
• 人脸无法使用： 口罩、转头、光线不佳、遮挡和低分辨率会阻碍可靠对齐。
• 阈值过于严格： API可能会在返回结果之前拒绝一个看似合理的候选。
• 任务定义不清： 针对重复检测构建的系统可能无法在不同场景中识别同一个人。

这解释了为什么“裁剪人脸并再次搜索”是不可靠的建议。裁剪会移除上下文，公共平台可能通过设计限制与人物相关的结果。 Google 的支持指南指出，Lens 在检测到人物时可能会限制结果，这反映了一个隐私边界，而非完整人脸搜索的承诺。

使用受控的重试，而不是反复提交同一个文件：

1. 从可用的最高质量原始图片开始。
2. 移除应用程序边框和界面叠加。
3. 测试完整图片和相关对象的裁剪部分。
4. 将产品、标志或地标与人脸分开搜索。
5. 比较多个提供商。
6. 仅在可以审查误报时才降低API置信度下限。
7. 检查源页面是否公开且可抓取。
8. 将缺失结果视为不确定。

死胡同可以识别出失败的假设。它并不能证明图片没有历史。

如何判断结果是否真的良好

结果页面可能看起来很有说服力，但仍然回答了错误的问题。最强有力的评估是区分精确率、召回率和排名质量。

精确率衡量返回的匹配项是否相关。如果产品查询从不同角度返回同一盏灯，则精确率很高。如果它返回了一系列颜色相似但设计不同的灯，则系统可能匹配的是风格而非身份。

召回率衡量系统遗漏了什么。一个服务可以返回非常有说服力的结果，同时却忽略了另一个网站上的重要副本。当图片不在其索引中、查询被大量编辑或服务候选规则将其过滤掉时，就会发生这种情况。

排名质量衡量有用的结果是否提前出现。一个匹配项可能埋藏在许多吸引人但不相关的图片之下，技术上可能存在，但其排名仍然未能满足用户的实际需求。

相似性并非一成不变

最近的研究认为，人们通过多种依赖上下文的线索来判断视觉相似性，而不是一个通用的嵌入距离（关于上下文相关视觉相似性的研究）。询问“这是同一个人吗？”的用户需要与询问“这张图片显示的是同一场景吗？”的用户不同的排名。因此，相同的嵌入可能为一项任务产生一个看似合理的排名，而为另一项任务产生一个误导性的排名。

使用可重复的审查流程：

• 定义目标： 写下你需要的是精确副本、相同物体、相同场景还是人物比较。
• 检查首批匹配项： 寻找共享的构图、独特的细节和有意义的对应关系。
• 将身份与外貌区分开来： 相似的服装、姿势或光线并不能证明两个人是同一个人。
• 超越第一个结果： 有用的匹配项可能排在视觉上吸引人但无关的干扰项之下。
• 比较提供商： Google Lens, Bing, TinEye 和其他服务索引网络的各个部分，并使用不同的排名逻辑。
• 记录遗漏项： 保存一个服务未能返回的明显相关图片。
• 检查来源上下文： 页面上的匹配图片并不自动意味着该页面是原始来源。
• 仔细审查置信度： 分数仅在生成它的模型和配置中才有意义。

不要将供应商的标题准确率数据视为你上传的保证。基准测试结果取决于数据集、转换、标签和成功定义。生产团队应根据自己的用例构建一个经过验证的样本，并检查返回的匹配项和已知的遗漏项。

实用规则： 一个好的结果不仅仅是外观接近。它回答了你实际提出的问题。

对于工程团队而言，HANNIS基准进一步强调了评估索引以及表示的必要性。在1000万向量的深度描述符数据上，其报告的相对于HNSW基库的改进包括召回率、精确率、F1得分和索引加载行为，测试搜索深度达到100（HANNIS研究）。这些发现是特定于工作负载的，但它们阐明了一个更广泛的观点：排名质量取决于整个检索堆栈。

您应该了解的法律和隐私考量

公开图片并非没有责任。在线查看图片可能是合法的，但下载、重新发布、建立档案或将其与真实人物联系起来，则会引发关于版权、同意和隐私的独立问题。

从对你的目标最不侵扰的解释开始。搜索产品、地标、截图或艺术品通常涉及其来源、所有权、再利用权或视觉上下文。搜索人脸可能涉及生物识别信息、身份推断和敏感个人数据，尤其当图片与账户或现实世界细节相关联时。

社交媒体深度伪造检测研究使用了包含真实和AI生成或篡改图片的30万张图片数据集。研究人员报告称，许多被篡改的图片在目视检查时可能看起来很真实（ACM关于篡改图片检测的来源）。因此，反向查找可以揭示重复使用或相关出现，但它本身无法确定图片是原始的、未经编辑的、人工创建的或真实的。

公开访问不免除责任

在上传、搜索或分享之前，请进行以下检查：

• 检查所有权： 公开图片可能仍受版权保护。
• 限制再发布： 找到来源并不意味着获得重新发布文件的许可。
• 避免身份跳跃： 人脸匹配是审查的线索，而非身份证明。
• 寻求同意： 未经正当理由和适当许可，请勿将他人的脸部图片上传到第三方服务。
• 最小化数据： 裁剪掉不相关的人物、文件、地址和私人环境。
• 阅读保留条款： 检查服务如何处理上传、结果和衍生的人脸数据。
• 尊重平台规则： 公开可查看的页面仍可能禁止抓取、建立档案或自动化收集。
• 使用相称方法： 如果你的目标是物体或照片，请从非人脸来源查找开始。
• 保护弱势人群： 对未成年人、私人个体、骚扰目标和面临安全风险的人群要格外小心。
• 记录不确定性： 记录搜索确定的内容和仍未验证的内容。

Google Lens 对检测到的人物施加的限制表明，隐私控制可以是故意的，而非技术薄弱的证据（Google 支持讨论）。服务可能会抑制结果，因为不受限制的人脸发现可能会使人们面临不必要的识别或追踪。此限制标志着隐私边界，不一定是算法故障。

在使用基于人脸的工具之前，请问自己：

1. 我有一个正当目的吗？
2. 我真的需要人脸分析吗？
3. 我能否改为搜索物体、场景或来源？
4. 服务是否解释了数据保留和删除政策？
5. 结果是否会暴露或伤害私人？
6. 我是否会通过独立证据验证发现？
7. 我是否遵守适用的法律和平台条款？

要获得一个实用框架，请查阅这些设计即隐私原则。PeopleFinder 提供相似图片、可能来源和在线出现的照片搜索，以及分析面部特征并查找相关个人资料或来源的人脸搜索功能。使用此类工具时，请明确目的，获得适当同意，并意识到自动化相似性并非身份证明。

如果你需要调查照片在哪里出现，比较可疑的重复项，或者评估个人资料图片而不将自动匹配视为证据，请访问PeopleFinder并选择最不具侵扰性且符合你目标的搜索方式。将结果视为研究线索，独立验证重要发现，并将同意和隐私置于流程的核心。