指标测量约 11 分钟读完GeoMind 研究组
提及、引用、参考位:把“AI 提到了我”拆成三件事
一个笼统的“被提到次数”无法指导决策。把正文提及、外链引用、参考来源区出现分开计数,再固定采样条件,才能得到别人也能复验的结论。
本文要点
- “被提到”至少包含三种不同强度的信号,必须分开统计。
- 采样条件不固定,任何跨期对比都不成立。
- 一条可复验的记录,至少需要七个字段。
一、先分清三种信号
同一个回答里出现品牌名,含义可能完全不同:
| 信号 | 判定标准 | 说明 |
|---|---|---|
| 正文提及 | 回答正文出现品牌名 | 只代表被说起,不代表团建 |
| 外链引用 | 回答带有指向品牌的链接 | 代表引擎把品牌内容当作信源 |
| 参考位出现 | 品牌出现在“参考来源”区域 | 代表被显式列为资料来源 |
一条回答可以同时满足三项,但要分别计数。 把它们合并成“被提到 1 次”,会丢失最重要的信息。
二、三种组合,三种诊断
拆开计数之后,组合本身就能说明问题:
- 提及高、引用低:AI 知道这个品牌,但不愿意把它作为依据。
- 引用高、参考位低:内容被用了,但品牌没有被显式署名。
- 参考位高、正文提及低:需要特别注意,可能意味着品牌只作为资料出现,并未进入结论。
只看单一总数,这三种情况会被抹平成同一个数字。
三、采样条件必须固定
生成式回答具有随机性,同一问题在不同条件下会得到不同结果。可复验的监测至少固定三项:
- 时间:明确查询窗口,并记录每条查询的执行时间;
- 地区:固定出口 IP 所在城市,避免地域差异干扰;
- 登录状态:全程未登录,或全程使用同一个测试账号。
条件一旦变动,前后数据就不能直接比较。
四、每条记录留七个字段
| 字段 | 作用 |
|---|---|
| query | 原始问题文本 |
| timestamp | 执行时间(精确到秒) |
| region | 查询地区 |
| login_state | 登录状态 |
| engine | 引擎名称 |
| model_version | 模型版本(若公开) |
| raw_response | 完整原始回答与引用来源 |
缺少原始回答的记录,无法复验,也就无法作为决策依据。
五、一个可执行的四步流程
- 定问题集:双方确认查询清单,之后固定不变;
- 定条件:时间、地区、登录状态书面确认;
- 执行采集:按条件逐条查询,完整保存回答;
- 标注计数:按三类信号分别计数,附原始截图。
结语
监测的目的不是得出一个数字,而是得出一个别人也能复现的数字。
口径统一、留痕完整,跨团队、跨服务商的对比才有意义。