NetEcho 精读笔记里有一条重要提醒:论文所说的“恢复成功”,不等于把每个字都原样还原。v1 的评测把提示与回答的恢复结果作平均,以 50% 的相似度门槛统计成功比例,并报告约 95% 的平均成功率。这些数字只有放回这个判定规则里才有意义。
同一评测还使用归一化编辑距离、ROUGE-1 F1 和余弦相似度,分别观察不同层面的文本接近程度。主题相同、措辞相似、关键实体一致、全文逐字一致,是不同强度的判断。一个分数较高,不能自动替代其他证据。
举一个独立的指标反例:把“用户同意”和“用户不同意”放进长段相似文字中,两段整体可能仍然很接近,但那个否定词已经改变了意思。因此评估隐私泄漏时,除了平均相似度,还应检查关键实体、否定关系、长文本尾部和失败样本。
阅读这类结果,还要把观察位置、能否查询目标服务、离线样本来源和任务分布一起记下。NetEcho 的风险提示值得重视,但不能只凭一个汇总成功率,推导出任何网络中的任意对话都能被同样恢复。