Deep Fingerprinting 笔记反复强调封闭世界与开放世界的区别。前者把测试对象限制在预先选定的网站集合里;后者还包含大量集合外访问。分类器在已知类别之间分得清,不代表面对真实背景流量时发出的每次告警都可靠。
下面是独立构造的算例,不是论文实测结果:一万次访问中,只有一百次属于要识别的目标。模型把一切都判成“非目标”,准确率已经是 99%,却没有找出任何一次目标访问。
再假设模型找到其中九十次,召回率是 90%;它又把其余九千九百次背景中的 1% 判错,就会产生九十九次误报。总共一百八十九次告警里,只有九十次是真的,精确率约为 90÷189=47.6%。这说明低误报率仍需要结合目标本来有多罕见来理解。
因此读论文时,应把正负样本比例、阈值、精确率—召回率曲线和数据采集条件连在一起看。还要问测试流量是否预先按一次访问切好、浏览器版本是否固定、是否包含多标签页与其他后台流量。把这些条件保留下来,比孤立记住一个高准确率更有助于判断能否迁移到自己的场景。