Zhou, Ethayarajh, Card & Jurafsky (2022) — Problems with Cosine as a Measure of Embedding Similarity for High Frequency Words

占位 entity — recos 论文 ref [14] 引用的核心 motivation 文献。

完整 reference: Zhou, K., Ethayarajh, K., Card, D., & Jurafsky, D. (2022). Problems with cosine as a measure of embedding similarity for high frequency words. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 401–423, Dublin, Ireland.

核心贡献: 系统性证明 cosine similarity 系统性低估高频词之间的相似度, 根因是 contextualized embedding 中高频词的 ℓ2 范数系统性偏大 (cos 的分母是范数积)。论文的"frequency bias"后来被 Steck et al. (2024) 和 Wannasuphoprasit et al. (2023) 进一步分析。

对 recos 的角色: recos 用排序分量做归一化 (分母 |\mathbf u_{\uparrow}\cdot\mathbf v_{\updownarrow}| 不依赖范数), 天然 partial remedy 高频词 ℓ2 范数膨胀导致的低估。这是 Xinbo Ai 2026 Beyond Cosine Similarity 引言中"为什么要超越 cos"的关键 motivation 之一。