recoscosine-similarityembedding-similaritysemantic-textual-similaritycauchy-schwarzrearrangement-inequalityordinal-concordancebeijing-university-of-posts-and-telecommunications

Xinbo Ai (2026) — Beyond Cosine Similarity

作者: Xinbo Ai（艾新博），北京邮电大学智能工程与自动化学院，axb@bupt.edu.cn。

发表: arXiv:2602.05266，2026 年 2 月。6 页正文 + 详细附录（proofs、模型配置、统计测试、稳健性分析）。

代码: https://github.com/byaxb/recos（完整 Jupyter notebooks，含数据预处理、embedding 抽取、recos/cos/decos 实现、参数 + 非参 + mixed-effects 统计检验、BH 校正、LODO 交叉验证）。

一句话

提出 recos（Rearrangement-inequality based Cosine Similarity），用重排不等式推出的最紧点积上界作为归一化分母，将"完美相似"从线性依赖扩展到次序一致；在 11 个 embedding × 7 个 STS benchmark 的 77 组设置中 92.2% 优于 cos。

与本 wiki 的关系

本文是 methodology, cross-ref from quant — 主题在 NLP/embedding similarity 主线，但通过 Recos (Rearrangement-Cosine Similarity) 和 Ordinal Concordance (次序一致性) 两个概念页挂入 wiki，并保留两条 quant 借鉴的 Open Question（embedding-based factor engine / RAG-based 策略合成）。

关键理论结果

  • Theorem 1 (Chain of Inequalities): |u\cdot v| \le |u_{\uparrow}\cdot v_{\updownarrow}| \le |u||v| \le \tfrac12(|u|^2+|v|^2)，等号条件分述。
  • Corollary 1: 三种度量饱和条件层次 — decos ⊂ cos ⊂ recos。
  • Corollary 2 (Metric Hierarchy): recos=cos iff \exists k, P 使 v=kPu；cos=decos iff |u|=|v|。
  • Corollary 3 (Norm Identity): unit-norm 下 decos=cos（这是 BGE/E5 上 5 组平局的理论原因）。

实验范围

  • 11 模型: Word2Vec, FastText, GloVe, BERT, SGPT, DPR, BGE, E5, GTE, SPECTER, CLIP-ViT。
  • 7 benchmark: STS12, STS13, STS14, STS15, STS16, STS-B, SICK-R。
  • 77 设置 (11×7)。主指标: Spearman 相关系数（在 embedding 相似度 vs 人工标注 similarity 之间）。

主要经验结论

  • recos 71/77 优于 cos；微平均 66.12 vs 65.83（+0.29）。
  • 模型越复杂，recos 增益越大（static +0.02–0.37 → universal +0.08–0.96）。
  • CLIP-ViT 最大提升 +0.96（STS14/15 高峰 +1.36）；DPR +0.65；SPECTER +0.49。
  • 统计显著性: Wilcoxon V=2581, p<0.001（r=0.835）；sign test 98.6%；linear mixed-effects \beta=0.292, t=7.201, p<0.001；BH 校正后仍 p<0.001；LODO 交叉验证 t(6)=75.349, p<0.001。

局限

  1. 高维非轴对齐 embedding 中"完美次序一致"的语义解释不直观——recos 的实用性主要源于对近似次序一致的灵敏度。
  2. O(d\log d) 复杂度在 billion-scale 检索中不可忽略，需 partial sort / 量化近似。
  3. 未来工作：集成进 contrastive learning 目标；扩展到更多任务和领域。

立场

作者不主张 wholesale 替代 cos——cos 的效率与几何直观依然有价值。recos 是 capture range 更广的互补信号，通过重排不等式获得了原理化的数学根基。

引用（主要参考文献与延伸阅读）

  • Salton, Wong & Yang (1975) — cos 起源（[vector space model]）。
  • Tanimoto (1958) — Tanimoto coefficient（与 decos 单调双射）。
  • Zhou et al. (2022) — 高频词 cos 估计偏低问题（recos 主要 motivation）。
  • Steck, Ekanadham & Kallus (2024) — 对 cos 表征意义的批判。
  • Wannasuphoprasit, Zhou & Bollegala (2023) — L2 范数折扣（一种 cos 适应性方案）。
  • Sidorov et al. (2014) — soft cosine / soft similarity。
  • Mikolov et al. (2013), Pennington et al. (2014) — Word2Vec, GloVe。
  • Radford et al. (2021) — CLIP。
  • Brown et al. (2020) — GPT-3 / few-shot。
  • Lewis et al. (2020) — RAG。