Xinbo Ai (2026) — Beyond Cosine Similarity (recos)
作者: Xinbo Ai（北京邮电大学，智能工程与自动化学院；axb@bupt.edu.cn）。arXiv 2602.05266，2026 年 2 月。
一句话总结
本文基于 Rearrangement Inequality（重排不等式） 推导出比经典 Cauchy–Schwarz 界更紧的点积上界，进而提出 recos（Rearrangement-inequality based Cosine Similarity）——用排序后的分量做归一化，把"完美相似"的饱和条件从线性依赖放宽到次序一致（ordinal concordance），在 11 种 embedding × 7 个 STS 基准的 77 组评估中，92.2% 优于 cos，平均提升 +0.29 分（Wilcoxon p<0.001，sign test 98.6% 胜率）。
核心贡献与 motivation
cosine similarity 自 1975 年 Salton 引入 vector space model 以来一直是 embedding 相似度的 de facto 标准；它的数学根基是 Cauchy–Schwarz 不等式 |u\cdot v|\le|u||v|。本文指出 Cauchy–Schwarz 界不是点积最紧的上界，并构造了一个三档不等式链：
|u\cdot v| \le \underbrace{|\mathbf u_{\uparrow}\cdot\mathbf v_{\updownarrow}|}_{\text{rearrangement, 最紧}} \le \underbrace{|u||v|}_{\text{Cauchy–Schwarz}} \le \underbrace{\tfrac12(|u|^2+|v|^2)}_{\text{AM-QM, 最松}}
其中 \mathbf u_{\uparrow} 是按升序排列的分量，\mathbf v_{\updownarrow} 是反序排列的分量。三档界分别诱导三种相似度：
| 度量 | 归一化分母 | 饱和条件（=1） | 物理含义 |
|---|---|---|---|
| decos | \tfrac12(\lvert u\rvert^2+\lvert v\rvert^2) | u=\pm v | 仅捕捉"几乎相同" |
| cos | \lvert u\rvert\lvert v\rvert | u=kv（线性依赖） | 角度对齐 / 线性相关 |
| recos | \lvert u_{\uparrow}\cdot v_{\updownarrow}\rvert | u,v 同序或反序 | 次序一致（单调解） |
作者用六位专家的打分向量 (e_1,\ldots,e_6) 直观演示：cos 对"线性放大"（e_5=1.225\times e_1）给满分 1.00，但对"次序保留的非线性扰动"（e_6=(1,8.5,2,4)）只给 ≈0.98，与真正不相似的 e_4 同分；recos 则把 e_6 判为 1.00、把 e_4 判为 ≈0.98。decos 更极端——它对 e_5（线性相关）和 e_4（真实不相似）都给 ≈0.98。
关键理论结果
- Theorem 1 (Chain of Inequalities)：上述三档不等式及等号成立条件（recos 等号 iff 同序或反序；cos 等号 iff 线性依赖；decos 等号 iff \pm 全等）。
- Corollary 1 (Bounds and Saturation Conditions)：三者取值都在 [-1,1]，等号条件即上表的三种饱和条件；由此 recos 的有效 capture range 最广。
- Corollary 2 (Metric Hierarchy)：|\text{decos}|\le|\text{cos}|\le|\text{recos}|，等号条件 — recos=cos 当且仅当 \exists k, P 使 v=kPu（带排列的缩放）；recos=decos 当且仅当 v=\pm Pu；cos=decos 当且仅当 |u|=|v|。
- Corollary 3 (Norm Identity)：当 |u|=|v|=1（unit-norm 标准化），decos 与 cos 恒等。这是 embedding 检索的常见前提，也是为什么在 BGE、E5 这类长度归一化 embedding 上 decos 与 cos 完全相同（论文中 cos 优于 decos 58/77 例、劣于 2 例、其余 17 例平局，平局全部来自 BGE 与 E5 这两个模型的 7 个基准） 。
- recos 区分 cos 的关键：unit-norm 下 cos 和 decos 退化成同一量，但 recos 的分母 |\mathbf u_{\uparrow}\cdot\mathbf v_{\updownarrow}| 仍依赖分量序结构，保持区分度。
实验设定
- 11 个 embedding 模型分三档：static（Word2Vec, FastText, GloVe）、contextualized（BERT, SGPT, DPR）、universal（BGE, E5, GTE, SPECTER, CLIP-ViT）。
- 7 个 STS benchmark：STS12–16、STS-B、SICK-R。
- 共 77 组设置（11×7），主指标是各模型在 7 个 benchmark 上的 Spearman 相关平均（与人工标注的 similarity score 相比）。
关键结果
- 总体：recos 71/77 优于 cos（92.2%）、1 劣于、5 平局；微平均 66.12 > cos 65.83 > decos 65.65。
- 模型越复杂，recos 增益越大：static +0.02–0.37 → contextual +0.05–0.65 → universal +0.08–0.96。
- 最大提升：CLIP-ViT +0.96（STS14/15 高峰 +1.36）、DPR +0.65、SPECTER +0.49。这些都是表征空间偏离标准文本相似假设的模型——印证了"recos 通过捕获次序信息补偿 cos 不足"的论点。
- 平局分散在若干静态/上下文化模型（Word2Vec/STS16、FastText/STS12、BERT/STS12、SGPT/STS16、GTE/SICK-R 各 1 例），并非集中在 BGE、E5；长度归一化模型上的全项平局出现在 cos vs decos 的比较中。
- 统计显著性：Wilcoxon signed-rank V=2581, p<0.001（r=0.835 大效应量）；sign test 71/72 胜率（98.6%）；linear mixed-effects \beta=0.292, t=7.201, p<0.001；所有结果经 BH 校正后仍 p<0.001；leave-one-dataset-out 交叉验证 t(6)=75.349, p<0.001。
计算复杂度
- recos 多了排序步骤，复杂度 O(d\log d)，vs cos 的 O(d)。
- d=128–1024 区间开销可忽略（高度优化的 sort 硬件实现）。
- billion-scale 检索（如大规模 RAG）会有显著 log factor 开销，论文建议未来做 partial sort / 量化近似。
局限与未来工作
- 高维非轴对齐 embedding 中的"完美次序一致"的语义解释不直观；recos 的实用性来自对近似次序一致的灵敏度。
- O(d\log d) 在 billion-scale 检索中不可忽略，需要近似。
- 未来：把 recos 集成进 contrastive learning 目标、扩展到更多任务和领域。
立场
作者不主张 wholesale 替代 cos——cos 的效率与几何直观依然有价值。论文定位是"recos 提取一个与角度信息互补的信号，并通过重排不等式给这个信号一个原理化的数学根基"。
对本 wiki 的相关性
recos 本身是 NLP/semantic similarity 度量，不直接落在 equity / futures 主线。但有两条潜在 quant 桥梁值得标记为 Open Question：
- Embedding-based factor engine：现代 alpha research 越来越多用 LLM embedding 表达公司、行业、新闻、宏观状态——这些场景下"次序一致的相似度"可能比 cos 更鲁棒，特别是对 LLM 长度偏置的缓解（与 Factor-Loading Uncertainty 提到的 ℓ2 范数膨胀问题同源）。
- RAG-based 策略合成（参考 Spatiotemporal Composability 涉及的 RAG 范式）：当从大文档库检索历史 regime / 类似 pattern 时，recos 的 capture range 优势可能放大"非线形但结构同胚"的市场状态匹配。
主要引用
Ai, X. (2026). Beyond Cosine Similarity. arXiv:2602.05266. School of Intelligent Engineering and Automation, Beijing University of Posts and Telecommunications.
对照文献（用于深挖）：
- Zhou Ethayarajh Card Jurafsky 2022 Cosine Frequency Bias (ref [14]) — 高频词 cos 估计偏低问题，recos 的核心动机。
- Steck Ekanadham Kallus 2024 Is Cosine-Similarity About Similarity (ref [10]) — 对 cos 表征意义的批判。
- Salton Wong Yang 1975 Vector Space Model (ref [8]) — cos 起源。
- Tanimoto 1958 Elementary Mathematical Theory (ref [11]) — decos 与 Tanimoto 系数的单调双射关系。
可复现资源
论文附录给出完整可复现包：Jupyter notebooks 在 https://github.com/byaxb/recos，含数据预处理、embedding 抽取、相似度计算和全部统计测试（parametric + non-parametric + mixed-effects + BH 校正 + LODO 交叉验证）。