conceptllmnlpweak-supervisionschemasemantic-normalization

Analyst Forecast Schema Engineering (分析师判断 schema 工程化)

定义

把卖方分析师自然语言观点(报告 / 邮件 / 电话会问答 / 管理层指引文本)拆解为固定 schema 的事件特征表,使其可进入 feature store 与时序回测。

核心三步:

  1. schema 治理:每个字段用受控词表(KPI 六分类、surprise 5 档、EPS 影响 5 档、主线强化/削弱)
  2. 语义归一化:LLM 做 KPI 分类 + 方向归一化(不做股价预测)
  3. 时间戳化 + 事件时间对齐:每条信号带 point-in-time 发布时间戳,避免 look-ahead bias

LLM 在其中的真正角色

LLM 不做收益预测,做语义归一化 — 这才是机器学习研究员最值得借鉴的工程哲学。

  • 不做:预测下季 EPS、生成交易信号
  • 做:把 free-text KPI 分类到 6 类受控标签(收入/需求/指引/盈利能力/财务成本或风险或资本配置/无法分类);对每个标签输出方向变量(利好/反向利好/需人工复核)

这等价于 weak supervision(弱监督):规则 + 大模型负责大规模打标,模糊样本不强行翻转,而是保留分析师原始方向或进入 review queue。

条件分类器的形式化

LLM 分类层可以写成一个条件分类器:

\hat c = \arg\max_{c \in \mathcal C} \Pr(c \mid x,\; \text{industry\_context})

方向归一化输出方向变量:

\hat d \in \{+1, -1, \text{review}\}

  • +1: 上行是利好 (revenue、margin、order、cash flow、liquidity、capital ratio、dividend、buyback)
  • -1: 上行要反向理解 (cost、credit risk、leverage、inventory days、tax rate、combined ratio、churn、CAC)
  • review: 语义模糊需人工

关键工程细节

  1. entity recognition ≠ semantic role labeling ≠ sentiment direction — 三者应分开处理,不指望一个情感分数解决所有问题
  2. growth rate 是修饰词不是类别 — "revenue growth" 归入收入类而非单独类
  3. cost reduction 字面是"下降",方向归一为利好 — 这是 NLP 特征工程常被忽略的反直觉点
  4. 每条标签必须能回溯到原文 — 弱监督 + 可审计

漂移监控

LLM 分类层应被视为会漂移的模型:

  • 每月抽样人工复核 → Cohen's kappa
  • 监控标签分布迁移 / 方向翻转率
  • 下游策略对分类错误的敏感性:随机把 5% 的 KPI 标签打乱,观察 Sharpe 衰减
  • 若策略高度依赖极少数标签,分类治理须更严格

与 wiki 中其他"LLM 做语义归一化"的联系

本 wiki 已收的 MLE 风险模型增强论文(Tzikas 等 2026) 同样把"用 LLM 做后置可解释"(对新学到的 X 矩阵结合主题相关性 / LLM 总结) 作为工程友好的补充路径 — 两篇研究共享"AI 做语义归一化而非预测"的工程哲学。

与既有 wiki 概念的关系