Skill-Model-Performance-Monitor

1. 解决的问题

核心思想：数据漂移检测（Skill-Data-Drift-Detection）解决的是"输入变了吗"，模型性能监控解决的是"输出还准吗"。两者共同构成生产 ML 模型的完整健康体系。性能监控通过滑动窗口持续评估 AUC/MAPE 等指标，配合 Shadow Mode（新模型静默跑）和 Champion-Challenger（A/B 对比）两种灰度部署模式，在不影响生产的前提下验证新版本并安全切换。

2. 核心算法逻辑

核心思想：数据漂移检测（[[SkillDataDriftDetection]]）解决的是"输入变了吗"，模型性能监控解决的是"输出还准吗"。两者共同构成生产 ML 模型的完整健康体系。性能监控通过滑动窗口持续评估 AUC/MAPE 等指标，配合 Shadow Mode（新模型静默跑）和 ChampionChallenger（A/B 对比）两种灰度部署模式，在不影响生产的前提下验证新版本并安全切换。

3. 业务应用场景

场景 A：需求预测模型版本升级的 Shadow Mode 验证

- 业务问题：TFT 需求预测模型已运行 8 个月，准备升级到 TimeCMA-LLM 版本，但不确定新版本在当前数据分布下是否真的更好，不敢直接切换。 - 数据要求：当前生产预测结果 + 新模型静默预测结果，配合真实销量标签（T+7 到达） - 预期产出： - 7 天 Shadow 期的 MAPE 对比（Champion vs Challenger） - 统计显著性检验（新版本是否显著优于旧版本） - 切换建议（GO / WAIT / ABORT） - 业务价值：避免贸然切换模型导致预测精度下降，按 baby sterilizer 月销售额 $50,000 估算，预测精度下降 5pp 对应库

场景 B：Churn/Uplift 模型 AUC 衰减告警

4. 输入数据要求

请查看原始代码模板获取输入规格。

5. 输出结果

请查看原始代码模板获取输出规格。

6. 业务价值 / ROI

• ROI 预估：
• 需求预测 MAPE 从 28% 降回 12%：月库存偏差减少 16pp × $50,000 月销售额 = 节省约 $8,000/月
• Uplift 模型 AUC 0.69 → 0.78：优惠券命中率提升约 12%，节省无效优惠券支出 $1,500-$3,000/月
• Shadow Mode 安全切换：避免贸然切换新模型导致预测精度下降，节省潜在损失 $2,500/月
• 合计：$11,500-$13,500/月，年化约 $140,000-$160,000
• 实施难度：⭐⭐☆☆☆（2/5）— 纯 NumPy/scipy，可作为定时任务插桩到现有服务

7. 代码模板

代码块数量：5 · 路径：paper2skills-code/ml_fundamentals/model_performance_monitor

"""
Skill-Model-Performance-Monitor
基于 DriftGuard 框架 (arXiv:2601.08928) + Champion-Challenger / Shadow Mode 方法论
母婴跨境电商 ML 模型生产性能监控工具
"""

import numpy as np
import pandas as pd
from dataclasses import dataclass, field
from typing import Optional
from scipy import stats
from enum import Enum


class ModelHealth(Enum):
    HEALTHY   = "健康"
    WARNING   = "警告"
    CRITICAL  = "需要重训"
    DEGRADED  = "性能退化"


class DeployDecision(Enum):
    GO      = "切换新版本"
    WAIT    = "继续观察"
    ABORT   = "放弃新版本"


@dataclass
class PerformanceWindow:
    metric_name: str
    values: list[float]
    baseline: float
    window_days: int

    @property
    def current(self) -> float:
        return float(np.mean(self.values[-7:])) if len(self.values) >= 7 else float(np.mean(self.values))

    @property
    def degradation_pct(self) -> float:
        if self.baseline == 0:
            return 0.0
        return (self.baseline - self.current) / abs(self.baseline) * 100


@dataclass
class ShadowComparisonResult:
    champion_metric: float
    challenger_metric: float
    improvement_pct: float
    p_value: float
    significant: bool
    decision: DeployDecision
    rationale: str


@dataclass
class ModelHealthReport:
    model_id: str
    model_type: str

8. 论文来源

• 2601.08928