RTB Realtime Bidding Optimization — 生成式自动出价与多约束实时竞价优化

"""
RTB Realtime Bidding Optimization - 简化版实现
基于 GAS (arXiv:2412.17018) + GAVE (arXiv:2504.14587) 核心思想
实现：Critics 投票出价机制 + CPA/预算约束下的序贯决策
只依赖 numpy，无需 torch/transformers
"""

import numpy as np


# ───────── 环境模拟 ─────────
class RTBEnvironment:
    """模拟 RTB 竞价市场环境"""

    def __init__(self, n_slots=100, budget=1000.0, target_cpa=30.0, seed=42):
        self.n_slots = n_slots
        self.budget = budget
        self.target_cpa = target_cpa
        self.rng = np.random.default_rng(seed)

    def sample_auction(self, t: int, scenario: str = "normal"):
        """
        模拟一次拍卖机会
        返回：(market_price, ad_value, cvr)
        - market_price: 赢拍所需最低清算价（元/click，eCPC 口径）
        - ad_value: 该流量预估 GMV（元，点击后转化价值）
        - cvr: 该流量转化率（0-1）
        量纲说明：market_price ~ 0.5-10 元/click，ad_value ~ 5-80 元，cvr ~ 1-25%
        """
        # 黑五场景：峰值期流量质量更高，竞争更激烈
        if scenario == "blackfriday":
            peak = 1.0 + 0.8 * np.sin(np.pi * t / self.n_slots)  # 曲线峰值
            market_price = self.rng.lognormal(1.2, 0.5) * peak
            ad_value = self.rng.lognormal(3.5, 0.4) * peak
            cvr = np.clip(self.rng.beta(2, 8) * peak * 0.8, 0.01, 0.35)
        else:
            market_price = self.rng.lognormal(1.2, 0.5)   # 均值 ≈ 3.6 元/click
            ad_value = self.rng.lognormal(3.2, 0.4)       # 均值 ≈ 26 元/GMV
            cvr = np.clip(self.rng.beta(2, 8), 0.01, 0.25)  # 均值 ≈ 20%
        return market_price, ad_value, cvr


# ───────── Critics 出价评估 ─────────
class BiddingCritic:
    """
    三个偏好不同的 Critics，对候选出价投票
    模拟 GAS 的 MCTS 风格多目标搜索
    """

    @staticmethod
    def roi_critic(bid: float, ad_value: float, cvr: float,
                   remaining_budget: float, total_budget: float) -> float:
        """Critic-1：偏好 ROI，出价不超过预估价值"""
        expected_gmv = ad_value * cvr
        if bid <= 0:
            return 0.0
        roi = expected_gmv / bid
        # 预算使用率惩罚（避免过于保守导致预算浪费）
        budget_usage = 1.0 - remaining_budget / total_budget
        budget_bonus = 0.2 * budget_usage  # 预算消耗越多，适度鼓励出价