Cultural Data Collection — 跨文化 UGC 采集与母婴消费文化差异识别

1. 解决的问题

文化语境的不可迁移性——相同语义在不同文化中承载截然不同的消费偏好信号。

2. 核心算法逻辑

跨文化 UGC（用户生成内容）采集面临的核心挑战是：文化语境的不可迁移性——相同语义在不同文化中承载截然不同的消费偏好信号。例如"天然/natural"在美国 Amazon 评论中是正面信号，在日本评论中需要结合"安心感"（安全感）语境才能判断其权重；而中文评论中的"刷单痕迹"（短句、无具体描述）本身就是需要过滤的噪声。

3. 业务应用场景

业务背景：某品牌婴儿润肤霜同款产品在美国 Amazon 评分 4.7（热销），在日本乐天平台评分仅 3.9（滞销）。数据分析团队需要定量识别消费文化差异，指导日本本地化改版。

ROI 量化： - 日本版改版后 3 个月：乐天评分 3.9 → 4.5，月销售额 +¥280 万（+47%） - UGC 分析成本：¥8,000（API 费用），ROI ≈ 350x

业务背景：品牌准备进入印尼（Tokopedia）和越南（Shopee）市场，需要从竞品 UGC 中挖掘当地消费者最看重的产品属性，避免"直接翻译中国版营销内容"的失误。

4. 输入数据要求

请查看原始代码模板获取输入规格。

5. 输出结果

• 语言检测：建议接入 `langdetect` 或 `fasttext` 自动识别语言，避免错误分配文化维度
• 关键词扩展：`DIMENSION_KEYWORDS` 应由领域专家 + LLM 协作扩展（当前为示意）
• 采样偏差：高星评论在公开平台上比例偏高，分析时注意加权

6. 业务价值 / ROI

280 万

7. 代码模板

代码块数量：5 · 路径：未检测到

"""
Cultural UGC Data Collection & Analysis Pipeline
整合 CrossCultural 文化维度标注 + CulturalBERT 迁移 + UGC-Trust-Filter 噪声过滤
使用 mock 数据，可直接运行
"""

import re
import random
import numpy as np
from dataclasses import dataclass, field
from typing import Dict, List, Optional, Tuple
from datetime import datetime


# ── 数据结构 ────────────────────────────────────────────────────────────

@dataclass
class UGCRecord:
    """原始 UGC 评论记录"""
    review_id: str
    market: str          # US / JP / CN / ID / VN
    language: str        # en / ja / zh / id / vi
    text: str
    rating: int          # 1-5
    verified_purchase: bool
    timestamp: datetime
    platform: str        # amazon / rakuten / tokopedia / shopee


@dataclass
class CulturalSignal:
    """文化维度信号"""
    review_id: str
    market: str
    trust_score: float      # UGC 真实性得分（0-1）
    is_authentic: bool      # 是否真实 UGC
    hofstede_signals: Dict[str, float]  # {UAI: 0.8, IDV: 0.3, ...}
    key_topics: List[str]   # 抽取的关键业务话题
    sentiment: str          # positive / negative / neutral
    cultural_diff_index: float  # 相对基准市场的文化差异指数


# ── UGC-Trust-Filter：文化感知噪声过滤 ──────────────────────────────────

class UGCTrustFilter:
    """
    文化感知噪声过滤器
    不同市场的刷单/虚假评论有不同语言学特征
    """

    # 市场特定刷单关键词（简化版，实际需扩展）
    SPAM_PATTERNS = {
        "CN": [r"很好", r"不错", r"五星好评", r"推荐"],  # 过于简短的套话
        "US": [r"highly recommend", r"five stars", r"love it"],  # 过于通用
        "JP": [r"良い商品", r"おすすめ"],
    }

    # 市场特定权重（UAI 高的市场，verified_purchase 权重更高）
    MARKET_WEIGHTS = {
        "US": {"length": 0.25, "specificity": 0.30, "temporal": 0.20, "verified": 0.25},

8. 论文来源

• 2408.14267
• 2410.09832
• 2412.18821