AutoQual Review Quality Assessment — LLM Agent 自动化评论质量评估

Skill-AutoQual-Review-Quality-Assessment · 14-用户分析

causalexperimentoptimizationrecommendationmulti_agentdata_collectionfraud_detectionpricing客服与VOC推荐与搜索数据采集与治理MAS与智能体工程定价与利润风控与合规WF-C 客服分诊WF-D 选品扫描WF-E Review监控WF-F 动态定价WF-G Listing内容优化WF-I 智能体工程WF-K 全域风险防御

收录于用户增长决策手册用户生命周期价值运营手册

年化 ROI100 万

实现难度⭐⭐☆☆☆

业务优先级⭐⭐⭐⭐⭐

业务视角

适用角色运营负责人 / 用户增长负责人 · CMO · 产品经理

适用平台Amazon 买家分层 · DTC 站 LTV 预测 · Klaviyo/Brevo 邮件分群

什么情况下用有大量老客户，但不知道谁是高价值客户、谁快要流失；新客获取成本越来越高，老客复购却上不去

成功是什么样的用户按 RFM/LTV 分层精准触达，高价值用户留存率提升，老客贡献收入占比从 30% 提升到 50%

业务痛点

老客复购率上不去不知道哪些用户要流失了所有用户用同一套活动买过一次就不见了

1. 解决的问题

Amazon Listing 中 40% 评论是"好用""五星"等无信息量水评，买家无法获得真实决策信息——LLM Agent 自动发现可解释质量特征、轻量分类器打分排序，高质量评论置顶提升转化率 0.2-0.5%，年化 GMV 增量 20-100 万元

2. 核心算法逻辑

核心思想：电商平台每天产生海量评论，但大量评论是无用噪音（刷单水评、"好评"两字、复制粘贴）。AutoQual 用 LLM Agent 自动发现「有用评论」的可解释特征维度（如：具体描述产品细节、说明使用场景、有比较对象），训练轻量分类器打分，亿级平台 A/B 测试验证提升转化率 0.27%。

3. 业务应用场景

- 业务问题：某母婴品牌 Listing 有 3,000+ 条评论，但 40% 是"好用""不错""五星"等无信息量评论，新买家看不到关键使用细节（噪音大不大、硅胶是否柔软、续航多久），导致转化决策困难。 - 数据要求：历史评论文本 + 评论评分 + 有用性投票数（可选）。 - 预期产出： - 每条评论的质量分（0-1）和可解释原因（"描述了具体使用场景 +0.3，未提供量化数据 -0.1"） - 高质量评论 Top-20 列表（用于 Listing 展示优化） - 水评/低质评论标记清单（用于向平台举报或内部过滤） - 业务价值：展示高质量评论 → 买家决策信息充分 → 转化率提升 0.2-

4. 输入数据要求

请查看原始代码模板获取输入规格。

5. 输出结果

请查看原始代码模板获取输出规格。

6. 业务价值 / ROI

ROI 预估：高质量评论置顶提升转化率 0.2-0.5%，月 GMV 100 万 × 0.3% = 年化 36 万元增量
实施难度：⭐⭐☆☆☆（低，主要是特征工程 + 轻量分类器）
优先级：⭐⭐⭐⭐⭐（评论质量直接影响 Listing 转化，是最高频优化场景）
评估依据：EMNLP 2025 工业 Track，亿级用户平台 A/B 测试验证转化率 +0.27%

7. 代码模板

代码块数量：2 · 路径：未检测到

from dataclasses import dataclass
from typing import List, Dict

@dataclass
class Review:
    review_id: str
    text: str
    rating: int
    helpful_votes: int = 0

def extract_quality_features(review: Review) -> Dict[str, float]:
    text = review.text
    words = text.split()
    sentences = text.split('。') + text.split('.')
    sentences = [s.strip() for s in sentences if len(s.strip()) > 2]
    specificity = min(1.0, len(words) / 50)
    has_numbers = any(c.isdigit() for c in text)
    has_comparison = any(k in text for k in ['比', '对比', 'vs', '之前', '换了', '相比'])
    has_scenario = any(k in text for k in ['宝宝', '孩子', '用了', '试用', '喂奶', '吸奶'])
    has_detail = any(k in text for k in ['硅胶', '噪音', '续航', '清洗', '吸力', '舒适'])
    generic_phrases = ['好用', '不错', '推荐', '五星', '好评', '值得购买']
    is_generic = any(p in text for p in generic_phrases) and len(words) < 10
    return {
        'specificity': specificity,
        'has_numbers': float(has_numbers),
        'has_comparison': float(has_comparison),
        'has_scenario': float(has_scenario),
        'has_product_detail': float(has_detail),
        'is_generic': float(is_generic),
        'length_score': min(1.0, len(words) / 30),
    }

def compute_quality_score(features: Dict[str, float]) -> float:
    weights = {
        'specificity': 0.20,
        'has_numbers': 0.10,
        'has_comparison': 0.15,
        'has_scenario': 0.20,
        'has_product_detail': 0.20,
        'is_generic': -0.25,
        'length_score': 0.15,
    }
    score = sum(features[k] * w for k, w in weights.items())
    return round(max(0.0, min(1.0, score)), 3)

def rank_reviews(reviews: List[Review]) -> List[Dict]:
    results = []
    for r in reviews:
        feats = extract_quality_features(r)
        score = compute_quality_score(feats)
        label = '高质量' if score >= 0.6 else '中等' if score >= 0.35 else '低质量'
        results.append({'review_id': r.review_id, 'score': score, 'label': label,
                        'text_preview': r.text[:50], 'features': feats})
    return sorted(results, key=lambda x: -x['score'])

reviews = [
    Review('R001', '吸奶器用了三个月了，吸力很稳定，最大档位噪音大概40分贝左右，比上一款小很多。硅胶护罩很柔软，宝宝不排斥。充一次电能用2-3次，每次30分钟左右。强烈推荐！', 5, 45),
    Review('R002', '好用，五星好评，物流也快', 5, 1),
    Review('R003', '收到货试用了一下，吸力比医院级的弱一些，但便携性好很多。硅胶材质安全，清洗方便，宝宝接受度高。价格合适，适合日常外出使用。', 4, 28),
    Review('R004', '还不错，继续观察', 4, 0),

8. 论文来源

2510.08081