paper2skills Playbook

XSkill — 多模态 Agent 双流自进化:经验+技能协同积累

Skill-XSkill-Multimodal-Self-Improvement · 16-智能体工程

causalexperimentforecastingoptimizationrecommendationmulti_agentpricingvisual_generation客服与VOC推荐与搜索MAS与智能体工程定价与利润视觉内容生成WF-C 客服分诊WF-D 选品扫描WF-E Review监控WF-F 动态定价WF-G Listing内容优化
年化 ROI5-10 万
实现难度⭐⭐⭐☆☆
业务视角
适用角色CTO / 技术负责人 · 产品经理 · 数据工程师
适用平台跨境运营 AI Agent 工程落地 · Amazon SP API + LLM 集成 · 多平台数据采集 Agent
什么情况下用想把 AI 集成到业务系统,但 LLM 稳定性差、幻觉问题、成本控制都是挑战;Agent 任务失败了不知道哪步出了问题
成功是什么样的AI Agent 在生产环境稳定运行,失败可追踪,成本可控,复杂任务完成率 >85%
业务痛点
LLM 返回结果不稳定不可靠AI 幻觉导致业务决策错误Agent 任务失败了不知道哪步出问题AI 调用成本控制不住

1. 解决的问题

XSkill 解决的是 AI Agent 的"每次从零开始"问题——传统 Agent 缺乏跨任务的知识积累机制,执行 100 次类似任务的性能与第 1 次几乎相同。XSkill 通过双流架构实现持续自进化

2. 核心算法逻辑

XSkill 解决的是 AI Agent 的"每次从零开始"问题——传统 Agent 缺乏跨任务的知识积累机制,执行 100 次类似任务的性能与第 1 次几乎相同。XSkill 通过双流架构实现持续自进化:

3. 业务应用场景

业务问题:婴儿奶粉主图审核 Agent 每次处理新品时独立工作,无法积累"什么样的主图点击率高"的视觉经验。第 50 次审核的准确率和第 1 次一样低,浪费了大量历史轨迹中的隐含知识。

数据要求: - 任务轨迹:图片分析记录(分析步骤 + 决策 + 最终点击率反馈) - 视觉上下文:图片哈希 ID(关联特征) - 历史结果:CTR 数据(用于 outcome 标注)

| 积累阶段 | 技能内容 | 经验内容 | |---------|---------|---------| | 前 5 次 | 基础流程:`检查认证标识 → 评估主体清晰度 → 打分` | 具体失误记录:"首次忽略了背景杂乱度对 CTR 的影响" | | 5-10 次 | 优化流程:新增"认证标识位置评分"子步骤 | "左上角认证比中部认证 CTR 高 12%" | | 10+ 次 | 精炼技能:自动区分欧标/美标图片规范 | 竞品对比经验积累 |

4. 输入数据要求

请查看原始代码模板获取输入规格。

5. 输出结果

请查看原始代码模板获取输出规格。

6. 业务价值 / ROI

  • XSkill 是 Loop 36-50"自主进化能力"子系列的核心框架
  • 双流设计(经验 + 技能)比单一记忆方案更具泛化能力
  • 与 WF-D 选品 Agent、商品图片审核 Agent 直接对接,落地路径清晰
  • 视觉上下文 UID 需要稳定的图像哈希方案(图片更新后 UID 失效)
  • 经验流相似度计算用 Jaccard 词重叠是 MVP,生产环境建议升级为嵌入向量检索
  • 技能合并阈值(0.6)需根据业务领域校准,过低导致技能爆炸,过高导致技能合并过度

7. 代码模板

代码块数量:1 · 路径:未检测到

"""
XSkill — 多模态 Agent 双流自进化框架
来源: arXiv:2603.12056 | 2026年3月
场景: 商品图片分析 Agent + 选品 Agent 的持续知识积累
"""

import json
import hashlib
from dataclasses import dataclass, field
from datetime import datetime, timezone
from typing import Optional
from enum import Enum


class TaskOutcome(Enum):
    SUCCESS = "success"
    PARTIAL = "partial"
    FAILURE = "failure"


@dataclass
class Experience:
    """经验条目:战术层知识(具体轨迹反思)"""
    task_type: str
    context_summary: str            # 任务上下文摘要
    action_taken: str               # 执行的关键动作
    outcome: TaskOutcome            # 结果
    lesson: str                     # 提炼的教训
    visual_context_uid: Optional[str] = None  # 视觉上下文哈希 ID
    created_at: str = field(default_factory=lambda: datetime.now(timezone.utc).isoformat())
    relevance_score: float = 0.5    # 当前任务相关度(检索时动态赋值)

    def to_dict(self) -> dict:
        return {
            "task_type": self.task_type,
            "context_summary": self.context_summary,
            "action_taken": self.action_taken,
            "outcome": self.outcome.value,
            "lesson": self.lesson,
            "visual_context_uid": self.visual_context_uid,
            "created_at": self.created_at,
            "relevance_score": self.relevance_score,
        }


@dataclass
class Skill:
    """技能条目:战略层知识(结构化可复用流程)"""
    skill_id: str
    task_type: str
    task_description: str
    procedure_steps: list           # 执行步骤列表
    success_rate: float = 0.5       # 历史成功率
    usage_count: int = 0            # 使用次数
    version: int = 1                # 版本号
    created_at: str = field(default_factory=lambda: datetime.now(timezone.utc).isoformat())
    updated_at: str = field(default_factory=lambda: datetime.now(timezone.utc).isoformat())

    def to_dict(self) -> dict:
        return {

8. 论文来源

  • 2603.12056