XSkill — 多模态 Agent 双流自进化:经验+技能协同积累
Skill-XSkill-Multimodal-Self-Improvement · 16-智能体工程
causalexperimentforecastingoptimizationrecommendationmulti_agentpricingvisual_generation客服与VOC推荐与搜索MAS与智能体工程定价与利润视觉内容生成WF-C 客服分诊WF-D 选品扫描WF-E Review监控WF-F 动态定价WF-G Listing内容优化
年化 ROI5-10 万
实现难度⭐⭐⭐☆☆
业务视角
适用角色CTO / 技术负责人 · 产品经理 · 数据工程师
适用平台跨境运营 AI Agent 工程落地 · Amazon SP API + LLM 集成 · 多平台数据采集 Agent
什么情况下用想把 AI 集成到业务系统,但 LLM 稳定性差、幻觉问题、成本控制都是挑战;Agent 任务失败了不知道哪步出了问题
成功是什么样的AI Agent 在生产环境稳定运行,失败可追踪,成本可控,复杂任务完成率 >85%
业务痛点
1. 解决的问题
XSkill 解决的是 AI Agent 的"每次从零开始"问题——传统 Agent 缺乏跨任务的知识积累机制,执行 100 次类似任务的性能与第 1 次几乎相同。XSkill 通过双流架构实现持续自进化
2. 核心算法逻辑
XSkill 解决的是 AI Agent 的"每次从零开始"问题——传统 Agent 缺乏跨任务的知识积累机制,执行 100 次类似任务的性能与第 1 次几乎相同。XSkill 通过双流架构实现持续自进化:
3. 业务应用场景
业务问题:婴儿奶粉主图审核 Agent 每次处理新品时独立工作,无法积累"什么样的主图点击率高"的视觉经验。第 50 次审核的准确率和第 1 次一样低,浪费了大量历史轨迹中的隐含知识。
数据要求: - 任务轨迹:图片分析记录(分析步骤 + 决策 + 最终点击率反馈) - 视觉上下文:图片哈希 ID(关联特征) - 历史结果:CTR 数据(用于 outcome 标注)
| 积累阶段 | 技能内容 | 经验内容 | |---------|---------|---------| | 前 5 次 | 基础流程:`检查认证标识 → 评估主体清晰度 → 打分` | 具体失误记录:"首次忽略了背景杂乱度对 CTR 的影响" | | 5-10 次 | 优化流程:新增"认证标识位置评分"子步骤 | "左上角认证比中部认证 CTR 高 12%" | | 10+ 次 | 精炼技能:自动区分欧标/美标图片规范 | 竞品对比经验积累 |
4. 输入数据要求
请查看原始代码模板获取输入规格。
5. 输出结果
请查看原始代码模板获取输出规格。
6. 业务价值 / ROI
- XSkill 是 Loop 36-50"自主进化能力"子系列的核心框架
- 双流设计(经验 + 技能)比单一记忆方案更具泛化能力
- 与 WF-D 选品 Agent、商品图片审核 Agent 直接对接,落地路径清晰
- 视觉上下文 UID 需要稳定的图像哈希方案(图片更新后 UID 失效)
- 经验流相似度计算用 Jaccard 词重叠是 MVP,生产环境建议升级为嵌入向量检索
- 技能合并阈值(0.6)需根据业务领域校准,过低导致技能爆炸,过高导致技能合并过度
7. 代码模板
代码块数量:1 · 路径:未检测到
"""
XSkill — 多模态 Agent 双流自进化框架
来源: arXiv:2603.12056 | 2026年3月
场景: 商品图片分析 Agent + 选品 Agent 的持续知识积累
"""
import json
import hashlib
from dataclasses import dataclass, field
from datetime import datetime, timezone
from typing import Optional
from enum import Enum
class TaskOutcome(Enum):
SUCCESS = "success"
PARTIAL = "partial"
FAILURE = "failure"
@dataclass
class Experience:
"""经验条目:战术层知识(具体轨迹反思)"""
task_type: str
context_summary: str # 任务上下文摘要
action_taken: str # 执行的关键动作
outcome: TaskOutcome # 结果
lesson: str # 提炼的教训
visual_context_uid: Optional[str] = None # 视觉上下文哈希 ID
created_at: str = field(default_factory=lambda: datetime.now(timezone.utc).isoformat())
relevance_score: float = 0.5 # 当前任务相关度(检索时动态赋值)
def to_dict(self) -> dict:
return {
"task_type": self.task_type,
"context_summary": self.context_summary,
"action_taken": self.action_taken,
"outcome": self.outcome.value,
"lesson": self.lesson,
"visual_context_uid": self.visual_context_uid,
"created_at": self.created_at,
"relevance_score": self.relevance_score,
}
@dataclass
class Skill:
"""技能条目:战略层知识(结构化可复用流程)"""
skill_id: str
task_type: str
task_description: str
procedure_steps: list # 执行步骤列表
success_rate: float = 0.5 # 历史成功率
usage_count: int = 0 # 使用次数
version: int = 1 # 版本号
created_at: str = field(default_factory=lambda: datetime.now(timezone.utc).isoformat())
updated_at: str = field(default_factory=lambda: datetime.now(timezone.utc).isoformat())
def to_dict(self) -> dict:
return {
8. 论文来源
- 2603.12056