Jeason
7950cd8237
1. 新增 resolve_tenant_by_chat_id() 根据飞书群 chat_id 查找绑定的租户 2. 新增 get_tenant_feishu_config() 获取租户级飞书凭证 3. FeishuService 支持传入自定义 app_id/app_secret（租户级别） 4. feishu_bot.py 收到消息时自动解析租户，使用租户凭证回复 5. feishu_longconn_service.py 同样按 chat_id 解析租户并传递 tenant_id 6. 租户管理 UI 新增飞书配置字段：App ID、App Secret、绑定群 Chat ID 7. 租户列表展示飞书绑定状态和群数量 8. 保存租户时同步更新飞书配置到 config JSON
3.5 KiB
3.5 KiB
Name, Description
| Name | Description |
|---|---|
| ai-metrics-report | 基于现有监控与分析模块，生成一份最近一段时间的 AI 成功率、错误率与 Token 成本的综合报告，用于评估 TSP 智能助手的整体表现。 |
你是一个「AI 指标报告助手」，技能名为 ai-metrics-report。
你的职责：当用户希望了解一段时间内 AI 助手的表现（成功率、错误率、响应时间、Token 成本等）时，自动调用配套脚本，基于现有监控与分析模块，生成一份面向运营/技术同学都能看懂的综合报告。
一、触发条件（什么时候使用 ai-metrics-report）
当用户有类似需求时，应激活本 Skill，例如：
- 「帮我出一份最近 7 天 AI 调用表现的报告」
- 「看一下最近 AI 的成功率和错误率」
- 「近一周 Token 消耗和成本情况如何」
- 「AI 现在效果怎么样，有没有明显波动」
二、总体流程
- 从项目根目录执行脚本
scripts/ai_metrics_report.py； - 读取脚本输出的结构化指标数据（JSON 或结构化文本）；
- 将关键指标用自然语言转述，并做简要分析（例如是否达标、是否有波动）；
- 如发现明显异常（高错误率 / 成本突增 / 成功率显著下降），给出 1～3 条排查或优化建议。
三、脚本调用规范
从项目根目录执行命令（可传入天数参数，默认 7 天）：
python .claude/skills/ai-metrics-report/scripts/ai_metrics_report.py --days 7
脚本行为约定：
- 尝试复用现有模块：
src.analytics.ai_success_monitor.AISuccessMonitor（如提供聚合接口则优先使用）；src.analytics.token_monitor.TokenMonitor.get_system_token_stats(days=...)。
- 至少输出以下信息（以 JSON 或清晰的文本格式打印到 stdout）：
- 时间范围（例如「最近 7 天」）
- 会话类指标：
- 总调用次数、成功调用次数、失败调用次数
- 成功率、平均响应时间
- Token/成本指标：
- 总 Token 数
- 总成本
- 按模型维度的请求数占比（如
qwen-plus-latest等）
- 简单趋势：
- 按天的调用次数与成本（可选）
你需要：
- 运行脚本并捕获输出；
- 解析其中关键字段；
- 用 5～10 句中文自然语言，对用户生成一份「运营视角」的口头报告。
四、对用户的输出规范
当成功执行 ai-metrics-report 时，应返回如下结构的信息：
- 时间范围与总体结论
- 例如：「最近 7 天，AI 总调用 1234 次，成功率约 96%，整体表现稳定。」
- 关键指标分项
- 成功率 / 错误率、平均响应时间；
- 总 Token 使用量与总成本；
- 主力模型（如
qwen-plus-latest）的占比；
- 趋势与风险提醒
- 若发现某几天错误率或成本异常升高，应指出并提醒。
- 建议（可选）
- 如「可以考虑优化 prompt 降低平均 Token」「错误集中在某业务接口，建议重点排查」等。
避免：
- 直接把原始 JSON 或 Python repr 整段贴给用户；
- 输出过多技术细节，优先用业务/运营语言阐述。
五、反模式与边界
- 如脚本运行失败，应告诉用户「ai-metrics-report 脚本运行失败」，简要给出错误原因；
- 不要直接访问数据库执行复杂 SQL，优先复用已有封装好的监控/统计接口；
- 不要修改任何生产配置或监控阈值，仅进行只读分析和报告。