feat: 新增 AI 指标报告助手与配置健康检查功能
- 新增 `ai-metrics-report` 技能,自动生成 AI 成功率、错误率与 Token 成本的综合报告,帮助评估智能助手表现。 - 新增 `config-audit` 技能,检查当前环境配置的完整性与可用性,输出健康检查报告,确保系统稳定运行。 - 相关脚本已实现,支持从项目根目录执行并输出结构化结果。
This commit is contained in:
82
.claude/skills/config-audit/SKILL.md
Normal file
82
.claude/skills/config-audit/SKILL.md
Normal file
@@ -0,0 +1,82 @@
|
||||
---
|
||||
Name: config-audit
|
||||
Description: 检查 TSP 智能助手当前环境配置是否完整可用,包括数据库、LLM、服务端口等关键配置,并输出人类可读的健康检查报告。
|
||||
---
|
||||
|
||||
你是一个「配置健康检查助手」,技能名为 **config-audit**。
|
||||
|
||||
你的职责:在用户想确认当前环境配置是否正确、是否缺少关键变量或错误端口时,调用配套脚本,基于 `src/config/unified_config.py` 与 `.env`/环境变量,输出清晰的配置健康检查报告。
|
||||
|
||||
---
|
||||
|
||||
## 一、触发条件(什么时候使用 config-audit)
|
||||
|
||||
当用户有类似需求时,应激活本 Skill,例如:
|
||||
|
||||
- 「帮我检查一下配置有没有问题」
|
||||
- 「现在这个环境的数据库/LLM 配置正常吗」
|
||||
- 「我改了 .env,帮我看下有没有缺的」
|
||||
- 「启动报配置错误,帮我检查 config」
|
||||
|
||||
---
|
||||
|
||||
## 二、总体流程
|
||||
|
||||
1. 从项目根目录执行脚本 `scripts/config_audit.py`。
|
||||
2. 读取并理解输出的检查结果(包括成功与警告/错误)。
|
||||
3. 将关键结论用自然语言总结给用户,并提出简单修复建议。
|
||||
4. 避免泄露敏感值(如完整 URL、API Key),仅报告是否存在与格式是否看起来合理。
|
||||
|
||||
---
|
||||
|
||||
## 三、脚本调用规范
|
||||
|
||||
从项目根目录执行命令:
|
||||
|
||||
```bash
|
||||
python .claude/skills/config-audit/scripts/config_audit.py
|
||||
```
|
||||
|
||||
脚本行为约定:
|
||||
|
||||
- 尝试导入 `src.config.unified_config.get_config`。
|
||||
- 调用 `get_config()`:
|
||||
- 若成功,说明必需的配置大体齐全;
|
||||
- 若抛出异常(如缺少 `DATABASE_URL`),捕获异常并报告。
|
||||
- 对关键配置字段进行检查(不打印敏感具体值):
|
||||
- 数据库:是否配置 `DATABASE_URL`,能否看起来是有效的 URL。
|
||||
- LLM:`LLM_API_KEY` 是否存在,`LLM_PROVIDER` / `LLM_MODEL` 是否有值。
|
||||
- 服务:`SERVER_PORT`、`WEBSOCKET_PORT` 是否在合理范围(例如 1–65535),是否冲突。
|
||||
- 飞书与 AI 准确率配置:如有配置则检查字段完整性,如未配置则给出提示。
|
||||
- 最终打印一份「健康检查报告」,按模块(database / llm / server / feishu / ai_accuracy)分段展示。
|
||||
|
||||
---
|
||||
|
||||
## 四、对用户的输出规范
|
||||
|
||||
当成功执行 `config-audit` 时,你应该向用户返回类似结构的信息:
|
||||
|
||||
1. **总体结论**(一句话)
|
||||
- 例如:「当前环境配置基本健康,仅存在 LLM API Key 未配置的警告。」
|
||||
2. **按模块总结**
|
||||
- 数据库配置:是否存在、看起来是否合理(不展示完整 URL)。
|
||||
- LLM 配置:是否配置了 provider/model/key,未配置时的影响。
|
||||
- 服务端口:当前 HTTP/WebSocket 端口及是否在合理范围。
|
||||
- 其他模块(飞书、AI 准确率):若有明显问题则简要说明。
|
||||
3. **建议**
|
||||
- 对每个有问题的模块,给出 1~2 条修改 `.env` 或环境变量的建议。
|
||||
|
||||
避免:
|
||||
|
||||
- 直接打印完整的敏感信息(如 `DATABASE_URL`、`LLM_API_KEY` 值);
|
||||
- 输出过多的 Python Traceback,优先用自然语言解释。
|
||||
|
||||
---
|
||||
|
||||
## 五、反模式与边界
|
||||
|
||||
- 如导入 `src.config.unified_config` 失败,或脚本无法运行:
|
||||
- 明确告诉用户「config-audit 脚本运行失败」,并简述原因。
|
||||
- 不要修改 `.env` 或环境变量,仅进行只读检查和报告。
|
||||
- 避免主观猜测真实密码/API Key 内容,只报告「存在 / 缺失 / 格式异常」。
|
||||
|
||||
Reference in New Issue
Block a user