大模型AI应用专项测试清单

安全和对抗测试

提示注入测试（直接和间接）

越狱攻击测试（角色扮演、编码绕过、多轮诱导）

敏感数据泄露测试

系统提示词泄露测试

不安全输出测试

过度代理权限滥用测试

模型提取攻击测试

嵌入操纵测试

训练数据投毒和运行时模型投毒测试

成员推断攻击和反演攻击测试

幻觉和事实准确性测试

领域内知识准确性测试

域外话题处理测试（不编造）

对抗性多领域幻觉测试（数值陷阱、时间矛盾、虚构场景）

幻觉率和幻觉程度量化

矛盾率检测

RAG检索增强生成的事实一致性测试

任务感知的幻觉评估（开放问答、跨语言问答、科学声明核验）

性能和效率测试

首令牌时间（TTFT）

每输出令牌时间（TPOT）和令牌间延迟

总延迟（TTFT + TPOT × 生成令牌数）

系统吞吐量（每秒输出令牌数，含并发）

并发请求下的延迟分布（p50/p95/p99）

成本 per call

鲁棒性和一致性测试

Prompt对抗扰动敏感性测试

多轮上下文截断和恢复测试

温度/Top-p参数敏感度测试

Token生成一致性测试（重复运行方差）

流式响应中断恢复测试

输出格式合规性测试

推理链完整性测试

公平性和偏见测试

群体间统计均等性测试（Parity Testing）

反事实扰动偏见测试（Perturbation Testing）

有害内容偏见测试

隐含交叉性偏见测试

B-score偏见检测（主观/随机/客观题型）

多模态专项测试

多模态感知和认知子任务测试

图文推理准确性测试

视频理解和视听识别测试

多学科多模态推理测试

RAG和组件级测试

检索相关性测试

检索结果对生成输出的支撑度测试

知识库投毒检测

输入过滤器和输出过滤器有效性测试

Agent行为测试

Agent行为边界测试

目标对齐测试

工具调用滥用测试

多轮交互中的指令漂移测试

隐私和数据保护测试

训练数据记忆和泄露测试

输入泄露测试

PII暴露检测

系统提示词隐私边界测试

可解释性和过度依赖测试

输出归因和可解释性测试

过度依赖AI测试（用户对错误输出的盲从倾向）

不确定性表达测试（模型是否在不确定时拒绝或标注）

回归和持续监控测试

模型版本切换后的输出差异回归测试

参数配置变更后的行为一致性回归测试

线上Shadow模式新旧版本对比测试

负样本飞轮驱动的测试集滚动更新