一个大模型拒绝了一份贷款申请，却说不清为什么；一个医疗影像模型标出了病灶，医生却不知道它到底"看"了什么。当 AI 越来越多地参与高风险决策，"能给出答案"已经不够，"能解释答案"正成为新的门槛。这就是可解释人工智能（Explainable AI，XAI）要解决的问题。
一、什么是可解释性
可解释性指的是：我们能否用人类可以理解的方式，说明一个模型"为什么"给出某个输出。它通常分两层：一是全局解释，说明模型整体的决策逻辑；二是局部解释，说明某一次具体预测的依据。需要注意的是，"可解释"不等于"正确"，一个解释听起来合理，并不意味着它就是模型真实的内部推理过程。
二、为什么越来越重要
1. 责任与合规：欧盟《人工智能法案》等监管框架对高风险 AI 系统提出了透明性和可追溯要求，涉及信贷、招聘、医疗等场景时，无法解释的模型很难通过合规审查。
2. 信任与采纳：医生、法官、工程师不会盲目接受一个"黑箱"的建议，只有当系统能说清依据，专业用户才愿意把它当作决策辅助。
3. 调试与改进：当模型出错时，解释能帮助开发者定位是数据偏差、特征问题，还是模型本身的缺陷。
三、常见的技术路线
1. 事后解释方法：不改动模型本身，事后再去"猜测"它的依据。代表有 LIME（用局部简单模型逼近复杂模型的决策边界）和 SHAP（基于博弈论中的 Shapley 值，把预测结果公平地分摊给各个输入特征）。
2. 内在可解释模型：从设计上就透明，比如线性回归、决策树，以及可解释性较强的规则模型。它们能力有限，但天然容易理解。
3. 注意力可视化：在 NLP 和视觉任务中，把注意力权重画出来，展示模型"关注"了输入的哪些部分。需要提醒的是，注意力权重并不等于真正的因果解释，学界对此仍有争议。
4. 概念与范例解释：用人类可理解的概念或相似案例来解释预测，例如"这张图被判为猫，是因为它像这些训练样本"。
四、现实中的难点
准确性与可解释性往往存在张力：性能最强的深度模型通常最难解释。此外，解释方法本身也可能不可靠——同一个模型，换一种解释算法可能给出不一致的结论。对解释结果的过度信任，反而可能带来新的风险。
五、一句话总结
可解释性不是让 AI "看起来讲道理"，而是让它的决策过程变得可审查、可追责、可改进。在 AI 走向高风险场景的路上，它和准确性一样重要。
【参考来源】综合整理自公开发布的行业信息（如 DARPA XAI 计划、LIME、SHAP 等公开论文，以及欧盟《人工智能法案》相关公开资料）。