说说让AI“开口说话”：复杂模型的解释不再晦涩

心灵美好

机器学习模型虽然功能强大，但可能会出错，并且通常难以使用。为了帮助用户了解何时以及如何信任模型的预测，科学家们开发了各种解释方法。然而，这些解释往往十分复杂，可能涉及数百个模型特征，有时还以多层次的可视化形式呈现，这让缺乏机器学习背景的用户难以完全理解。
为了解决这一问题，MIT的研究人员利用LLMs将基于图表的解释转化为通俗易懂的语言。他们开发了一套系统（包含两个部分），先将机器学习模型的解释转换为人类可读的文字段落，然后自动评估这些叙述的质量，从而让终端用户了解这些解释是否值得信任。
通过为系统提供一些示例解释作为提示，研究人员能够定制系统输出的内容，以满足用户的偏好或特定应用场景的需求。
从长远来看，研究人员希望在这一技术基础上进一步发展，使用户能够在现环境中向模型提出后续问题，了解其预测的依据。
“我们开展这项研究的目标是迈出首步，比较终现用户能够与机器学习模型进行深入对话，了解模型为何做出特定预测，从而更好地判断是否采纳模型的建议。”
MIT电气工程与计算机科学研究生、论文首作者AlexandraZytek表示。
该论文的合著者包括MIT博士后研究员SaraPido，EECS研究生SarahAlnegheimish，法国可持续发展研究院研究主管LaureBERTi-équille，以及论文的资深作者、MIT信息与决策系统验室首席研究科学家KalyanVeeramachaneni。
这项研究将在?IEEE?大数据会议上展示。
解读模型背后的逻辑
研究人员重点研究了一种流行的机器学习解释方法――SHAP。在SHAP解释中，模型会为每个特征分配一个数值，以表明该特征对预测结果的影响。例如，当一个模型用于预测房价时，房屋位置可能是其中一个特征，而位置这一特征将被赋予一个正值或负值，表示它对模型整体预测的增减作用。
SHAP解释通常以柱状图形式展示哪些特征比较重要或比较不重要，然而，当模型包含超过100个特征时，这种柱状图可能变得难以解读。
“作为研究人员，我们必须对展示内容做出许多选择。如果我们只显示前10个特征，用户可能会质疑其他特征为什么没出现在图中。而使用自然语言可以免除我们做出这些选择的负担。”资深作者KalyanVeeramachaneni解释道。
但不同于直接使用LLM生成自然语言解释，研究人员采用LLM将已有的SHAP解释转化为可读的叙述，以减少生成过程中可能引入的误差。
研究人员开发的系统为EXPLINGO，包含两个协作部分。首部分为NARRATOR，利用LLM将SHAP解释转化为符合用户偏好的自然语言叙述。通过向NARRATOR提供3至5个手写的示例叙述，LLM可以模仿这些样例的风格生成文字。
Zytek指出：“与其让用户定义他们需要什么样的解释，不如让他们直接写下想要看到的内容，这样更简单。”
这种方法使NARRATOR可以通过不同的手写示例轻松适应新的应用场景。
在NARRATOR生成通俗语言解释后，第二部分GRADER会利用LLM根据四项指标对叙述质量进行评估：简洁性、准确性、完整性和流畅性。GRADER会自动将NARRATOR生成的文字与对应的SHAP解释一起输入LLM进行验证。
Zytek表示：“我们发现，即使LLM在执行任务时可能出错，它在验证和检查任务时通常不会出错。”
此外，用户还可以根据需求调整GRADER中各指标的权重。“比如在高风险场景下，可以先考虑准确性和完整性，而降低对流畅性的要求。”她补充道。
化自然语言叙述
对Zytek及其团队来说，调整LLM以生成自然流畅的叙述是他们面临的比较大挑战之一。通常情况下，添加越多的风格控制规则，LLM越容易在解释中引入错误。
“我们在提示调上花了很多时间，一次次发现问题并逐个修复。”她说道。
为测试他们的系统，研究人员使用了九个带有解释的机器学习数据集，并让不同用户为每个数据集撰写叙述。他们用这些样例来评估NARRATOR模仿不同写作风格的能力，同时利用GRADER从简洁性、准确性、完整性和流畅性四个维度对每条叙述进行评分。
比较终，研究表明他们的系统可以生成高质量的自然语言解释，并成功模仿不同的写作风格。
研究结果显示，提供少量手写示例显著提升了叙述风格的质量。然而，这些示例需要非常精心编写。比如，加入“更大”之类的比较词汇，可能会导致GRADER错误地将准确的解释标记为不正确。
基于这些成果，研究团队计划探索更好的技术，以帮助系统更好地处理比较词。此外，他们希望通过为解释加入逻辑推理功能，进一步扩展EXPLINGO的能力。
从长远来看，他们希望将这项研究发展为一个交互式系统，使用户能够就某一解释向模型提出后续问题。
“这在决策过程中非常有帮助。如果用户对模型的预测结果有异议，我们希望他们能迅速判断自己的直觉是否正确，或者模型的直觉是否正确，并找到分歧的来源。”Zytek解释道。

这意味着新野是行业的风向标，能够给人们带来很大的自信心。https://create.xingyeai.com/