宣城网站开发专业制,广州广告公司,江苏建设信息电子证查,天下房产网本文是LLM系列文章#xff0c;针对《Knowledge Graph Prompting for Multi-Document Question Answering》的翻译。 多文档问答中的知识图谱提示 摘要1 引言2 符号3 知识图谱构建4 LM引导的图形遍历器5 实验6 相关工作7 结论 摘要
大型语言模型的“预训练、提示、预测”范式…本文是LLM系列文章针对《Knowledge Graph Prompting for Multi-Document Question Answering》的翻译。 多文档问答中的知识图谱提示 摘要1 引言2 符号3 知识图谱构建4 LM引导的图形遍历器5 实验6 相关工作7 结论 摘要
大型语言模型的“预训练、提示、预测”范式在开放领域问答OD-QA中取得了显著的成功。然而很少有工作在多文档问答MD-QA的场景中探索这种范式这项任务需要彻底理解不同文档的内容和结构之间的逻辑关联。为了填补这一关键空白我们提出了一种知识图谱提示KGP方法用于在MDQA的LLM提示中制定正确的上下文该方法由图构建模块和图遍历模块组成。对于图的构建我们在多个文档上创建一个知识图谱KG其中节点象征段落或文档结构例如页面/表格边表示段落或文档内结构关系之间的语义/词汇相似性。对于图遍历我们设计了一个LM引导的图遍历器它在节点之间进行导航并收集辅助MD-QA中LLM的支持段落。构建的图作为全局标尺调节段落之间的过渡空间减少检索延迟。同时LMguided遍历器充当本地导航器收集相关上下文以逐步处理问题并保证检索质量。大量实验强调了KGP对MD-QA的有效性表明了利用图增强LLM提示设计的潜力。我们的代码位于https://github.com/YuWVandy/KG-LLM-MDQA.
1 引言
2 符号
3 知识图谱构建
4 LM引导的图形遍历器
5 实验
6 相关工作
7 结论
回答多文档问题需要跨各种模式从不同文档中进行知识推理和检索这给LLM应用“预训练、提示和预测”范式带来了挑战。认识到段落之间的逻辑关联和文档中的结构关系可以统一为图形表示我们提出了一种知识图谱提示方法KGP来帮助MDQA中的LLM。KGP从具有描述句子或文档结构的节点和表示其词汇/语义相似性或结构关系的边的文档中构建KGs。由于构建的KGs可能包含不相关的邻居信息我们进一步设计了一个LM引导的图遍历器该遍历器在处理该问题时选择性地访问最有希望的节点。未来我们计划研究LLM理解图拓扑的能力并探索微调/提示LLM编码隐藏在图中的复杂拓扑信号的潜力。
