海报素材库网站免费,影视作品网站开发与设计,做邮轮的网站,网站建设案例信息目录 0 写在前面1 文档图像分析新重点2 token荒#xff1a;电子文档助力大模型3 大模型赋能智能文档分析4 文档图像大模型应用可能性4.1 专有大模型4.2 多模态模型4.3 设计思路 总结 0 写在前面
中国智能产业高峰论坛(CIIS2023)旨在为政企研学各界学者专家提供同台交流的机会… 目录 0 写在前面1 文档图像分析新重点2 token荒电子文档助力大模型3 大模型赋能智能文档分析4 文档图像大模型应用可能性4.1 专有大模型4.2 多模态模型4.3 设计思路 总结 0 写在前面
中国智能产业高峰论坛(CIIS2023)旨在为政企研学各界学者专家提供同台交流的机会在成果分享、观点碰撞、经验互鉴中共促智能科技引领行业创新变革、驱动数字经济快速发展。本次高峰论坛聚焦大模型、元宇宙、行业智能化、数字安全、智慧教育等热门议题吸引了政府机构、高等院校、科研院所、科技企业等产业各方代表参会交流。此次论坛围绕当前人工智能产业领域的热点话题、核心技术以及社会关注的问题研究探讨人工智能发展趋势及面临的机遇与挑战是一次沟通交流、开阔眼界的难得机会。
合合信息作为文档图像处理领域的代表性科技企业在本次高峰论坛中分享了关于文档图像处理与大语言模型相结合的应用前景让我们一起看看吧
1 文档图像分析新重点
随着信息技术的发展和应用场景的不断扩大人们需要处理和利用大量的文档信息。而传统的手动处理方法效率低下无法满足现代生活和工作的需求。文档图像智能分析与处理就是一个重要且极具挑战性的研究问题。合合信息的丁凯博士指出 虽然文档图像分析已经有了将近一百年的历史但是到目前为止仍有大量的问题没有得到很好地解决 例如文档的多样性和复杂性问题文档类型和格式繁多包括报告、合同、发票、证明、证件等等。不同类型的文档有不同的格式和布局难以用统一的方法处理。而且智能文档处理受到图像质量、文字字体、文字大小、文字颜色等噪声因素的影响容易出现误识别。此外还有图像质量不一、文档获取繁琐等等。 在传统方法中针对这些问题已经有了相应的解决方案。随着大语言模型的快速发展能否和这些传统方法相结合发挥出更强大的优势注入更鲜活的生命力呢丁凯博士对此进行了进一步的探讨和分析相信对这个领域感兴趣的同学一定有所收获 2 token荒电子文档助力大模型
通用大语言模型(Large Language Model, LLM)就是AIGC技术中的核心模型之一。如今以Transformer架构和注意力机制为基础的大语言模型使用大规模数据集进行训练以学习语言的语法、语义和上下文并能够生成连贯、具有逻辑性的文本回复
从2018年GPT约1.2亿的参数量到2019年GPT2的15亿参数再到2022年InstructGPT超1750亿的规模在信息时代的浪潮中大语言模型正以惊人的速度和无限的创造力引领着人工智能的新纪元 图源网络侵删 在信息时代的浪潮中大语言模型正以惊人的速度和无限的创造力引领着人工智能的新纪元。大语言模型不仅能够理解和分析人类语言还能够生成高质量、富有创意的文本。从写作助手到内容创作从自动化客服到医疗诊断它们正在推动各行各业的创新。 这些模型不断通过海量数据进行自我学习不断提升自己的表现。它们能够从多个领域的知识中吸取灵感生成创新性的想法和解决方案
虽然大语言模型正在改变人工智能发展的范式但丁凯博士指出了阻碍大语言模型进步的瓶颈问题——token荒有机构预测到2026年全世界可以用于做大模型训练的高质量语料将被耗尽。 图源网络侵删 在这种情况下电子文档对大语言模型训练就产生了重要意义。首先电子文档作为海量的语言数据源提供了丰富多样的文本内容。这些文档涵盖了各种领域的知识、专业术语、实际应用场景等。将电子文档作为语料库可以使得大语言模型在训练过程中接触到更广泛、多样化的语言表达提高其语言理解和生成能力其次电子文档通常被精心编写、编辑和组织具有较高的语言质量和结构性。这些文档中的标注、标题、章节、段落等信息可以为大语言模型提供更可靠的上下文提示和语言规则帮助模型更好地理解和生成文本。此外通过使用电子文档进行训练大语言模型能够学习到不同的语境和用法更好地理解和应对各种现实世界的语言任务和挑战。所以合理地将电子文档与大语言模型相结合能够更好地应对token荒问题并推动语言模型技术的发展
考虑到电子文档中存在大量的扫描件因此文档图像处理技术的发展与大语言模型的进步密切相关
3 大模型赋能智能文档分析
针对大语言模型助力智能文档分析丁凯博士举了两个例子多模态GPT4处理文档图像以及多模态Google Bard处理文档图像。从结果来看大模型能够识别文档图像中的关键信息、主题、实体等并抽取文档中的重要段落、关键句子和核心观点。这种对语言的理解赋予了智能文档处理系统强大的问题解答能力。用户可以通过提问来获取关于文档内容、特定领域知识或技术问题的准确答案 GPT4和Google Bard都能在测试样例上很好地完成任务例如解答数学题、进行图像到表格的转换等。这对于现有的文档处理技术来说并不容易因为传统文档图像处理主要关注于对文档图像的识别、提取和分析但对于文本内容的语义理解和生成能力有限。而多模态大模型通过深度学习技术能够理解和生成自然语言文本具备更强大的语义理解和生成能力。它能够更好地理解文档中的语言内容、上下文和逻辑从而实现更高级别的文档处理任务。另一个方面大语言模型通过在大规模语料库上进行训练能够掌握丰富的背景知识和语言模式。与此相比传统文档图像处理往往只能基于特定规则或固定模板进行处理缺乏上下文感知和灵活性。因此大语言模型能够更好地理解文档内容的复杂性和多样性适应不同领域和应用场景的需求
然而目前多模态大模型赋能智能文档分析仍有很大的局限性。丁凯博士提到显著文本(Salient Text)和密集文本(Dense Text)的概念这两种文本描述了文档图像中的不同类型信息 显著文本指的是在文档图像中相对于背景而言较为显著、突出的文本区域。这些文本通常具有明显的颜色、对比度或其他视觉特征与周围的背景有较大的差异引起人们注意。例如在一份页面扫描的文档中显著文本可能是标题、副标题、重要段落或引导性信息等密集文本指的是文档图像中布满、大量存在的文本区域。这些文本通常由连续的文字块组成没有明显的分隔或边界。例如在报纸、杂志、书籍等文档的页面图像中正文内容通常会形成密集的文本区域 目前多模态大模型在密集文本处理方面几乎不能使用一个很重要的原因是多模态大模型主要基于文本进行语义理解对于视觉感知和图像特征的提取能力有限。在处理密集文本时相邻的文本可能会重叠、相互遮挡或无明显的边界这需要对视觉特征进行准确地提取和分析大语言模型的主要优势是在自然语言文本处理方面而不是直接处理视觉信息。因此在图像文档处理方面由于视觉感知限制和文字识别困难大语言模型并不适合直接应用于该领域。在处理密集文本时需要借助于文本检测、分割和OCR等专门的技术和算法来实现准确的文本识别和提取
4 文档图像大模型应用可能性
接着丁凯博士对现有的文档图像大模型进行了综述为我们把握了当前领域的前沿发展方向。现有模型主要分为两类文档图像专有大模型以及多模态模型
4.1 专有大模型
微软的LayoutLM系列模型是基于Transformer架构的大型预训练模型专门用于文档布局分析和文本识别任务。LayoutLM结合了自然语言处理和计算机视觉技术使其能够同时处理文本和图像信息。它通过对文档图像的布局进行建模识别文本框、文字位置和语义信息并将它们融合在一起进行训练和推理。而且通过微调LayoutLM可以在不同的领域和任务上进行跨域迁移学习适应更多下游任务 LiLT是合合信息联合华南理工大学共同研究的一种多模态信息抽取框架。采用了解耦联合建模的方法将视觉和语言信息分别送入对应的模型中进行处理。通过双向互补注意力模块(BiCAM)使视觉和文本这两个模态之间的权重可以自适应地调整提高了模型的泛化能力和适应性更好地融合了两者的信息。该框架在多语言小样本、零样本场景下表现出优越的性能 然而文档图像专有大模型由于大多是预训练模型其迁移能力可能受限于特定领域和任务。端到端的多模态模型往往可以更好地适应不同领域和任务的需求具有更大的迁移能力。
4.2 多模态模型
多模态文档图像处理大模型BLIP2设计了以下三个组件
图像编码器使用诸如ViT的预训练图像编码器将图像块转换为具有空间位置信息的向量表征从而将图像的视觉特征编码为一系列更高维度的语义向量表示LLM解码器采用诸如OPT和FlanT5的LLM解码器处理文本任务这些解码器在大规模语言数据上进行预训练能够理解文本的语义和结构并生成与输入文本相关的输出Q-Former连接Q-Former是一种轻量级的Transformer架构在BLIP2中可以看作是一个将图像信息和文本信息进行多层次注意力机制融合的模块。它的主要作用是将图像的视觉特征和文本的语义信息进行融合通过自适应地调整权重来促进两者之间的交互与对齐
BLIP2的设计充分利用了图像和文本的互补性使得BLIP2能够同时处理文档图像中的视觉和语义信息从而在多模态文档图像处理任务中取得出色的性能表现。同时通过训练Q-Former部分BLIP2大大减少了整个模型的复杂性和计算成本提高了模型的可训练性和实用性 除此之外还有众多的多模态大模型用于处理文档图像问题。例如Google DeepMind的Flamingo增加了门控注意力层引入视觉信息 微软的LLaVA 将CLIPViT-L和LLaMA采用全连接层连接使用GPT-4和Self-Instruct2生成高质量的158k instruction following数据MiniGPT-4采用ViTQ-Former构建视觉通路、采用Vicuna构建语言通路再使用全连接层衔接两大模态 然而目前多模态大模型用于OCR领域仍然具有局限性。细粒度文本通常指的是文字较小、笔画细致、字形复杂的文本如签名、古汉字、特殊符号等。这类文本在OCR领域中往往是非常具有挑战性的因为它们往往涉及到字形和结构上的细微差异很难直接从图像中提取出精确的文字信息。此外在真实场景下这些细粒度文本可能会受到光照、噪声、变形等各种干扰这也增加了文字识别的难度。多模态大模型中的视觉编码器通常基于卷积神经网络或Transformer等模型在处理图像时会受到分辨率的限制另一方面由于训练数据集中缺少针对细粒度文本的标注数据模型很难从数据中学到有效的细粒度文本特征表示。因此现有多模态大模型对显著文本的处理较好但是对于细粒度文本的处理很差要克服这些局限性需要开展更深入的研究和探索
4.3 设计思路
丁凯博士给出了文档图像大模型的设计思路主要是将文档图像识别分析的多种任务通过序列预测的方式进行处理。具体来说将每个任务所涉及的元素定义为一个序列并设计相应的prompt来引导模型完成不同的OCR任务。例如对于文本识别任务可以使用prompt 识别文本: 并将待处理的文本序列作为输入对于段落分析任务则可使用prompt 分析段落并将段落序列作为输入等等。这种方式可以保持一致的输入格式方便模型进行多任务的处理。
此外这个设计思路还支持篇章级的文档图像识别分析可以输出Markdown/HTML/Text等标准格式这样可以更好地适应用户的需求。同时将文档理解相关的工作交给大语言模型这意味着模型可以自动进行篇章级的文档理解和分析从而提高了文档图像处理的效率和准确性。 总的来说这种设计思路充分利用了序列预测的优势在保持输入格式的统一性的同时能够更好地解决文档图像处理中的多样化任务需求并且通过与LLM的结合实现了更高层次的文档理解和分析为文档图像处理领域带来了更多可能性。
总结
看到智能文档处理与前沿技术结合的可能性我感到非常兴奋。我相信前沿技术的相互碰撞将为用户带来更智能化、高效率和个性化的文档处理体验。未来随着技术的不断进步这种结合将在商业、教育、科研等领域发挥越来越重要的作用。让我们拭目以待期待合合信息在模式识别、深度学习、图像处理、自然语言处理等领域的深耕厚积薄发用技术方案惠及更多的人
