建设网站公司管备案么,聊城网站建设:推广聊城博达,深圳网站制作的,asp.net.做简单的网站开放域实体抽取泛用工具https://github.com/magicdict/FDDC更新时间 2018年7月16日 By 带着兔子去旅行开发这个工具的起源是天池大数据竞赛#xff0c;FDDC2018金融算法挑战赛02#xff0d;A股上市公司公告信息抽取。这个比赛是针对金融公告开展的信息抽取比赛。在参赛过程中… 开放域实体抽取泛用工具https://github.com/magicdict/FDDC更新时间 2018年7月16日 By 带着兔子去旅行开发这个工具的起源是天池大数据竞赛FDDC2018金融算法挑战赛02A股上市公司公告信息抽取。这个比赛是针对金融公告开展的信息抽取比赛。在参赛过程中萌生出一个念头是否能够开发出一个泛用的信息抽取工具呢信息抽取是NLP里的一个实用内容。该工具的目标是打造一个泛用的自动信息抽取工具。使得没有任何基础的用户可以通过简单的步骤提取文档PDFHTMLTXT中的信息。该工具使用C#(.Net Core)开发所以可以跨平台运行。Python在做大的工程的时候有诸多不便所以没有使用python语言工具原理采用的是开放域实体抽取的方法:使用各种方法尽可能抽取实体然后对于候选内容进行置信度分析打分。基本环境.NetCore2.1LTP组件哈工大LTP3.3.2版PDF转TXT工具 pdfminer分词系统结巴分词ltp工具哈工大LTP工具ltp.ai提供的ltp工具最新版为3.3.4.该工具在windowsmaxcentos上srl的训练可能无法正常完成。dpner阶段没有问题所以这里使用了3.3.2版本。ltp工具的SRL结果中包含了DP和NER的内容但是暂时保留DP和NER中间XML文件。pdfminer请注意处理中文的时候需要额外的步骤具体方法不再赘述。部分PDF可能无法正确转换原因CaseByCase。结巴分词某些地名例如大连会被误判。这里使用地名辅助字典的方式做纠正。ltp工具没有这个问题。ltp工具和结巴分词功能虽然重复但是暂时还不能移除结巴分词。前期准备使用pdfminer将PDF文件转化为Txt文件使用哈工大LTP工具将Txt文件转换为NERDPSRL的XML文件期待文件夹结构html存放HTML文件目录pdf存放PDF文件目录txt存放TXT文件目录dp存放LTP的DP结果XML目录ner存放LTP的NER结果XML目录srl存放LTP的SRL结果XML目录训练词语统计分析待提取信息自身的特征分析待提取信息周围语境的特征LTP工具构建置信度体系词语自身属性长度包含词数首词词性POS词尾语境该关键字在 中文冒号之后的场景下中文冒号前面的内容包含该关键字的句子中该关键字的前置动词包含该关键字的句子中该关键字是否在角色标识中存在训练结果例协议书(5.180388%)[56]
协议(11.84089%)[128]
合同(58.55689%)[633]
合同书(2.960222%)[32]
买卖合同(3.792784%)[41]
承包合同(12.0259%)[130]
意向书(0.2775208%)[3]
补充协议(1.110083%)[12]
项目(0.2775208%)[3]
书(0.9250694%)[10]
议案(0.2775208%)[3]
)(0.8325624%)[9](更多规则持续加入中,同时对于相关度低的规则也会剔除)这里暂时使用频率最高的前5位作为抽取依据。同时为了保证正确率部分特征的占比必须超过某个阈值。以下是中文冒号的一个例子要求前导词占比在40%以上。例如前导词A可以正确抽取10个关键字前导词B可以抽取5个关键字前导词C可以抽取15个关键字。则前导词A的占比为33% e.LeadingColonKeyWordList ContractTraning.ContractNameLeadingDict.Where((x) { return x.Value 40; }) //阈值40%以上.Select((x) { return x.Key ; }).ToArray();表格对于大量表格中的关键字工具也提供了表格统计的功能。主要是统计一下该关键字的表头标题信息。同时由于表格中的原始数据可能需要通过参照表格标题才能进行比对的情况这里支持变换器。除了统计标题之外还可以通过某个标题下面出现的内容。下面的例子是看一下增减持方式有哪些 自然语言处理初步 作者日荒木健治 著徐金安 译 当当 广告 购买 抽取采用各种方法抽取数据务必使得所有数据都抽取出来。根据训练结果从候选值里面获得置信度最大的数据。抽取手段如下具有明确先导词NER实体标识具体语境表格抽取工具内容系代码内置表头规则系的表抽取工具对于表格可以设定如下抽取规则Content:匹配内容IsContentEq:内容匹配规则包含或者相等 /// summary/// 表抽取规则内容系/// /summarypublic struct TableSearchContentRule{ /// summary/// 匹配内容/// /summarypublic ListString Content; /// summary/// 是否相等模式/// /summarypublic bool IsContentEq;}下面是一个表格抽取的例子 var rule new TableSearchContentRule();rule.Content new string[] { 集中竞价交易, 竞价交易, 大宗交易, 约定式购回 }.ToList();rule.IsContentEq true; var result HTMLTable.GetMultiRowsByContentRule(root,rule);表格抽取工具表头规则系代码内置表头规则系的表抽取工具对于表格可以设定如下抽取规则SuperTitle层叠表头的情况下父表头文字IsSuperTitleEq父表头文字匹配规则包含或者相等Title表头文字IsTitleEq表头文字匹配规则包含或者相等IsRequire在行单位抽取时该项目是否为必须项目ExcludeTitle表标题不能包含的文字Normalize抽取内容预处理器下面是一个表格抽取的例子这里我们想抽取持股比例和持股数但是希望抽取的是增持后的部分所以需要使用SuperTitle的规则了。 var HoldList new ListstruHoldAfter(); var StockHolderRule new TableSearchRule();StockHolderRule.Name 股东全称;StockHolderRule.Title new string[] { 股东名称, 名称, 增持主体, 增持人, 减持主体, 减持人 }.ToList();StockHolderRule.IsTitleEq true;StockHolderRule.IsRequire true; var HoldNumberAfterChangeRule new TableSearchRule();HoldNumberAfterChangeRule.Name 变动后持股数;HoldNumberAfterChangeRule.IsRequire true;HoldNumberAfterChangeRule.SuperTitle new string[] { 减持后, 增持后 }.ToList();HoldNumberAfterChangeRule.IsSuperTitleEq false;HoldNumberAfterChangeRule.Title new string[] { 持股股数,持股股数, 持股数量,持股数量, 持股总数,持股总数,股数}.ToList();HoldNumberAfterChangeRule.IsTitleEq false; var HoldPercentAfterChangeRule new TableSearchRule();HoldPercentAfterChangeRule.Name 变动后持股数比例;HoldPercentAfterChangeRule.IsRequire true;HoldPercentAfterChangeRule.SuperTitle HoldNumberAfterChangeRule.SuperTitle;HoldPercentAfterChangeRule.IsSuperTitleEq false;HoldPercentAfterChangeRule.Title new string[] { 比例 }.ToList();HoldPercentAfterChangeRule.IsTitleEq false; var Rules new ListTableSearchRule();Rules.Add(StockHolderRule);Rules.Add(HoldNumberAfterChangeRule);Rules.Add(HoldPercentAfterChangeRule); var result HTMLTable.GetMultiInfoByTitleRules(root, Rules, false);EntityProperty对象EntityProperty对象属性如下PropertyName属性名称PropertyType属性类型数字金额字符日期MaxLength最大长度MinLength最小长度MaxLengthCheckPreprocess最大长度判定前预处理器不改变抽取内容LeadingColonKeyWordList先导词包含LeadingColonKeyWordCandidatePreprocess先导词预处理器改变抽取内容QuotationTrailingWordList:引号和书名号中的词语DpKeyWordList句法依存环境ExternalStartEndStringFeature普通的开始结尾词判定CandidatePreprocess:一般候选词预处理器改变抽取内容struRegularExpressFeature正则表达式特征检索条件ExcludeContainsWordList不能包含词语列表ExcludeEqualsWordList不能等于词语列表Confidence置信度对象简单关键字抽取对于一些及其简单的关键字抽取例如出现现金认购则将认购方法标记为现金则可以使用KeyWordMap属性即可。实体位置体系在寻在实体的时候尽可能的将找到的实体及其位置进行记录下面的结构体则是一个实体的记录。 /// summary/// 位置和值/// /summarypublic struct LocAndValueT{ /// summary/// HTML整体位置/// /summarypublic int Loc; /// summary/// 开始位置/// /summarypublic int StartIdx; /// summary/// 值/// /summarypublic T Value; /// summary/// 类型/// /summarypublic string Type;}下面则是一个实体位置的应用。公司里面放着所有公司实体的位置标的则放着百分比 “股权”字样的实体。通过位置信息则可以将“公司”和“标的”成对发现。参考文献自然语言处理和信息抽取鸣谢感谢阿里巴巴组委会提供标注好的金融数据。感谢组委会通联数据_梅洁,梅童的及时答疑。感谢微信好友 邓少冬 潘昭鸣 NLP宋老师 的帮助和指导原文地址https://www.cnblogs.com/TextEditor/p/9322845.html.NET社区新闻深度好文欢迎访问公众号文章汇总 http://www.csharpkit.com
