基于中文医药文本的实体识别和图谱构建
Entity extraction and graph construction based on Chinese medical text
-
摘要: 知识图谱技术促进了新药研发的进展，但国内研究起点晚且领域知识多以文本形式存储，图谱重用率低。因此，本研究基于多源异构的医药文本，设计了以Bert-wwm-ext预训练模型为基础，并融合级联思想的中文命名实体识别模型，从而减少了传统单次分类的复杂度，进一步提高了文本识别的效率。实验结果显示，该模型在自建的训练语料上的F1分数达0.903，精确率达89.2%，召回率达91.5%。同时，将模型应用于公开数据集CCKS2019上，结果显示该模型能够更好地识别中文文本中的医疗实体。最后，利用此模型构建了一个中文医药知识图谱，图谱包含13 530个实体，10 939个属性，以及39 247个相关关系。本研究所提出的中文医药实体识别与图谱构建方法，有望助力研究者加快医药知识新发现，从而缩短新药研发进程。
-
关键词:
- 中文医药文本 /
- 命名实体识别模型 /
- Bert-wwm-ext预训练模型 /
- 级联思想 /
- 知识图谱
Abstract: Knowledge graph technology has promoted the progress of new drug research and development, but domestic research starts late and domain knowledge is mostly stored in text, resulting in low rate of knowledge graph reuse.Based on multi-source and heterogeneous medical texts, this paper designed a Chinese named entity recognition model based on Bert-wwm-ext pre-training model and also integrated cascade thought, which reduced the complexity of traditional single classification and further improved the efficiency of text recognition.The experimental results showed that the model achieved the best performance with an F1-score of 0.903, a precision of 89.2%, and a recall rate of 91.5% on the self-built dataset.At the same time, the model was applied to the public dataset CCKS2019, and the results showed that the model had better performance and recognition effect.Using this model, this paper constructed a Chinese medical knowledge graph, involving 13 530 entities, 10 939 attributes and 39 247 relationships of them in total.The Chinese medical entity extraction and graph construction method proposed in this paper is expected to help researchers accelerate the new discovery of medical knowledge, and shorten the process of new drug discovery. -
氟溴唑仑（flubromazolam，Flub）是通过改造阿普唑仑结构获得的一种新型苯二氮䓬类精神活性物质，其化学结构与阿普唑仑（alprazolam）类似，是在阿普唑仑结构8位添加了一个氟原子，并用溴取代了2′位氯原子。据报道，Flub具有快速且持久的中枢抑制作用，可使人体暂时性遗忘、昏迷、呼吸抑制[1]。2014年，德国首次发现Flub在人群中滥用[2]。2018年，中国也监测到Flub滥用[3]。2019–2021年，美国缉毒局（DEA）报告Flub滥用的案例逐年增加[4−6]。目前，关于Flub研究主要集中在定性定量分析及其代谢动力学等方面[7−10]，其成瘾性及其机制尚不清楚。本研究拟建立小鼠条件性位置偏好（CPP）模型，以CPP评分评价Flub的奖赏效应，并检测腹侧被盖区（VTA）多巴胺（DA）能神经元以及喙内侧被盖核（RMTg）→VTA神经环路对Flub奖赏效应调控作用，为深入了解Flub成瘾性、开发安全有效的防治方法奠定基础。
1. 材 料
1.1 药品与试剂
氟溴唑仑（国家禁毒委员会办公室-中国药科大学禁毒关键技术联合实验室提供）；羟丙基-β-环糊精，氟马西尼(flumazenil，FMZ)（上海源叶生物科技有限公司）；氯氮平-N-氧化物（clozapine-n-oxide，CNO）（美国MCE公司）；异氟烷（深圳瑞沃德生命科技有限公司）；驴血清（江苏碧云天生物科技有限公司）；酪氨酸羟化酶（tyrosine hydroxylase，TH）抗体（美国CST公司）；c-Fos抗体（美国 Abcam公司）；Alexa Fluor 594标记驴抗兔IgG，Alexa Fluor 488标记山羊抗小鼠IgG（上海翌圣生物科技有限公司）；4',6-二脒基-2-苯基吲哚（4',6-diamidino-2-phenylindole，DAPI，北京索莱宝科技有限公司）；其他试剂均为市售分析纯。
1.2 工具病毒信息
腺相关病毒包括AAV-TH-hM4Di-mCherry、AAV-GAD67-hM3Dq-mCherry、AAV-GAD67-hM4Di-mCherry、retro-AAV-GAD67-Cre-EGFP、retro-AAV-VGAT1-Cre、AAV-hSyn-DIO-hM3Dq-mCherry，均购自武汉枢密脑科学技术有限公司。AAV-TH-hM4Di-mCherry用于化学遗传调控VTA DA能神经元和相关环路；AAV-hSyn-DIO-hM3Dq-mCherry和retro-AAV-VGAT1-Cre用于化学遗传调控RMTg→VTA环路；AAV-GAD67-hM3Dq-mCherry用于顺向追踪RMTg脑区神经元的投射；retro-AAV-GAD67-Cre-EGFP用于VTA脑区神经元逆向追踪；AAV-GAD67-hM4Di-mCherry用于化学遗传调控RMTg→VTA环路。
1.3 仪 器
电子分析天平（德国Sartorius公司）；倒置荧光显微镜，组织包埋机及石蜡切片机，CM1950冰冻切片机（德国Leica仪器有限公司）；ANY-maze动物行为采集分析软件（美国Stoelting公司）。
1.4 动 物
C57BL/6J小鼠，SPF级，8周龄，体重20~25 g，由南京青龙山动物繁殖中心提供，合格证号：SCXK(浙)2019-0002。实验动物饲养于12 h昼夜交替的环境中，室温维持在（24±1）℃，湿度（55±5）%，动物可以自由饮水和摄食，实验开始前先适应性饲养1周。对动物的所有处理均遵循动物伦理委员会标准。
2. 方 法
2.1 小鼠CPP实验模型
实验装置由两个大小相同的正方体（24 cm×24 cm×30 cm）和一个长方体中间室（24 cm×10 cm×30 cm）构成，两个正方体的内壁颜色及底板触感不同，三室所连接隔板取出后小鼠可以在三室自由探索，实验开始时将小鼠从中间室放入，第1天和第2天将隔板取出，让小鼠在装置中自由探索15 min，第1天让小鼠熟悉实验环境，第2天进行前测，记录小鼠在初始偏好侧和初始非偏好侧（药物配对侧）的停留时间，第3~10天将隔板插入，第3，5，7，9天腹腔注射Flub后放入初始非偏好室训练40 min，第4，6，8，10天腹腔注射对照溶液后放入初始偏好室训练40 min。第11天进行测试，隔板取出后将小鼠从中间室放入，让小鼠在实验装置里探索15 min，记录小鼠在各室的停留时间，计算条件性位置偏好评分（CPP评分=测试时小鼠在药物配对侧停留时间–前测时小鼠在药物配对侧停留时间）。在化学遗传学实验中，将腺相关病毒注入目标脑区，病毒表达3~4周，在每次药物配对侧训练前30 min，腹腔注射CNO（2 mg/kg）或套管给予CNO（3 μmol/L，每侧200 nL）。氟马西尼（0.2 nmol/L，每侧200 nL）在每次药物配对侧训练前10 min套管注入RMTg脑区。
2.2 免疫荧光染色
用异氟烷气体吸入麻醉动物，分别用PBS和4%多聚甲醛心脏灌注，分离脑组织，用4%多聚甲醛固定48 h后，包埋、切片，石蜡切片厚度为8 μm，冰冻切片厚度为25 μm。石蜡组织切片在免疫荧光染色前进行抗原修复，脑片在4 ℃条件下孵育TH抗体（1∶500）、c-Fos抗体（1∶300）。4 ℃过夜后，PBS清洗切片3次，每次10 min，室温下避光孵育二抗2 h，用PBS清洗3次，每次10 min，随后孵育DAPI染色液（1∶100），10 min后PBS洗片3次，每次5 min。脑片干燥后滴加防猝灭剂封片，在荧光显微镜下观察。
2.3 脑立体定位注射
用异氟烷气体吸入麻醉动物，用宠物剃毛刀将小鼠头部毛发剔除，放置于定位框架上，碘伏消毒，随后用手术剪刀将小鼠头皮剪开大约1 cm小口，用颅骨钻在合适位置钻孔，脑立体定位注入工具病毒后用可吸收缝合线缝合。病毒注射位点为AP：–3.28 mm，ML：±0.5 mm，DV：–4.4 mm（VTA）；AP：–4.04 mm，ML：±0.3 mm，DV：–4.3 mm（RMTg）注射病毒100 nL，表达3~4周后用于后续化学遗传学实验。
2.4 脑立体定位植入套管及经管给药
用异氟烷气体吸入麻醉动物，剔除小鼠头部毛发，放置于定位框架上，碘伏消毒，随后用手术剪刀将小鼠头皮剪开大约1 cm小口，用颅骨钻在目标区域上方钻孔，磨薄颅骨表面，拧上经酒精消毒的螺丝钉，将套管固定于套管夹持器上，待下落到目标区域后用牙科水泥固定，术后恢复1周再进行后续实验。通过注射内管将药物缓慢注入目标脑区，完成注射后将停针5 min，随后缓慢拔出注射内管，旋紧套管帽将小鼠放回笼中，待小鼠在笼内适应10 min后再进行药物配对训练。
2.5 数据分析
采用GraphPad Prism 9统计学软件对研究数据进行统计分析。计量资料以$ \bar{x} $±s表示，两组数据的比较用非配对t检验，两组以上数据组间比较采用单因素方差分析（One-Way ANOVA）检验或双因素方差分析（Two-Way ANOVA）检验。P<0.05表示差异具有统计学意义。
3. 结 果
3.1 Flub诱导小鼠CPP模型的建立
CPP 是一种巴甫洛夫条件反射形式，用于研究与滥用药物相关的奖赏效应。采用隔天训练的CPP范式，其实验流程见图1-A。剂量摸索实验发现，3 mg/kg Flub诱导小鼠CPP评分显著升高（P<0.05），而1、2和4 mg/kg Flub组小鼠CPP评分与对照组小鼠相比无显著性差异（图1-B）。
![]()
Figure 1. Effects of flubromazolam (Flub) at different dosages on conditioned place preference (CPP) score in miceA: Experimental timeline for CPP procedure; B: CPP scores of Flub at the dosage of 1，2，3 and 4 mg/kg（$ \mathit{\bar{\rm{\mathit{x}}}\mathit{\mathit{ }}} $±s, n=11）*P<0.053.2 抑制VTA中多巴胺能神经元活性降低Flub诱导的CPP评分
VTA多巴胺能神经与药物引起的奖赏效应密切相关。采用免疫荧光检测VTA多巴胺能神经元c-Fos水平。结果显示，Flub诱导CPP小鼠VTA脑区c-Fos阳性细胞数较对照组显著增加（P<0.001）（图2-A ,B），而且c-Fos阳性神经元主要与TH阳性神经元共定位（P<0.01）（图2-A,C）。在VTA中注射携带多巴胺能神经元启动子的化学遗传抑制病毒AAV-TH-hM4Di-mCherry（图2-D,E），此病毒可在VTA DA能神经元上特异性表达带有红色荧光、经过改造的人M4毒蕈碱乙酰胆碱受体（hM4Di）。在药物配对侧训练前30 min腹腔注射CNO，通过hM4Di与特异性配体 CNO结合，特异性抑制VTA中多巴胺能神经元活性。行为学结果显示，化学遗传学抑制VTA中多巴胺能神经元，Flub诱导的小鼠CPP评分显著下降（P<0.05）（图2-F）。结果说明VTA多巴胺能神经元参与且调控Flub诱导的小鼠CPP。
![]()
Figure 2. Inhibition of ventral tegmental area (VTA) dopaminergic neuronal activity decreased Flub-induced CPP score A: Representative images showing c-Fos-positive cells and co-localization of c-Fos-positive neurons with tyrosine hydroxylase (TH); B: Statistical plot of number of c-Fos-positive neurons($ \mathit{\mathit{\bar{\mathrm{\mathit{x}}}\mathit{\mathit{\mathit{ }}}}} $±s,n=5); C: Statistical plot of co-localization of c-Fos-positive neurons with TH-positive neurons($ \bar{\mathrm{\mathit{x}}} $±s,n=5); D: Schematic diagram of virus injection; E:Expression of TH-hM4Di-mCherry (red) in the VTA; F: CPP score under chemogenetic inhibition of dopaminergic neurons in VTA of mice treated with Flub ($ \bar{\mathrm{\mathit{x}}} $±s,n=10)*P<0.05, **P<0.01, ***P<0.001,****P<0.00013.3 RMTgGABA→VTADA神经环路调控Flub诱导的小鼠CPP
由于VTA多巴胺能神经元接受VTA尾部RMTg的抑制性神经元投射，在RMTg注射携带GABA能神经元启动子的顺行红色荧光病毒AAV-GAD67-hM3Dq-mCherry（图3-A,B），此病毒可在RMTg GABA能神经元的胞体和轴突特异性表达红色荧光蛋白。病毒表达3周后显微镜观察显示，下游VTA脑区中可见由上游投射的大量红色输入细胞（图3-C）。在VTA注射逆行绿色荧光病毒retro-AAV-GAD67-Cre-EGFP（图3-D,E），此病毒可在上游GABA能神经元轴突和胞体中表达。病毒表达3周，显微镜观察可见RMTg脑区大量绿色病毒荧光（图3-F）。这些实验结果验证了RMTgGABA→VTADA神经环路的存在。
![]()
Figure 3. Suppression of rostrum tegmental nucleus (RMTg) inhibitory projections to VTA dopaminergic neurons is necessary for Flub-induced CPP A,D: Schematic diagram of virus injection; B: Expression of GAD67-mCherry (red) in the RMTg; C: mCherry-positive neuronal fibers from VTA-projecting RMTg γ-aminobutyric acid (GABA) neurons; E: Expression of EGFP(green) in the VTA; F:Expression of EGFP in the RMTg; G: Schematic diagram of virus injection; H: The expression of DIO-hM3Dq-mCherry (red) in the RMTg; I: CPP score in chemogenetic activation of RMTgGABA→VTA ($ \mathit{\bar{\mathrm{\mathit{x}}}\mathit{\mathit{\mathit{\mathit{ }}}}} $±s,n=10); J: Schematic diagram of virus injection; K: Representative diagram of cannula track in the VTA; L: CPP score in chemogenetic inhibitions of RMTgGABA→VTA and dopaminergic neurons in VTA($ \mathit{\bar{\mathrm{\mathit{x}}}\mathit{\mathit{\mathit{ }}}} $±s,n=12)**P<0.01为探究RMTgGABA→VTADA环路对Flub诱导的小鼠CPP是否有调控作用，在RMTg注射Cre依赖的红色荧光病毒AAV-hSyn-DIO-hM3Dq-mCherry，在VTA中注射retro-AAV-VGAT1-Cre病毒（图3-G,H），AAV-hSyn-DIO-hM3Dq-mCherry在 Cre 重组酶的作用下可在RMTg GABA 能神经元中特异性表达红色荧光蛋白和经改造的人M3 毒蕈碱受体（hM3Dq），通过给予特异性配体 CNO ，可启动下游 G蛋白信号通路，兴奋 GABA 能神经元。病毒表达3周后进行CPP实验，在药物配对侧训练前30 min腹腔给予CNO激活该环路。实验结果显示，激活环路RMTgGABA→VTADA后Flub诱导的小鼠CPP评分显著下降（P<0.01）（图3-I）。 此外，在RMTg注射AAV-GAD67-hM4Di-mCherry，在VTA注射AAV-TH-hM4Di-mCherry病毒，病毒表达3周后在VTA植入套管（图3-J），1周后进行CPP实验，在药物配对侧训练前30 min通过套管在VTA注射CNO（图3-K），通过hM4Di与特异性配体 CNO 结合，抑制该环路和VTA中多巴胺能神经元。实验结果显示，抑制RMTgGABA→VTADA环路和VTA多巴胺能神经元后Flub诱导的小鼠CPP评分与对照组相比，差异无统计学意义（图3-L）。这说明RMTgGABA→VTADA环路是通过VTA多巴胺能神经元调控Flub诱导的小鼠CPP。
3.4 Flub通过RMTg中的苯二氮䓬受体产生奖赏效应
为了探究Flub是否作用于RMTg脑区苯二氮䓬受体（亦称GABAA受体）产生奖赏效应，在RMTg植入套管（图4-A,B），1周后进行CPP实验，在药物配对侧训练前10 min通过套管在RMTg注入苯二氮䓬受体拮抗剂FMZ。实验结果显示，FMZ阻断RMTg中的苯二氮䓬受体显著降低Flub诱导的小鼠CPP评分（图4-C），这说明RMTg中的苯二氮䓬受体参与Flub诱导的奖赏效应。
![]()
Figure 4. Intra-RMTg infusion of flumazenil (FMZ) significantly reduced Flub-induced CPP score A: Schematic diagram of cannula track in the RMTg; B: Representative diagram of cannula track in the RMTg; C: CPP score in intra-RMTg of FMZ 10 min before administration of Flub (ip)($ \bar{\mathrm{\mathit{x}}} $±s,n= 9)**P<0.014. 讨 论
Flub属于未经批准上市的苯二氮䓬类新精神活性物质，其药理作用与阿普唑仑相似。本研究发现，Flub以3 mg/kg剂量腹腔注射4次小鼠CPP评分显著增加，而1 或2 mg/kg给药4次不能诱导小鼠CPP评分显著增加。Flub 4 mg/kg给药使小鼠出现反射减弱、镇静、呼吸抑制等中枢抑制作用，也不能诱导小鼠CPP评分显著增加。说明该药物的奖赏效应与剂量有关，这也从动物实验水平初步解释了Flub服用者描述在服药后感受到欣快感[11]。
精神活性物质所产生的欣快感在成瘾中起正性强化作用，VTA是药物奖赏的重要脑区，VTA多巴胺能神经元投射作用于伏隔核、杏仁核和前额叶皮层等多个脑区，形成中脑边缘奖赏系统，在成瘾药物诱导的奖励驱动行为过程中发挥重要作用[12]。化学遗传学抑制VTA中多巴胺能神经元可以降低Flub诱导的小鼠CPP评分，证实了VTA 多巴胺能神经元参与Flub诱导的奖赏效应。有研究表明苯二氮䓬类药物作用于GABAAα1亚基导致成瘾[13]，因此，推测Flub可能通过与VTA上游脑区GABA能神经元GABAA受体结合，进而抑制GABA能神经元的活性，解除对VTA中多巴胺能神经元的抑制作用，从而使VTA多巴胺能神经元兴奋性增加，产生奖赏效应。RMTg是VTA多巴胺神经元抑制性GABA能输入的主要来源[14]，越来越多研究表明，RMTg参与调节奖赏、动机、厌恶和行为回避[15−21]。Jalabert等[22]通过在RMTg注入顺行示踪剂或VTA注入逆行示踪剂来探究RMTg-VTA路的联系，发现在VTA中有顺行示踪剂，而在RMTg中检测到逆行示踪剂。本研究通过化学遗传学激活RMTgGABA→VTADA神经环路显著抑制Flub诱导的小鼠CPP，在RMTg经套管给予FMZ，阻断苯二氮䓬受体，也能够抑制Flub诱导的小鼠CPP。这提示Flub分布到RMTg 脑区，通过激动GABA能神经元GABAA受体，减少抑制性神经冲动至VTA多巴胺能神经元，使VTA多巴胺能神经元兴奋，产生奖赏效应。
综上所述，本研究采用评价药物精神依赖性的经典CPP动物模型，从分子、神经核团和神经环路水平揭示了Flub诱导奖赏效应的机制，为进一步研究Flub成瘾机制以及防治方法奠定了实验基础。
-
[1] Mohamed SK, Nová?ek V, Nounu A. Discovering protein drug targets using knowledge graph embeddings[J]. Bioinformatics, 2020, 36(2): 603-610. [2] Lukashina N, Kartysheva E, Spjuth O, et al. SimVec: predicting polypharmacy side effects for new drugs[J]. J Cheminform, 2022, 14(1): 49. [3] Li ZX. Relocation of Parkinson''s disease drugs based on knowledge graph[J]. Inf Technol (信息技术与信息化), 2022(7): 28-32. [4] Wu XD, Sheng SJ, Jiang TT, et al. Huapu-CP:From knowledge graphs to a data central-platform[J]. JAS (自动化学报), 2020(10): 2045-2059. [5] Fan YY, Li ZM. Research and application progress of Chinese medical knowledge graph[J]. J Front Comput Sci Technol (计算机科学与探索), 2022, 16(10): 2219-2233. [6] Qi GL, Gao H, Wu TX. Research progress of knowledge map[J]. Inf Eng(情报工程), 2017, 3(1): 4-25. [7] Ma XG. Knowledge graph construction and application in geosciences: a review[J]. Comput Geosci, 2022, 161: 105082. [8] Li ZW, Ding Y, Hua ZY, et al. Knowledge graph completion model based on triplet importance integration[J]. Comput Sci (计算机科学), 2020, 47(11): 231-236. [9] Hu JH, Zhao WQ, Fang A. Research on clinical text processing and knowledge discovery method based on medical big data[J]. China Digit Med (中国数字医学), 2020, 15(7): 11-13, 88. [10] Guo XY, He TT. A survey of information extraction[J]. Comput Sci (计算机科学), 2015, 42(2): 14-17,38. [11] de Aquino Silva R, da Silva L, Dutra ML, et al. An improved NER methodology to the Portuguese language[J]. Mobile Netw Appl, 2021, 26(1): 319-325. [12] Liu P, Guo YM, Wang FL, et al. Chinese named entity recognition: the state of the art[J]. Neurocomputing, 2022, 473: 37-53. [13] Wu ST, Liu HF, Li DC, et al. Unified Medical Language System term occurrences in clinical notes: a large-scale corpus analysis[J]. J Am Med Inform Assoc, 2012, 19(e1): e149-e156. [14] Friedman C, Alderson PO, Austin JH, et al. A general natural-language text processor for clinical radiology[J]. J Am Med Inform Assoc, 1994, 1(2): 161-174. [15] Chiticariu L, Krishnamurthy R, Li YY, et al. Domain adaptation of rule-based annotators for named-entity recognition tasks[C]// Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing .Cambridge, Massachusetts . New York: ACM, 2010: 1002–1012.[16] Eddy SR. Hidden Markov models[J]. Curr Opin Struct Biol, 1996, 6(3): 361-365. [17] Lafferty J, McCallum A, Pereira F. Conditional random fields: probabilistic models for segmenting and labeling sequence dat[C]. ICML . New York:Association for Computing Machinery, 2001:282-289.[18] Cortes C, Vapnik V. Support-vector networks[J]. Mach Learn, 1995, 20: 273-297. [19] Zhang CS, Guo JY, Xian YT, et al. English product named entity recognition based on conditional random field[J]. Comput Sci Eng (计算机工程与科学), 2010, 32 (6): 115-117. [20] Elman JL. Finding structure in time[J]. Cogn Sci, 1990, 14(2): 179-211. [21] Cai LQ, Zhou ST, Yan X, et al. A stacked BiLSTM neural network based on coattention mechanism for question answering[J]. Comput Intell Neurosci, 2019, 2019: 9543490. [22] Xu YS, Li L, Gao HH, et al. Sentiment classification with adversarial learning and attention mechanism[J]. Comput Intell, 2021, 37(2): 774-798. [23] Vaswani A, Shazeer N, Parmar N, et al. Attention is all You need[J]. arXiv,2017:1706.03762. [24] Devlin J, Chang MW, Lee K, et al. BERT: pre-training of deep bidirectional transformers for language understanding[J]. arXiv,2018: 1810.04805 [25] Song YH, Tian SW, Yu L. A method for identifying local drug names in Xinjiang based on BERT-BiLSTM-CRF[J]. Autom Control Comput Sci, 2020, 54(3): 179–190. [26] Chen LM, Liu D, Yang JK, et al. Construction and application of COVID-19 infectors activity information knowledge graph[J]. Comput Biol Med, 2022, 148: 105908. [27] Xu L, Li JH. Biomedical named entity recognition based on BERT and BiLSTM-CRF[J]. Comput Sci Eng, 2021(10): 1873-1879. [28] Hou YT, Abduklimu A, Haridamu A. Research progress of Chinese pre training model[J]. Comput Sci (计算机科学), 2022, 49(7): 148-163. [29] Cui YM, Che WX, Liu T, et al. Pre-training with whole word masking for Chinese BERT[J]. IEEE/ACM Trans Audio Speech Lang Process, 2021, 29: 3504-3514. [30] Song SL, Zhang N, Huang HT. Named entity recognition based on conditional random fields[J].Clust Comput, 2019, 22(3): 5195-5206. [31] Wei ZP, Su JL, Wang Y, et al. A novel cascade binary tagging framework for relational triple extraction[C]// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics . Stroudsburg, PA, USA: Association for Computational Linguistics, 2020: 1476-1488.[32] Zheng SC, Wang F, Bao HY, et al. Joint extraction of entities and relations based on a novel tagging scheme[C]// Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) .Vancouver, Canada . Stroudsburg, PA, USA: Association for Computational Linguistics, 2017: 1227-1236.[33] Luque A, Carrasco A, Martín A, et al. The impact of class imbalance in classification performance metrics based on the binary confusion matrix[J]. Pattern Recognit, 2019, 91: 216-231. [34] Sokolova M, Lapalme G. A systematic analysis of performance measures for classification tasks[J]. Inf Process Manag, 2009, 45(4): 427-437. [35] Sen S, Mehta A, Ganguli R, et al. Recommendation of influenced products using association rule mining: Neo4j as a case study[J]. SN Comput Sci, 2021, 2(2): 1-17.
下载:
计量
- 文章访问数: 120
- HTML全文浏览量: 24
- PDF下载量: 333
