摘要
探究一种基于论文学术认可度的代表作筛选方法的可行性。通过比较分析representative法、h指数核心法、职称申报者主观选择结果和本研究建立的学术认可度法(一区期刊-学科领域百分位-学科规范化引文影响力,Q1-PSA-CNCI)的优劣势,将得到的代表作分别引入指数后形成、和指数,并分析各指标之间的相关性。相较于其他方法,Q1-PSA-CNCI法得到的代表作数量更为合理。各指标间存在显著的相关性(P < 0.05),并且指数在参与评定不同职称的教授中也不存在显著性差异(P > 0.05)。研究表明,Q1-PSA-CNCI法能够帮助筛选代表作且相较于另外两种方法筛选出的代表作数量更为合理,指数可作为代表作评定的指标为论文定性评价提供参考,同行评审采用“小同行”完善评审过程更为合理。
目前,科研评价活动特别是科研论文往往存在“重数量、轻质量”的现象,与新时代科技发展的目标和内涵不相适应。为了扭转这种局面,国家陆续出台了改革意见和通知,2018年国务院办公厅印发了《关于深化项目评审、人才评价、机构评估改革的意见
在改革政策指导下,高校教授职称评审实行代表作评价制度已达成共识,建立合理的评价机制,通过评价机制的导向作用,建立良好的学术环境,促使学术研究回归本
现今被广泛使用的评价方法主要是同行评议法和基于指标体系的定量评价,同行评议有着实施效率低、成本高的局限性,而定量评价主要依据的是论文发表的数量、被引量及发文期刊的影响因子(impact factor,IF)等客观数据,实施效率较
h指数(h-index
因此,本研究提出了以下问题作为研究的重点:相较于较为成熟的h指数核心法和representative法,本研究提出的Q1-PSA-CNCI法在代表作选取上有何优势?3种方法所得到的代表作在引入指数后的表现如何?本研究以C大学近3年的职称评审文章及评审结果为基础,选取药学院、药物科学研究院以及中药学院教授的论文,采用目前常用的representative方法和h指数核心法筛选其代表作,并对结果进行分析比较,提出一种更为合理的、具有一定普遍性的代表作选取方法即学术认可度法(Q1-PSA-CNCI),并将不同方法筛选得到的代表作引入到指数中,为今后代表作制度的筛选和评价提供依据。
在InCites数据库中,以2008年―评审年为分析时间段,以研究对象隶属机构为检索对象,研究方向为Web of Science(WoS)学科分类体系,通信作者和第一作者为标准,再以“隶属于实体的研究人员”选项获得该机构的所有科研人员信息,分别以各教授姓名为检索对象,获取其以第一作者/通信作者身份发表的所有论文以及其被引频次。被引频次分别保留截止到评审年和2020年10月31日。
汇总整理相关数据后,形成了包括52位教授提供的参与职称评审的340篇论文和830篇以第一作者/通信作者身份筛选出的论文。
Representative
在获取了样本教授的所有第一作者或通信作者发表的论文后,按照计算公式分别得各人得分。指数的计算公式如
(1) |
式中:是某一教授所发表的全部论文被引数之和的4次方;是该教授的总发文量;是该教授所发表的全部论文的被引数的平方和。
指数,表示用h指数核心法筛选出的某教授代表作的数据代入计算。
指数,用representative方法筛选出的某教授代表作的数据代入计算。
指数,各教授自己选取的用于职称评审的论文作为代表作,其数据代入计算。
指数,用Q1-PSA-CNCI法选择出的某教授代表作的数据代入计算。
分析方法:使用SPSS软件进行描述性统计分析、正态分布检验、相关分析。对于不同学科定量指标之间的差异进行描述性统计分析;对职称论文各项定量指标值进行正态性检验;对定量指标与同行评审结果以及不同指数与不同职称级别之间的相关分析采用Spearman秩相关,检验水准;对于不同指数之间相关性采用Person相关检验,检验水准。
对近3年C大学参与职称评审文章的期刊分布情况进行分析,共计340篇,其中328篇是以C大学为第一单位发表的。论文期刊分布情况如

图1 代表作发表期刊分区(A)和期刊影响因子(B)
参与职称评审的论文多为近年发表的论文,被引周期短,本研究统计了出版年至次年引用及至评审年平均被引两个指标值。除了职称论文的CNCI值之外,论文影响力评价指标需要兼顾反映施引文献的质量,对于被引频次不足的论文,施引文献CNCI值能够在一定程度上弥补出版年的差异,将这些指标与同行评审结果进行相关分
选取C大学参与职称评审的论文分布较多的化学、临床医学、材料科学、药理学与毒理学4个学科,对不同学科之间定量指标的差异进行分析,结果如
CNCI: 学科规范化引文影响力
考虑到学科之间差异,选取C大学参与职称评审的论文分布最多的ESI学科化学学科的论文定量指标与同行评审结果进行相关性分析。结果如
**在0.01水平(双侧)上显著相关,
选取具有代表性的药学院、中药学院、药物科学院近3年参与正高和副高职称评审的52位教授。分别用representative法、h指数核心法和本研究提出的Q1-PSA-CNCI法(所属期刊分区Q1,学科领域百分比,施引文献CNCI 3项综合指标)筛选代表作。
比较各教授发表论文以及用不同方法筛选出代表作的数量。结果如

图3 不同方法筛选代表作结果
由于representative法通常只选取出了被引量最高的论文,而仅一篇文章不能充分体现研究成果。h指数核心法选取得到的论文数量较多,起到的筛选作用不强。同时,序号22到38,评审年为2017年的论文被引频次到2020年时发生了变化,从而导致h指数核心法筛选得到的论文数变化较大,这也与大部分申报教授论文的被引频次在20之内有关,在被引频次偏低时,被引频次的增加对h指数影响较大。
h指数的计算方式决定了h指数核心法不适于筛选近年出版的论文,因为论文发表前几年的被引频次可能普遍较低,因此引用量的变动会影响h指数核心法的筛选结果。同时h指数核心法筛选论文必然会导致学术生涯较长的学者筛选得出更多的代表作,也更容易筛选得到发表较早的论文。考虑到代表作的选取一般为3 ~ 4篇,C大学职称论文评审时也是选取3篇代表作,从论文数量的角度来看,h指数核心法和representative法均不适合作为代表作的筛选方法。
根据C大学参与职称评审论文学科领域百分比的分布情况,选择了TOP 20%作为基准线进行筛选,使得大部分教授通过筛选能够得到4 ~ 5篇代表作,再结合Q1分区,最后取施引文献CNCI值前3的论文作为代表作。21位申报正高职称的教授筛选得到3篇代表作,3位筛选得到2篇代表作,2位筛选得到1篇代表作;13位申报副高职称的教授筛选得到3篇代表作,6位筛选得到2篇代表作,6位筛选得到1篇代表作,还有1位没有符合筛选标准的代表作。部分申报副高职称的教授能够有符合标准的3篇代表作,这样也给不同学术生涯教授之间的平行比较提供了可能性。
此外,各教授发文量和其筛选得到的代表作的数量并不完全正相关。例如样本教授中,药科院2018年参评正高职称和药学院2017年参评的教授,两位教授虽然发文量不多,但学科百分位靠前的论文较多。这也说明了仅依靠论文数量进行评价的方法是不可取的。
指数的计算考虑了所有论文的引用情况,发文量较高但论文被引量较低的科研人员在指数的评价上会处于劣势。指数在一定程度上能够反映科研人员的整体影响力。因此将通过不同的筛选方法得到的代表作作为新的数据集引入到指数中,进行计算。
结果如

图4 不同方法筛选所得代表作的Z指数
从
**在0.01水平(双侧)上显著相关
经过前述部分研究发现代表作和所有论文指数排名差异明显。进一步比较参评正高职称和副高职称的教授之间指数的差异以研究各项指标在职称评定的实际应用。结果见
**在0.01水平(双侧)上显著相关
总的来说,指数反映出各科研能力水平基本与科研人员的影响力正相关。参评正高职称的教授的不同指数平均数与中位数均高于参评副高职称的教授,但不同职称教授之间之间没有统计学意义上的显著差异。指数本身能够平衡论文数量与质量,以Q1-PSA-CNCI法能够筛选出合适数量的优质论文。这一结果表明即使在论文总数上可能不占优势的年轻学者,只要具备了一定数量的代表作,使用指数便能够进行横向的直观比较,这对于推行代表作制度意义重大。
相较于h指数核心法和representative法,本研究提出的Q1-PSA-CNCI法不仅能够规避h指数核心法导致的代表数量过多进而稀释了高水平研究成果价值的先天劣势,而且能够避免representative法由于少数高水平研究成果导致代表作数量较少的先天劣势,通过综合发文期刊区属、学科领域百分比和CNCI优化代表作数量构成。此外,通过对各项指数的比较发现,各项指标间存在显著的相关性,并且由Q1-PSA-CNCI法衍生出的指数可以应用于青年学者的评价。
对SCI期刊的盲目追求,使得之前学术界存在着“以刊评文”的现象。期刊影响因子可在一定程度上表征其学术质量的优劣,但影响因子与学术质量间并非呈线性正比关系,不能直接对期刊影响因子数值进行比
采取不同方法筛选得到的论文代表作结果并不相同。h指数核心法不适于筛选近年发表论文,论文出版时间较短,被引频次普遍较低时,小幅增长也会引起h指数的变化。而representative法一般能筛选出高被引的论文,当需要对学者高被引论文进行比较时,可以选择representative法筛选。但representative法筛选出的论文数量可能普遍较低,且无法采取统一标准调控。本研究针对目前存在的代表作筛选方法的优缺点,根据PR8分值法,创造性地提出了Q1-PSA-CNCI法筛选代表作,不受出版年和学科类型的影响,且能够根据需要设置不同的值来调控论文数量。同时,根据不同学科被引频次百分位筛选代表作时,排名差异明显,因此在界定代表作时,可以根据参与评价的学者水平,选择合适的基准线。最后,针对可能存在的高质量论文被引频次较低的情况,加入了施引文献指标,丰富了筛选标准。该方法能够快速帮助学者筛选出合适的代表作,而不仅仅是根据期刊影响因子来判断。
h指数已经得到了广泛认可和使用,而指数在其基础上进一步发展,具有更加科学的评价意义。本研究采用的指数、指数和指数等是在指数的基础上进一步发展而来,在一定程度上克服了指数的缺陷。各种筛选方式不同得到的Z指数都具有相关性,采用Q1-PSA-CNCI法得到的指数,并没有简单按照被引频次筛选,却与指数相关性最高,被引量表现较好。同时,针对不同职称的教授进行指数的比较,只有指数在不同职称之间没有显著差异。不同职称教授实际上处于不同的学术生涯阶段,考虑到年轻学者的学术生涯较短,采用和指数都会受早期发表的引用较高的论文影响,而指数在筛选过程中极大减小了出版年的差异,且能够以数值的形式进行直观比较,充分发挥了定量指标直观、客观、可比较的优势。只要具备了一定数量的代表作,年轻学者在指数上便能够有较好表现,指数可以作为代表作评价的有效指标。
从定量指标的规律来看,区分学科至关重要,不同学科之间差异显著,不具备可比性。对于同行评审也应当尽量选择研究方向相近的“小同行”,同行评审与定量评价是互为补充的关系。评审意见和定量指标不一致的,要看具体意见,一方面可能是同行评审的选择有问题,没有精准选择“小同行”;另一方面也可能是作者发了影响因子虚高的期刊,而这期刊业界并不认可,或者文章高被引是由于否定引用、作者课题组自引高等原因。科研评价需要采取定性与定量评价结合的方式,以定量评价提高效率,优化同行评审,选择小同行更好地进行代表作评估。
本研究提出了一种新的学术认可度法(Q1-PSA-CNCI)来筛选代表作,然后基于Z指数模型对药学科研人员的代表作进行评价,希望相关方法和研究成果能够为其他学科领域选取代表作及推进代表作评价提供参考和借鉴。
References
General Office of the State Council of the People's Republic of China.Opinions on Deepening Reform in Review and Evaluation of Projects, Talent and Institutions[EB/OL].(2018-07-03)[2021-01-10]. http://www.gov.cn/zhengce/2018-07/03/content_5303251.htm. [百度学术]
Ministry of Science and Technology of the People´s Republic of China.Measures to Get Rid of the Bad Orientation of ‘Paper Only’ in Science and Technology Evaluation (Trial)[EB /OL].(2020-02-23)[2021-01-10]. http://www.scio.gov.cn/xwfbh/gbwxwfbh/xwfbh/kjb/Document/1676327/1676327.htm. [百度学术]
Ministry of Education of the People's Republic of China.Opinions on Standardizing the Use of Relevant Indicators of SCI Papers in Colleges and Universities and Establishing a Correct Evaluation Orientation[EB /OL].(2020-03-03)[2021-01-10]. http://www.moe.gov.cn/srcsite/A16/moe_784/202002/t20200223_423334.html. [百度学术]
Zhang S,Zhang Y. Feasibility study on teacher evaluation mechanism under "academic masterpiece" system[J].Chin Univ Sci Tech(中国高校科技),2020(4):27-30. [百度学术]
Sun JN,Ding ZQ. Research on the evaluation of university teachers′ representative works based on Z-index[J].Pharm Edu(药学教育),2021,37(1):1-6. [百度学术]
Bornmann L,Mutz R.Futher steps towards an ideal method of measuring citation performance:the avoidance of citation(ration)averages in field-normalization[J].J Informetr,2011,5(1):228-230. [百度学术]
Liu XL,Shen L,Guo J,et al. Method for selecting scholars′ representative works by baselines of citations:based on the articles of Henan provincial scholars[J].Chin J Sci Tech Period(中国科技期刊研究),2020,31(8):941-947. [百度学术]
Hirsch JE. An Index to Quantify an individual′s scientific research output[J]. P Natl Acad Sci U S A,2005,102(46):16569-16572. [百度学术]
Zhu GX.The Limitations of h-index in scientific research evaluation & their countermeasures[J].Inform Stud:Theory Appl(情报理论与实践),2009,32(11):1-2,7. [百度学术]
Zhou CL. The hidden defect of H-index:study of accurate H-index injection[J].Libr Inform Sci(图书情报工作),2008(8):112-114,65. [百度学术]
Lv N.Analysis of the H-index dynamic changing trend of scientific research personnel[J]. Inform Stud:Theory Appl(情报理论与实践),2015,38(5):112-115. [百度学术]
Yu LP.On the time evolution of academic journals′ h-index: taking studies in science of science as example[J].J Intel(情报杂志),2015,34(1):96-99. [百度学术]
Zhai L , Yan X , Zhu B. The Hl-index: improvement of H-index based on quality of citing papers[J]. Scientometrics, 2014, 98(2):1021-1031. [百度学术]
Egghe L.An improvement of the h-index: the G-index[J].Newsletter,2006,2(1):8-9. [百度学术]
Prathap G.The 100 most prolific economists using the p-index[J].Scientometrics,2010,84(1):167-172. [百度学术]
Prathap G. The zynergy-index and the formula for the h-index[J]. J Assoc Inf Sci Tech, 2014, 65(2):426-427. [百度学术]
Zhou J, Zeng A, Fan Y,et al. The representative works of scientists[J].Scientometrics,2018,117(3):1721-1732. [百度学术]
Zhang XM. Research on the modification to Z index research academic evaluation method based on representative work system[J].Libr Sci Res Work(图书馆研究与工作),2020(1):22-28. [百度学术]
Li FR, Ding ZQ. Evaluation of representative papers: based on Nobel prize papers[J]. Sci Focus(科学观察), 2021,16(4): 40-52. [百度学术]
Ding ZQ,Zheng XN. Analysis on the contradiction between journal influencing factors, citation times and academic quality evaluation[J]. Chin J Sci Tech Period(中国科技期刊研究),2009,20(2):286-288. [百度学术]