不同自然科学门类间论文学术影响力综合评价指标体系的构建与可行性研究

摘要

目的：
　　 由于传统单一指标他引量和期刊影响因子在跨学科门类自然科学论文学术影响力评价时存在缺陷,本文旨在建立一种综合评价体系,以实现跨学科学术论文影响力评价的公正性,从而提高科研绩效评价的科学性、客观性和公正性。
　　 方法：
　　 以2006-2010年诺贝尔生理学或医学奖、诺贝尔化学奖以及诺贝尔物理学奖获得者的突出贡献论文作为本研究的代表性文献(参比论文),查找与其研究领域密切相关的论文(非参比论文)建立样本集合。
　　 综合相关分析、变异系数、Logistic回归分析和判别分析的分析结果,兼顾评价指标体系的系统性和指标数据可获取的简捷程度,最终选定7个指标组成综合评价体系,包括他引量(Ct)、年均他引量(Ca)、三年他引量(C3y)、最大年度他引量(Ch)、期刊影响因子(IF)、施引期刊种类(Ck)和施引期刊最大影响因子(Cfm)。以论文集合为单位计算采用TOPSIS法计算出每篇论文的综合评价C值及其C值Z化校正值和主成分分析法的F值,将综合评价结果与传统指标的结果在门类内和门类间进行比较,以验证综合评价体系的科学性,客观性和公正性。
　　 结果：
　　 无论在同一门类的不同研究领域间(即跨集合)或在不同门类间(即跨门类)对论文评价(排序)时,综合评价值的评价结果并未改变传统评价指标他引量评价结果的总趋势。
　　 C值Z化校正值在医学、化学门类各集合论文之间无显著差异,F值在化学门类各集合论文之间无显著差异,因此,C值Z化校正值和F值在同一门类不同集合论文之间的评价、比较中,相对于他引量而言更具有一定的可比性。C值Z化校正值和F值在三门类论文之间无统计学意义的显著差异,用于不同门类论文的评价、比较时更具有可比性。
　　 医学或生理学、化学和物理学各门类中参比论文平均秩次明显优于非参比论文。在三门类所有论文各评价指标的跨门类排序中,参比论文综合评价值的秩次优于非参比论文,且具有统计学意义的显著差异。
　　 医学和化学门类中C值Z化校正值和F值较他引量能使更多的关联集合参比论文的排序靠前,且F值与他引量跨门类序间的差异有统计学意义。在物理学门类他引量较C值Z化校正值和F值只使略多的关联集合参比论文跨门类序靠前,但其问的差异并无统计学意义。
　　 以167个集合各自的论文数占三门类全部论文数的比例作为权重与本集合的7项指标实测值的系数及常数项相乘(加权),然后分别对167个同一指标的系数及常数项求和,得到本文的F值预测方程。在各门类以及三门类所有论文中,F值和F预测值间具有非常显著的正相关关系。获取以2011年医学或生理学,化学,物理学三门类诺贝尔获奖者13篇获奖关联论文的7项指标数据并代入预测方程求出F预计值,其结果与他引量的排序结果相辅相成。
　　 结论：
　　 本文通过多种统计学方法,兼顾了易获得性、内涵互补性、较好的区分度和学术影响力指向性以及引文历时分析公平性的平衡,筛选出7项指标组成的国内外文献未见报道的论文学术影响力综合评价体系。采用了符合7项指标数据特征的TOPSIS法和主成份分析法计算论文的综合评价值,在方法学选择上具有科学性。医学、化学和物理学门类各论文集合中每篇论文获得的TOPSIS法综合评价C值的Z化校正值和主成份分析法综合评价F值按门类统计的均数彼此间无差异,使F值和C值Z化校正值在不同科学门类论文间具有完全的可比性。F值、C值Z化校正值和他引量间具有正相关关系,在不同范围的论文排序中,3指标间有近似的总体趋势,使综合评价值具有良好的可接受性。通过167个论文集合F值主成份计算方程中7项指标系数和常数项间的相关性,推导出基于主成份分析法的综合评价F值预计值方程。样本规模大为围内外文献中罕见,增强了研究结论外推的可信性。