当前位置:欧冠购彩万博manbetx > 社会科学 >

数字评价“骑虎难下” 还要继续曲解影响因子吗

发布时间:2017-12-04 阅读:

  数字评价“骑虎难”还能不断扭曲影响你的因素吗?

  数字(定量)评估需要与同行评审相协调。定量评估可以作为同行评议的补充和参考,而不是替代方案。而且指数的数值评价不能太小,不能只影响因素就是理论。

  不久前,大量的中国医学论文被撤出国外学术刊物,再次掀起科学研究评价体系的学术界。同一时期,一位在国外教授科学博客的人发表了一篇博客文章,质疑只是因素对评价标准的影响,特别是对研究人员不公平,引起了很多研究者的共鸣。有博客人士质疑,这种学术评估政策的确推动了科研质量的提高?

  近年来,越来越多的学术团队开始挑战对科学研究评价不当依靠期刊影响因素。现实情况是,影响因素的影响仍然是压倒性的,影响因素的扭曲仍在继续。

  你真的知道影响因素吗?

  在国内学术界,影响因素已经进入多年。由于其学术影响力,职称,经费,奖励等密切相关,很少有科学家对此不熟悉。但并不是每个研究人员或研究经理都真正了解其含义,并且知道它是如何发展的。

  作为评估学术期刊影响力的影响因素之一,并不是Thomson Reuters所创造的。它的真正发明者是1992年并入汤森路透的美国科学信息研究所(ISI)。自1975年以来,ISI定期出版“学术引用报告”(Journal Citation Reports,JCR)。核心指标之一是定期影响因子。

  它指的是本期前两年发表的所有文章总数除以期刊前两年的引文总数。

  一般来说,期刊影响因子越高,学术影响力越大。因此,ISI最初的想法就像使用生物统计学工具来帮助图书馆评价和选择期刊一样简单,后来影响因子的数值逐渐成为科学家和学者对科学研究的判断的反映,值得关注和帮助。

  在这一点上,影响因素的解释还是肤浅的。使用它的人必须明确哪些因素可以影响影响因素的水平,这涉及到具体的计算方法。

  根据文献计量学博客武夷山的说法,科学技术研究人员可能会将引用的定义解释为研究论文和评论的参考。因此,它们只被引用为可引用的文献,而来自读者,新闻,观点等的社论和信件被定义为非引用文献。但实际上,在计算影响因子时,分母就是期刊在统计年头两年发表的引文总数,分子是统计年份期刊收到的引文总数,包括引用的文件和那些不能引用文献的人。

  因此,这个影响因素已经成为一个可以很有趣的智能游戏。上海交通大学历史与科学文化研究所所长姜晓媛表示,总的来说,玩这个游戏有两种方式。

  分子的第一个直接扩展。发表在学术期刊上的一篇综述文章,经常被引用率会很高,所以评论文章越来越受青睐,目前排名前20位的影响因素中,有10篇是杂志评论,其中有世界影响力最高的要素出版物

  第二种方法是对杂志进行两栖转型。大量增加非学术性文本的比例,即非参考性项目的数量,从而减少分母。以自然为例。目前通常有18栏,但引用项目只有3栏,即学术文本,15栏是不参考项目。此外,“新英格兰医学杂志”,“美国医学会”,“柳叶刀”等知名期刊也受到非参考项目的打击。

  有意思的是,在影响因子开始时,计算公式是比较合理的,即分母部分包含了所有的文本。现在改变的原因,也来自加菲猫创始人ISI Speaking。

  江晓源在接受“中国科学报”记者采访时表示,科学情报研究所是加菲尔德在阅读过程中成立的私营商业机构。 SCI报告和JCR报告本身都是商业利润点。

  影响因素出现三年后,加菲尔德改变了影响因子的计算公式,“自然”杂志的低排名大幅上升。

  对于杂志而言,影响因素不仅与其自身的影响力评价有关。例如,2010年发表的综合性期刊“自然通讯”,目前的影响因子为12,甚至超过百年历史的国家科学院官方科学周刊“国家科学院”,2015年一年内发表多达3,192篇论文,明确指出每篇文章收取5200元(或33000多元)。

  当然,影响因素的商业背景并不一定与公平和权威相冲突。但至少可以看出影响因素的排名不是纯粹的学术因素。姜晓媛说。

  影响因素是否等于影响?

  在2016年底,学术出版巨头之一Elsevier推出了自己的期刊影响因子评分系统CiteScore。事实上,就计算而言,Elsevier主要以两种方式进行调整。首先,分母不区分文章的类型,即回到出生影响因子的设定上;二是将论文的两年时间窗延长至三年。

  在行业中,它被看作是ISI影响因素的挑战者。截至2017年2月26日,91岁的加菲尔德在美国去世。人们肯定不会怀疑越来越多的机构会愿意参与新游戏规则的制定。

  但是,在蒋晓原看来,看似不同的影响因素规则实际上正在改变着过程,如果管理者用它来评价一个具体的文章,不管是什么样的规则,都有内在的缺陷。

  武夷山指出,影响因子实际上反映了期刊发表论文的平均引用次数。实际上,每份杂志的论文数量都占据了大部分的报价数量,而影响因素则是由相对较高的论文引起的。统计显示,1900年至2005年间引用的3800万篇论文中,只有0.5%被引用超过200次,半数论文完全没有引用。这意味着即使是一篇发表在高影响因子期刊上的文章也可能是无人的。

  另外,不同学科和领域的研究也有很大差异。有时候,这与研究的质量无关,但内容是否受欢迎可以决定文章被引用的速度。一些不受欢迎的,有偏见的和狭隘的学科本身受到低度关注和认可,所引用的时间框架远远超出了影响因素所涵盖的时间范围。因此,使用相同的标准来评估这些研究是不合理的。这也是北大学科建设办公室研究员,科技博客合肥博客“过去和现在的影响因素”,很久以前就指出,影响因素只代表研究的重点,不能直接代表研究的层次。

  实际上,汤森路透也强调,影响因子是期刊影响的指标,而不是评估作者或机构的替代方法。这不是一个文献计量工具的初衷,而是它的影响力扩大,它的扭曲和滥用变得更加激烈。

  外国也是如此。研究项目对教师的任用,推广和准入,将把所谓的高影响力期刊上发表的研究成果作为重要依据。例如,在一些组织中,任期(终身教授)也被用来评估申请者发表的论文的累积期刊“影响因素是否达到了阈值”。

  2012年,美国细胞生物学学会年会发表了“旧金山科学研究宣言声明(DORA)”,其发言非常值得深思。科学界认为,科学界不应该使用影响因子等指标来评估期刊,作为评估个别研究论文质量的替代方法,也不应该用来评估科学家的贡献,并决定是否聘用,提高或财务。在资助决策,招聘,任职或晋升时,评估应以本文的科学内容为基础,而不是公布的期刊指标。

  敢于挑战对科学研究的期刊影响因素的不恰当评价值得赞扬,但影响因素的影响似乎仍然是压倒性的。

  数字评估骑虎难

  既然一个指标不适合科研影响评价,为什么不直接从评价体系中去掉呢?

  武夷山认为这是骑虎难下。从科研管理的角度看,量化评估的好处在于统一,方便,有竞争力的学术界处处体现,体现了一定的公平性和实用性。因此,一些管理者往往没有动力去发展一套适合本学科的科学评价体系。

  何飞在“诱惑与困惑:影响因素博弈如何继续”的文章中指出,客观上,同一学科的影响因素作为综合评价指标仍然是有价值和有意义的。一般来说,同一学科影响因子较高的期刊,论文发表要求较高,综合素质较高,平均文章较高。尽管影响因子并不能完全反映研究人员的水平,但从统计意义上看,高影响因子期刊上发表的文章总体上仍高于低影响力期刊。

  这个问题还涉及在这个阶段是否有比数字评估更好的方法。看来蒋晓媛,学者普遍接受的评价方法是同侪同侪评审,这是回归学术评价的本质。

  武夷山表示,目前的同行评议可能无法完全客观,全面。不管人力资源的稀缺程度如何,只要有一个小同行评审者的资格,在跨学科研究领域就没有真正的同行。此外,同行评审受到主观判断和偏见的限制,缺乏透明度,如果处于缺乏学术诚信的环境中,会受到虐待的风险。

  相反,蒋小源认为,同行评议即使有误判,至少可以追究责任。事实上,审稿人不能自由地做他们想做的事,因为他们必须承担必要的责任。在所谓的客观评价体系中,就是说没有人需要对错误评价的结果负责。

  可以看出,学术评价本身如此复杂,这也是为什么影响因素仍然是有争议的原因。

  但是,一个比较公认的观点是,要合理使用这个指标,数字评估需要伴随同行评审。对此,武夷山还强调,世界的生物学家研究者认为量化评估可以作为同行评审的补充和参考,而不是一个替代方案。

  而且,数字评价的指标数量不能太少,不仅影响因素是理论上的。实际上,期刊评价还涉及到更多的指标,如期刊影响百分比,标准化特征因子,期刊标准化引文的影响力以及期刊期刊引用等。更重要的是,数字评估不能直接与好处挂钩。

  “中国科技报”(2017-05-19第1版新闻)

关键词: 社会科学