科技評價指標在我國使用的現狀、問題及對策

                     

                姜聯合


 

1.科技評價在深化科技體制改革的戰略需求

當前,我國正處在全面深化改革、實現中國夢的關鍵時期和攻堅時期,科技在經濟社會發展中的作用日益凸顯,新科技革命和全球產業變革步伐加快,我國科技發展既面臨重大機遇,也面臨嚴峻挑戰,尤其是體制機制上的障礙仍然突出。主要表現為“三不”:科技與經濟結合不緊密,產學研用結合的機制尚未系統確立;科技投入與成果產出不對稱,科技資源配置呈現的分散、重復、封閉、低效等問題突出;科技評價機制不科學,科研誠信和創新文化建設薄弱等等[1]。,科技評價機制不科學已成為制約我國深化科技體制改革的重要因素。

目前我國科技工作評價主要依賴美國科學情報研究所(ISI)提出的科學引文索引(SCI)。由于評價導向問題,使得許多科研機構、大學和科技人員過度追崇SCI論文,嚴重影響了我國科技事業的發展,制約了科技成果在國內的轉化應用、科技傳播和普及以及中文期刊的發展。

黨的十八大報告中提出實現兩個百年的奮斗目標,正確引導科技發展,實現科技強國夢。科學合理、適應我國國情的科技評價機制是堅實我國科技基礎,實現基礎研究、應用研發、長期科技知識積累和科學傳播持續發展,突破深化科技體制改革障礙的重要一環。

2.目前我國科技評價體制的突出問題

2.1 過度追崇SCI論文及論文的引用率,使用SCI評價科研工作偏差弊端凸顯

      我國自1998年開始分析和整理SCI資料[2],并于90年代中期開始倡導利用SCI來評價科研工作[3]認為對科研成果的評價雖關系到個人、發表論文的刊物、甚至一個國家科學技術整體水平的重要問題,但由于問題的復雜性,沒有完善的評估方法,經過各種各樣的嘗試,認為SCI是比較客觀定量的評價方法。

     自此,以SCI數據庫為統計源,我國開展了多年中國科技論文統計與分析工作[4],就中國科技論文在國際的影響和發表情況分析統計,長期以來各科研機構、高校、醫院、地方科技單位等將SCI論文及論文的引用率不僅作為科研成果評估,也成為了個人科研成就評價的主要工具。

      一個不爭的事實是:在過去的十多年中,SCI論文在我國逐漸成為一個非常重要、不可替代科研評價指標。在2011年科技部發布的《國家“十二五”科學和技術發展規劃》中,還首次將國際論文(SCI論文)及其被引頻次列入國家科技發展戰略,并提出了具體的目標:到2015年我國國際論文被引用次數由世界排名第8位提高到前5位[5] 。

      SCI作為引文數據,具有很強的科學性,是一個全學科定量評價工具,一定程度上在科研評價中克服了行政化帶來的不可確定性的弊端,通過SCI指標對所有學科進行簡單的量化評價,使得科研管理更加簡單。

     SCI作為數據庫,科研人員通過SCI數據庫查詢與搜索科研論文,一定程度上使我國科學研究研與國際接軌。

    SCI現象和影響因子呈現逐漸蔓延和加劇的趨勢,SCI問題在于我們如何正確的運用它。

     事實上,SCI的創始人加菲爾德告誡人們:對SCI數據不要不加區分的使用,SCI數據盡管很方便,但很危險,雖然期刊的評估很重要,但對科研人員的評價更重要,因為影響到個人的職業生涯,影響因子不應作為人的評價的替代物[6]。

長期以來,我國科研評估中過度追崇SCI論文及論文的引用率,事實上弊端已經顯現。

2.1.1長期以SCI論文評價科研成果使我國優秀科研成果外流,國內獲取最新科技成果相對困難

     從90年代中期開始,我國開始用SCI指標評估科研成果,這種導向致使優秀科研論文紛紛投向SCI刊物,SCI 數據庫90%以上收錄英文期刊,我國優秀的科研成果多數以英文形式發表在SCI刊物中(表1),這雖然一定程度上使我國科研成果國際化,但事實上,就SCI論文本身來說,我國科研工作者大多面臨英語能力匱乏的缺陷,尤其對于年齡大和專業性強的科技工作者來說,內容不是問題,英語往往成了制約的瓶頸,為了發表SCI論文,產生了眾多的SCI論文英文修改及翻譯機構,語言修改不僅增加了科研成本,同時科研人員面臨在高影響因子期刊上發表論文的巨大壓力。 而且由于SCI論文評價的導向,國內優秀成果受制于國際刊物,我國優秀科研成果嚴重外流,國內獲取最新科研成果困難。

表1  1997-2013中國作者發表SCI期刊論文數量

年份

論文數(篇)

占SCI收錄總數(%)

在世界所處位次

1997

16883


12

1998

19838


12

1999

24476


10

2000

30499


8

2001

35685


8

2002

31572


6

2003

49788

4.48

6

2004

57377

5.43

5

2005

68226

5.25

5

2006

71184

5.87

5

2007

89147

7.00

5

2008

95506

6.60

4

2009

127532

8.84

2

2010

143769

10.12

2

2011

165818

10.94

2

2012

192761

12.12

2

2013

204100


2

 

2.1.2我國部分優勢期刊納入到國際學術出版集團旗下,影響我國科研成果知識傳播體系發展

      2014年,我國共出版期刊9966種,綜合類期刊365種,文化教育類期刊1363種,文學藝術類期刊646種,自然科學、技術類期刊4974種,其中244種納入國際出版集團旗下,244種英文版科技期刊中有146種(59.8%)與10余家國際性出版機構采用各種合作模式共同出版或宣傳推廣[7]。包括了國際出版集團Nature、Elsevier、Springer、PubMed、Taylor & Francis、Wiley、Oxford U Press、Cambridge U Press等(http://scholar.cnki.net/)。據不完全統計,截至2014年底,我國約180種有CN號的英文版科技期刊與國際性出版機構合作出版,其中合作出版期刊數量超過5種的國外出版商有施普林格(90余種)、愛思唯爾(40余種)、威利(8種)、英國物理學會(8種)、自然出版集團(7種)、牛津大學出版社(5種) [8]。

2.1.3 國外新論文評價指數的引進助長了“以SCI論文導向”的科技評價

     自然出版集團(Nature)發布“自然指數”(Nature Index),對全球的科研機構進行排名,從2010年-2014年發布了中國“自然出版指數”報告;世界上最大的出版集團—愛思唯爾(Elsevier)針對中國學者發布“中國高被引學者榜單”(以下簡稱“榜單”),對中國學者個人的科研能力進行排名。“中國自然出版指數”報告和“中國高被引學者榜單”可能成為繼SCI之后我國科技人員追逐的另一個新目標,這將對中國科技評價SCI論文導向產生新的影響。

2.2科技成果應用轉化評價導向尚需加強,普及性的評價指標缺失

     科學技術是第一生產力,經濟的繁榮與社會的發展離不開科技的進步。無論是基礎研究,還是應用研究,其成果和普及都將對提升生產力發展水平、提高人類對自然界的認知能力具有重要作用。科技成果轉化是使科技成果能夠實際應用并服務社會的關鍵環節、科學普及及傳播是提高國民科學素養的重要舉措。

     據統計,我國每年約有2萬余項比較重大的科學技術研究成果和5000度多項專利,但是其中最終轉化為商品的成果不足5%,而歐美發達國家轉化率則為45%。 我國科學技術向生產力轉化的比例僅為10%-15%,遠低于發達國家的60%-80%。高新技術企業的產值在社會總產值的比例僅占2%,也遠低于歐美發達國家的25%-30%。科技創新、科技成果轉化的數量、質量、規模和效率較低的問題,已經成為我國實現經濟增長和產業化結構優化的制約因素[9]。2008年全國科技工作者狀況調查,我國科研成果轉化為產品或應用于實踐的科技工作者僅為24.5%,發達國家的科技轉化率為80%[10]。

   科技成果轉化率低, 既有成果本身問題,又有體制機制方面的問題,目前對科技成果的評價多數停留在學術性、先進性層面,而對成果的實用性、市場性估計不夠,更不能量化成果的社會價值、經濟價值。科技工作評價中忽視科技成果應用轉化的評價,缺乏普及性的評價指標應用。

 2.3 科技對服務社會、普及傳播的評價體制機制還沒有形成

      科學研究成果的展現和共享一定程度上推動了科學研究的進一步發展,然而科學研究的最終目的是將科學成果惠及全人類,科學研究成果的科學傳播過程是科學研究實現最終目的的必然過程和社會發展的客觀要求[11]。高素質的國民是促進國家科技創新、經濟長期繁榮與社會穩定的必然前提。2002年我國頒布了《中華人民共和國科學技術普及法》,2006年頒布了《全民科學素質行動計劃綱要(2006—2010—2020年)》。2011年7月下發了《全民科學素質行動計劃綱要實施方案(2011-2015年)》,目標是到2015年,我國的“科學技術教育、傳播與普及顯著發展,基本形成公民科學素質建設的組織實施、基礎設施、條件保障、監督評估等體系,我國公民具備基本科學素質的比例超過5%”。2011年《全民科學素質剛要》中特別對科研成果轉化科普效應做了重要解讀。2010年11月15日發布的《第八次中國公民科學素養調查結果》顯示,2010年我國具備基本科學素養的公民比例為3.27%,相當于日本(1991年3%)、加拿大(1989年4%)和歐盟(1992年5%)等主要發達國家和地區20世紀80年代末、90年代初的水平。2015年第9次公民科學素質調查顯示,我國的公民科學素質達到6.2%,相當于發達國家上世紀末本世紀初水平。

      我國科技資源科學普及和傳播力度相對不足,相對于國家科技投入而言有很大的提升空間。從我國科技工作者從事科普工作的調查來看,盡管大多數科學家認為參與科普創作很有意義,但只有35%科學家曾參與科普創作,大多數科學家在科普創作上沒有實際行動,科研人員參與科普的積極性不高,我國科技工作者參加過至少1種科普活動的比例59.9%[12],與發達國家相比,相對較低。在對我國科技計劃項目科普化立項調查中,科學家認為開展科普工作義不容辭,但科技計劃項目科普化還沒有完善的政策措施,體制機制還沒有形成。

      科技工作評價中缺乏科學普及性的評價指標應用,科技資源科普傳播及應用還沒有完善的政策措施,科技對服務社會、普及傳播的評價體制機制還沒有完全形成。

3            國內外主要科技評價指標內涵及應用

        目前,主要科技評價指標大多基于SCI數據庫、近年出現Nature出版集團和愛思唯爾出版集團對我國的學術評價、谷歌基于其數據庫推出谷歌學術指標,各指標的主要特點見表2。

表 2  國內外主要科技評價指標內涵及應用

名稱

數據基礎

內涵、定義

應用范圍

缺陷

影響因子

基于SCI數據庫,2014年8618種期刊

評估期刊:近期影響力

應用于對期刊近兩年影響力的評價,影響因子體現期刊短期影響力的指標

使用影響因子來評估個人和團體的研究業績.但事實上,影響因子很容易受少數高引論文的拉動

總被引頻次

評估期刊:顯示期刊被使用和受重視的程度,

測度期刊自創刊以來的學術影響力

被發表的信息中僅有一部分被作為產生新信息的來源,,在忽略信息老化特征的前提下,用累積發表的文獻數來體現某學科領域中相關知識的方法是錯誤的


即時指數

評估期刊:描述期刊當年發表的論文在當年被引用的情況

體現期刊對某一學科領域內近期相關知識的貢獻



特征因子

評估期刊:同時測量引文的數量和“質量”,

衡量一個期刊在其學科中的總體貢獻,基于引證的網絡分析

特征因子是目前JCR指標中的數據封閉性最強的指標,2009年JCR開始使用


H指數

評價科技論文:

評價個人科學產出的指數

測量個人研究成果的廣泛影響

由于刊載論文的最大值是h指數的上限,指數值對低產學者不利


兀指數

評價科技論文:

用來分析個體文獻優劣

評價個人科學聲譽的文獻影響力指標

高被引論文被引次數的增加則指數增加,而且指數增幅要高于低被引論文


谷歌學術指標h5因子

 

基于谷歌學術2014年5450份雜志,1億6千萬篇學術文獻,涉及書籍、會議、以及各種預印本。

評估期刊:顯示的是出版物綜合整體實力,而不會像影響因子那樣很容易受一篇高引用文章影響。

 

某一出版物在過去5年發表的文章之中,至少有h5篇文章每篇引用不低于h5次

 

1數據庫收入范圍廣泛;

2指標統計過去五年的數據,比影響因子過去兩年數據體現持久的影響力

3偏重年發表論文量大的雜志

4谷歌的學術指標才發布了四年,有些問題仍有待完善

5谷歌沒有提供對各領域及學科分類的標準,也沒有提供每個雜志所隸屬的學科信息

谷歌學術指標h5中位數

 

h5中位數指進入h5因子的所有文章的引用中位數




愛思唯爾“中國高被引學者榜單”

基于愛思唯爾旗下的Scopus數據庫,2200多種期刊

針對來自不同學科總數   排名2000以內的中國學者發表論文高被引的排序。

中國學者發表論文高被引的排序

容易引導中國科研SCI論文評價的導向偏差

自然指數(Nature index)

基于英國自然出版集團的《自然》系列期刊在前一年所發表的論文為基礎。

2014年自然出版集團提出自然指數,基于前一年發表在68種包括《自然》系列和其它自然科學期刊上的研究型論文數量計算

衡量不同國家和研究機構的科研實力

容易引導中國科研SCI論文評價的導向偏差

 

  從表2 可知,各學術評價指標側重面不同,應用范圍各有所限,在學術使用評價中應分別對待、慎重使用。

3.1  SCI引文數據庫

SCI美國《科學引文索引》(Science Citation Index, 簡稱 SCI )。1957 年美國科學信息研究所(Institute for Scientific Information, 簡稱 ISI)在美國費城創辦,是由美國科學信息研究所(ISI)1961年創辦出版的引文數據庫,創辦人為尤金·加菲爾德(Eugene Garfield, September 16,1925~)(ISI,現為湯森路透集團,Thomson Reulers)創制。該檢索系統以其綜合、強大而獨特的檢索機制受關注,通過該系統可以檢索出一個國家(地區)、機構、個人文獻的發表情況,還可直接檢索某一篇文獻自發表以來的被引用情況,可以回溯某一研究文獻的起源與歷史,跟蹤其最新的進展。該系統目前有SCI-CDE(光盤版)、SCI Search(online),Web of Science(SCIE)網絡版等出版形式。

科學引文索引以布拉德福(S. C. Bradford)文獻離散律理論、以加菲爾德(E.   Garfield)引文分析理論為主要基礎,通過論文的被引用頻次等的統計,對學術期刊和科研成果進行多方位的評價研究,從而評判一個國家或地區、科研單位、個人的科研產出績效,來反映其在國際上的學術水平。因此,SCI是目前國際上被公認的最具權威科技文獻檢索工具。

SCI收錄期刊總數變化

年份

SCI期刊數

1997

4964

2003

5907,65個國家和地區

2008

6598

2013

8474

2014

8618


3.2  SCI指標
3.2.1    SCI指標的功能和應用

由于SCI收錄的論文主要是自然科學的基礎研究領域,所以SCI指標主要適用于評價基礎研究的成果,而基礎研究的主要成果的表現形式是學術論文。所以,如何評價基礎研究成果也就常常簡化為如何評價論文所承載的內容對科學知識進展的影響。

科學引文索引通過統計大量的引文,然后得出某期刊某論文在某學科內的影響因子、被引頻次、即時指數等量化指標來對期刊、論文等進行排行。被引頻次高,說明該論文在它所研究的領域里產生了巨大的影響,被國際同行重視,學術水平高。

科學引文索引是當今世界上最著名的檢索性刊物之一 ,也是文獻計量學科學計量學的重要工具。通過引文檢索功能可查找相關研究課題早期、當時和最近的學術文獻,同時獲取論文摘要;可以看到所引用參考文獻的記錄、被引用情況及相關文獻的記錄。

3.2.2   SCI應用于科技期刊主要評價指標

美國JCR公布的主要評價指標有總被引頻次(Total cites)、影響因子(Impac facor)、即時指數(Immediacy index)、當年論文數(Current Aicles)、被引半衰期(Cited Half-life)。2007年JCR可以獲取的指標:特征因子(Eigenfactor)、文獻影響力(Article influence)、5年影響因子、其中有一個非常重要的指標是按照影響因子給出期刊在本學科的排名(Journal rank in categories),即對期刊的分區,按影響因子高低在本學科中的位置依次劃分為Q1、Q2、Q3、Q4區。

 

1). 影響因子(IF)

影響因子(1F)是由美國科學信息研究所所長加菲爾德提出的,現已成為國際上通用的期刊評價指標。它指某刊前兩年的載文被第三年引用的次數與前兩年的載文總數之比。它是期刊論文被引情況的平均測度指標,除了能表述顯示論文質量的被引頻次外,還消除了載文數量的多少及創刊時間長短對期刊被引頻次的影響。因此,IF是一個非常客觀實際的評價指標,根據Ⅳ值的高低能夠比較合理地判定學術期刊的水平,一般來說IF值越大,就表明期刊被引用的程度越高,影響力和學術作用也就越大。

(1) 定義

指期刊近2年文獻的平均被引用率,即期刊前2年發表的論文在當年每篇論文被引用的平均次數。

(2 )計算

   IF= 該刊前2年發表論文在統計當年被引用的總次數/該刊前2年發表論文總數

(3) 內涵

一般來說,IF越大,期刊影響也越大,學術水平也相對較高。

(4) 應用:

應用于對期刊近兩年影響力的評價,影響因子體現期刊短期影響力的指標。

(5) 誤區和缺陷

[1]影響因子僅僅為單一數據點,必須嚴謹并聯系實際情況加以考慮,很多因素都會影響論文在不同學科中的引用情況。

[2]實際計算IF時,用的是前2年的引用數據。這就給那些在短期內研究員人員非常關注的專業期刊,與研究進展速度慢但有長期引用價值的專業期刊的IF造成截然不同的結果。

[3]期刊IF作為評估論文本身或者作者的替代品并不合理。

[4]全世界目前都在使用影響因子來評估個人和團體的研究業績.但事實上,影響因子很容易受少數高引論文的拉動.尤金·加菲爾德(Eugene Garfield)博士提出影響因子的原意是為評估和挑選期刊,多年來他一直勸告人們不要僅僅使用影響因子這一個指標來評價個人或團體的研究業績。

[5]影響因子其初衷是為了比較不同規模期刊的被引用次數,然而存在缺點.如:一些發表文獻數非常少的期刊也有可能具有非常高的影響因子,而且它沒有考慮到不同學科領域中信息老化速度的差異.

[6]從長時間來看,IF隨著時間推移呈現線性增長[13]并且一段時間內期刊中被引用文獻比例(高被引、經常被引用、適度被引用、不常被引用、從未被引用的文獻比例)相對穩定。事實上,一些期刊的影響因子的顯著增長通常是由期刊內容的重新組織、所覆蓋學科領域的變化等原因引起的。影響因子并不能代表一本期刊的平均被引次數。相反,一本期刊的影響因子衡量的是該期刊對其所屬學科領域所有期刊總體影響力的相對貢獻[14]

(6) 改進

近幾年來,胡思(Huth)博士提出了范圍調節影響因子(scope adjusted impact factor),美國科技信息研究所提出了累計因子(cumulative impact factor),這兩種方法對評價學術期刊都很有用.盡管影響因子已被人們普遍使用,但在使用它評估科研業績時應非常謹慎,因為它僅是文獻計量學眾多方法中的一種方法。

2) 被引頻次

(1 )定義:

 被引頻次指該期刊自創刊以來所登載的全部論文在統計當年被引用的總次數。

(2) 計算

(3) 內涵

它是從信息反饋的角度評價期刊的基本指標之一。可以顯示該期刊被使用和受重視的程度,以及在科學交流中的作用和地位,在一定程度上可測度期刊自創刊以來的學術影響力。

期刊的被引用次數越多、引用期刊的檔次越高、范圍越廣,則該期刊的影響力越大、受重視程度越高。

(4) 應用:

一本期刊中任意年發表的文獻在某一特定年被引用的次數,體現的是該期刊對相應學科領域內近期發表文獻的總體影響力.

(5) 誤區和缺陷

[1]總被引頻次與載文量及創刊期長短有一定關系,但總體上能反映出期刊的學術影響力。

[2]發表的信息中僅有一部分被作為產生新信息的來源,,在忽略信息老化特征的前提下,用累積發表的文獻數來體現某學科領域中相關知識的方法是錯誤的. 在研究某一年期刊中參考文獻的時間分布時,研究人員發現僅有10%-20%的文獻會引用15-20年前發表的文獻[15].

3)即時指數

由美國文獻計量學家加菲爾德1972年提出,表征期刊即時反應速率的指標,描述期刊當年發表的論文在當年被引用的情況,體現期刊對某一學科領域內近期相關知識的貢獻。

即時指數= 該刊當發表論文的被引用次數/該刊當年發表論文總數

4)特征因子

衡量一個期刊在其學科中的總體貢獻。該指標是基于引證的網絡分析。

3.2.3  SCI應用于科技論文影響力的評價指標
1) h指數(h-index)

h指數是一個混合量化指標,最初是由美國加利福尼亞大學圣地亞哥分校的物理學家喬治·赫希(Jorge Hirsch)在2005年的時候提出來的,其目的是量化科研人員作為獨立個體的研究成果。

(1 )定義

 一個科學家的H指數是指:他發表的N篇論文中有H篇論文獲得了不少于h次的被引次數,而剩下的(N-h)篇論文中每篇論文的被引次數都小于h。

(2 )計算;

如:Writen的H指數等于110,即Writen已經有110篇論文至少被引110次。

(3) 內涵

評價個人科學產出的指數,測量個人研究成果的廣泛影響。

(4 )應用

[1]  h指數被認為是對先前眾多衡量指標的一大改進,先前的衡量指標都傾向于關注科研人員在其發表論文的期刊,因而,它們都假定作者的貢獻等同于期刊的平均值。如果一位科學家的出版成果以它們被引生命周期的數字進行排序的話,那么h指數就是一個最大值,這個最大值是指每篇論文至少被引了h次的h篇文章。此指數被用于個人、研究團隊、期刊、國家等[16].

[2]  h指數排名明顯高于影響因子排名的期刊得到公眾認可,是高水平期刊。

(5) 誤區和缺陷

 [1] 對科學聲望的評價應主要從科學文獻的影響力方面進行,而不是根據信息產生的數量。從h指數的定義可知:他的指數值小于等于發表的論文數量(h≤N).一位學者發表了26篇論文,就不能達到高于26的指數值,即使其中有數篇高被引論文.

[2] h指數為自引率很高的作者帶來了不公正的優勢。在計算大數據集合指標時(如國家),自引不會導致任何問題;但在較低層面(研究團隊或個人)會造成很大差異,特別是有許多合著者的個人可能會出現許多自引。若計算時排除自引,h指數會大大降低。

[3] 由于刊載論文的最大值是h指數的上限,指數值對低產學者不利。

(6 ) 修正

     Batista等[17]利用合著者平均數量來修正h指數(h1).h1=h2/N,其中N為論文合著者總數,合理處在于反映個體論文平均產量。

合著者數量和篇均被引之間有顯著的相關性[18]:合著者數量越多,被引次數越多。在應用指標進行比較評價時,自引不應計算在內,至少應減少其影響。

2) 兀指數

(1) 定義

 將論文被引頻次降序排列,作者論文總數P的平方根為 ,那么第篇論文對應引用頻次的1%為科學家的兀指數[19]。

(2) 計算

兀-index=0.01C()其中C為P篇文獻的引文總數,P為作者論文總數。

(3) 內涵

兀指數用來分析個體文獻優劣,在相似學科領域比較評價中,是評價個人科學聲譽的文獻影響力指標。使用了被評價者產生的可能對科學進步影響最大的信息量(),論文的集合可以稱為精英集合。

(4) 應用

Galton(1963)提出聲譽閾值的概念, 一個國家或行業或其他類別的人口平方根可以代表真正知名人士的數量[20].

閾值應取決于帶分析集合的特點、規模和評價的目的。

對影響力的測度關注總體中最為重要的論文的引用數量。如:基本科學指標(ISI of Knowledge)將總體的0.1%、1%或10%定為精英。

1)  指數可以更好地利用相對較少的高被引論文而不是被引頻次腳底的文獻

2)  高被引論文被引次數的增加則指數增加,而且指數增幅要高于低被引論文

3)  指數可以用來分析各種數據集合,且方法易被理解和應用。

 

一些杰出學者的h指數和指數

作者

領域

h指數

兀指數

Balimore  D

分子生物和遺傳學

155

288

Witten   E

物理學

115

206

Smalley   RE

化學

115

204

Booren   AM

農業科學

23

8

數據引自:皮特.溫克勒著.<基于科學計量學指標的科研評價,北京:科學拘束文獻出版社,2014,94)

3.3 自然出版指數(Nature index)的內涵

3.3.1  定義

      自然出版指數是以國際知名學術出版機構英國自然出版集團的《自然》系列期刊在前一年所發表的論文為基礎,衡量不同國家和研究機構的科研實力,并對往年的數據進行比較,每年4月上旬發布。

2014年自然出版集團提出自然指數,基于前一年發表在68種包括《自然》系列和其它自然科學期刊上的研究型論文數量計算。

 


3.3.2 內涵

通過論文數量排序,并對往年的數據進行比較,衡量不同國家和研究機構的科研實力。

3.3.3 自然指數覆蓋的范圍

1)2014年自然指數主要包括生命科學、物理、化學、地球和環境四大學科的期刊;期刊影響因子主要集中在10-

 

2)自然指數涉及的期刊主要由自然出版集團、細胞出版社等25個出版社出版,前3個出版社出版的期刊數約占一半;上述期刊僅在英、美等6個國家版,其中,美國高達80%。

 

3.3.4 對中國的科研的評價

已發布2010年中國“自然出版指數”報告、2011年中國“自然出版指數”報告、2012年中國“自然出版指數”報告、2013年中國“自然出版指數”報告、2014年中國“自然出版指數”報告。

3.4.愛思唯爾“中國高被引學者榜單”的內涵

愛思唯爾“中國高被引學者榜單”主要是由Elsevier發布的基于其旗下的Scopus數據庫(Scopus是全球最大同行評議學術論文索引摘要數據庫,與全球優秀的科技和醫學團體合作出版2200多種期刊),針對來自不同學科總數 排名2000以內的中國學者發表論文高被引的排序。

3.4.1 榜單的遴選標準

1)中國(大陸地區)學者;

2) 考慮不同學科分布,按總數 2000人計算各學科上榜名額分配。

3) 在各個學科按相應名額篩選出通訊或第一作者發表論文總被引次數排名較高的作者名單。

4) 排除從未發表被引次數世界前1%論文,且標準化影響力 (Field-weighted citation impact)低于1的學者。

3.4.2內涵

2014年榜單不分先后排序,包括1651名學者,來自38個學科。

 

“愛思唯爾“中國高被引學者榜單”38個學科

序號

學科

序號

學科

1

牙醫學

20

社會科學

2

心理學

21

物理學和天文學

3

藥理學、毒理學和藥劑學

22

護理學

4

神經科學

23

醫學

5

數學

24

材料科學

6

建設和建造

25

安全、風險、可靠性和質量

7

海洋工程

26

材料力學

8

機械工程

27

工業和制造工程

9

電氣和電子工程

28

控制和系統工程

10

計算力學

29

土木和結構工程

11

生物醫學工程

30

汽車工程

12

航天工程

31

通用工程

13

能源

32

經濟、經濟計量學和金融

14

環境科學

33

地球和行星科學

15

計算機科學

34

化學工程

16

商業、管理和會計

35

生化、遺傳和分子生物學

17

農業與生物科學

36

免疫和微生物學

18

獸醫學

37

化學

19

決策科學

38

藝術和人文

 

3.5  谷歌學術指標(Google Scholar Metric)

谷歌學術(Google Scholar)自2004年底推出,與Web of Science相比,谷歌學術可以免費檢索,而且范圍遠遠大于Web of Science,既包括正常的學術期刊,也涉及書籍、會議、以及各種預印本。據估計,截止至2014年5月,谷歌學術共收集1億6千萬篇學術文獻,幾乎是歷史更為悠久的Web of Science的三倍,已經成為學者們文獻檢索不可或缺的重要工具[21]。谷歌學術(Google Scholar)在2012年推出了一個雜志評價系統,即谷歌學術計量(Google Scholar Metrics),用來評價各個領域雜志的影響力。該系統主要包括H指數(h-index或Hirsch index),H核心(h-core),H中值(h-median),H5指數(h5-index),H5核心(h5-core)和H5中值(h5-median)。

    到目前為止,谷歌已經連續4年發布了雜志學術計量報告。今年(2015年)所發布的報告共包括7211份雜志,由于其中有1761份雜志在不同領域排名中重復出現,因此該報告中實際上只收錄了5450份雜志。2015年公布了261個學科雜志的詳細分類排名。每學科只有top20雜志信息,沒有其余中低檔次雜志的排名信息[22]。

1) 谷歌學術指標h5因子

(1) 定義

谷歌學術指標h5因子,即某一出版物在過去5年發表的文章之中,至少有h5篇文章每篇引用不低于h5次

(2) 計算

例如排名最高的Nature,在2010年至2014年h5因子為377,表明這一期間Nature共有377篇文章引用數不低于377次。

(3) 內涵

h因子評價體系最初由UCSD物理學家Jorge Hirsch提出,用于評價一個學者的影響力。目前通常基于兩個數據庫進行統計,一個是Web of Science,另一個就是谷歌學術。越來越多的學者開始采用谷歌學術進行統計,基于其更為廣泛的代表性。這一趨勢預計在谷歌學術指標和影響因子的競爭中也會延續。

(4) 應用

[1]影響因子只基于過去兩年數據不同,谷歌學術指標統計過去五年的數據,因而更加體現一個出版物的持久影響力,而不僅僅是當前的熱度。

[2]谷歌學術指標采用h5因子進行評價,顯示的是出版物綜合整體實力,而不會像影響因子那樣很容易受一篇高引用文章影響。

[3] 值得一提的是,只有那些在5年內發表了100篇以上論文并且至少有一個引用的雜志才會被收錄到谷歌學術。

 

(5)與影響因子差異舉例

[1] 谷歌學術指標能夠更為準確的體現一個出版物的實際影響,2015年影響因子排名第一的CA - A Cancer Journal for Clinicians,在谷歌學術指標中連前100名都沒有進去。

[2] 兩個出版物發表文章數量不同,但影響因子接近,顯然發表數量多的影響力更廣。這種差別在影響因子上看不出來,而在谷歌學術指標上則很容易體現。如:Nanoscale和Nano Research,兩者都是國人主導的納米領域雜志,短短幾年都取得非常優異的成績,影響因子都超過了7。但Nanoscale發表文章更多,因此進入了工程和計算機科學的前20名。

2) 谷歌學術指標h5中位數

h5中位數指進入h5因子的所有文章的引用中位數。例如Nature的h5中位數為529次,顯示其進入h5因子統計的377篇文章中,排名第189位的文章引用數為529次。

4、科學應用科技評價指標的對策和建議

4.1 國際科技評價趨勢

科學技術既包括科學和技術本身,也包括科學和技術對社會、經濟、文化、政治,以及自然環境的影響,科學技術的產出即科技成果具有非常豐富的表現形式和內容。國際上科研評價已不僅僅局限于科研論文的數量及SCI論文,更多關注科研的質量以及科研對經濟社會的貢獻,即科研影響力評價。

科技活動評價指標從過去強調研究活動定量的近期直接產出,如發表論文、出版專著、發明專利等,擴展為關注影響覆蓋學術界和社會經濟諸方面的中長期的綜合性的成果,反映出科技產出對經濟、社會、文化、公共政策或服務、健康、環境或生活質量產生效果、變化或收益的影響[23]。

考慮到不同類型和不同學科的研究工作各有特點,產生的影響涉及經濟社會的方方面面,且科研與經濟社會之間的關系也不明晰,如何對科研影響力進行評價既是科研評價的熱點也是難點問題[24].

建立分級分類的評價指標是主要發達國家科技評價的共同特點。當前,我國的科技評價還是以一定檢索系統收錄的論文以及專利和著作為主,眾多其他類型的科研產出沒有得到平等的認可。科技評價應在尊重科技產出多樣化的前提下,以科技活動的主體作為分類依據,實行科學的分類評價,兼顧基礎研究、應用研究、成果轉化和產業化等不同的科技活動類型的差異,將質量和實際貢獻貫穿在不同功能類型科技產出形式和不同類型科技活動的評價中。

評價從同行評議發展到利益相關者評議,專家包括科學界、經濟界、企業界、政府部門,不僅有利于多方制衡和監督,更易于形成多角度、多層次的評價認知。

4.2.合理慎重使用SCI科技評價指標,建立以“三個面向”為標準的科技分類評價

4.2.1 “三個面向”科技活動分類

科學技術的產出形勢,包括學術論著、科普論著、專利、非專利技術,科學技術產出的內容包括思想和技術。科學技術產出的實現形式包括引用、采用和購買。

科技論文的數量可以從一個側面反映出一個國家的科技實力和水平;專利數量可以更好地說明一個國家的創新能力。科技投入一般以經費量化,產出包括分析論文產出的數量和質量、專利產出的數量和類型、技術交易的總量等。

2015年,中國科學院確定了“三個面向”“四個率先”辦院方針,即“面向世界科技前沿,面向國家重大需求,面向國民經濟主戰場,率先實現科學技術跨越發展,率先建成國家創新人才高地,率先建成國家高水平科技智庫,率先建設國際一流科研機構”[25]。“三個面向”引導科研活動建立任務導向和需求的的分類評價。

按照“三個面向”要求,科技活動可以分為多種形式(表)。

表   “三個面向”科技活動產出

科技產出分類

產出形式

面向科技前沿

論文、論著

專利


面向國民經濟主戰場

科研成果轉化應用

技術轉移推廣


面向社會、服務民生

決策咨詢報告

科學普及


國家及行業標準


工具書


將科研成果轉化為教材和教學內容等教學資源


依托科技活動培養創新人才


 

4.2.2  建立任務導向和需求的分類評價指標

1)合理選取科技論文評價計量指標

科學計量指標不能完全滿足科學評價的需求,在使用科學計量指標時必須注意到其適用性、局限性和不確定性。 實際中,很多科研工作者和科技管理者對科學計量指標的內涵理解不深,不太懂科學計量的原理和概念,不知道每個指標的優缺點,在使用科學計量指標時大膽應用,僅僅簡單以SCI科學計量評價指標開展科技評價。

SCI科學計量評價指標僅適用于基礎研究成果評價,多應用于評價論文,對其他的科技活動不能通用評價。表2給出了各評價指標應用范疇,,常用的影響因子(IF)指標在評價科技論文時也應根據學科的不同分別對待,更不適宜對科研人員的個人評價。在對科技論文評價時,應詳細了解各指標使用范疇,可使管理者更理性、更人性化、更有成效進行科研評價和管理。同時,對不同的和相似的文獻計量指標,在不同的科學領域和子領域中,以不同的方式發揮作用。科技論文的評價也應按照論文類型設置不同的權重,公平公正地評價科研績效。以往研究在考慮不同類型科技論文評價時亦給出了相應的系數:如國內論文的系數為1、國際論文的系數為2、SCI論文的系數為4 。各類評價計量指標也應根據需求分別采用,如對科技人員基礎研究個人學術能力的評價更適用h指數和兀指數,而不僅僅單一使用影響因子等。

2)加強各類科技活動對生產力貢獻的研究和應用

科技投入一般以經費量化,產出包括分析論文產出的數量和質量、專利產出的數量和類型、技術交易的總量等。在考慮各類科技活動對現實生產力貢獻時,科技論文的數量和質量從一個側面反映出一個國家的科技實力和水平;專利數量可以更好地說明一個國家的創新能力。

連燕華 等[26]編制了科學技術產出指數—STP,每種產出的基本單位數量乘以系數,而后對各種產出的計量值相加,得出科學技術產出的總計量值,最后除以10000,縮量得出相當于萬元單位的科技產出指數值(科學技術產出指數STP的單位是“點”(見下表)得出這種產出的STP計量值,對不同科技活動形式通過量化的得出對科技產出的總體貢獻。

皮特.溫克勒等[27]研究了1997和200年EUJ國家年GDP值和期刊論文數,表明,從長期來看,EUJ國家不同時期GDP和期刊論文數隨時間近似線性增長,同步變化 。

 

科學技術產出指數STP

科技成果產出類型系數STP

系數值

論文

國內論文的系數為1

國際論文的系數為2


SCI論文的系數為4


專利

外觀設計的系數為1

實用新型的系數為2


發明專利的系數為4


創收

國內技術市場成交額系數為1

國技術出口成交額系數為1


    目前,單一科技活動類型對現實生產力的貢獻在我國還未見研究和應用。開展這一方面的研究和應用對于科技分類評價,改善目前以SCI論文為導向的科技評價具有重要意義。

 

3)建立科技評價從注重科技論文評價向科技影響力評價轉化、同行專家評議向多角度、多層次評價的導向機制

 

     科技評價一方面,需要遵循科學自身的發展規律,創造一種有利于出人才出成果的寬松自由的科研環境;另一方面,需要不斷完善科技評價制度,充分發揮科技評價的導向作用與激勵作用。

      我國20 世紀80 年代以來,成果鑒定等傳統的同行評議普遍存在客觀性不足的嚴重問題,90年代以后又過于注重論文數量等定量指標。目前形成以SCI論文影響因子為評價的主流評價機制,這一現象已嚴重影響了我國任務不同的多樣性的科技活動。

國外早于我國之前認識到這些問題。如:德國 實行科技分類評價,對于從事基礎研究的評估,并不考慮論文SCI的影響因子,在評估的指標體系中,主要考察科研工作是如何開展的、研究工作國際交流、青年人才培養情況、財務使用狀況、學術帶頭人的人格魅力及影響、研究團隊精神等;對于應用研究類的評估,更加注重從企業界爭取到的經費、服務的企業界客戶數量、申請專利的數量、考察科學家自己創辦企業的數量等,評估中注重企業界專家的評估。

     法國在對科技人員進行評價時更加注重“經過漫長的學習和科研過程的科研人員學術能力的評估” 一般為4年一次評估,對論文SCI影響因子關注不多[28]。

     日本在產業技術的評估中,注重具有長期目標的階段性評估,如日本產業技術綜合研究所2001—2004 年, 開展了近期評價, 側重評價直接科技產出和科研質量, 包括文章、專利、地理地圖、標準、軟件和數據庫等。 2005—2009 年, 開展中期評價, 側重評價其科技產出的直接經濟社會效益, 包括產品普及、能源節省、風險控制、災害預防和疾病防治等。2010 年后, 開展回溯評價, 側重評價其科技產出對GDP、新增就業機會、國際競爭能力提升、生活質量、環境保護、社會安全等的貢獻。

      英國1986年第一次開始對大學的科研水平進行評估(RAE)[29],2014年英國建立REF評估,評價2008-2013年的科研活動,更加注重視研究的經濟和社會影響、重視跨學科研究或合作研究的評價,注重科研活動以外對經濟、社會、文化、公共政策或服務、健康、環境或生活質量產生的效果、變化和收益。

      美國的科技評估僅僅止步于項目績效的評價,同時還要評價項目的計劃、戰略和管理[30]。在對科技人員的評估中,一些同行評議中要求提供論文詳盡的發表記錄,一些學科要求提供論文被引用情況。一定程度上避免了學術造假。

     我國在科技評價中也應建立多指標的科技評價體系,按照任務導向和科技活動特點,定性與定量結合,逐步打破以SCI論文影響因子為導向的科技評價,建立面向基礎研究為主的論文評價、面向國民經濟主戰場的成果效益評價、面向社會和國民服務的科技影響力評價的多層次、多角度的科技評價體制,研制相應指標和指標體系。

 

參考文獻:

[1] 鄭友取,深化科技體制改革要解決三個問題。學習時報,http://www.rmlt.com.cn/2014/1208/355369_3.shtml     2014-12-08 08:55 

[2] 中國科技信息研究所,1989-1997年中國科技論文統計與分析

[3]師昌緒、田中卓、黃孝瑛等。“科學引文索引---國際上評定科研成果的一種方法。科學通報,1997,42(8):888-893

[4]中國科技信息研究所,1998-2014年中國科技論文統計與分析

[5]SCI論文在我國科研評價中的利與弊。科技日報,2013-5-7

[6] Garfidld E.How can impact factors be imoroved?British Medical Journal,1996,313:411-413

[7]2014年我國英文版科技期刊發展回顧,http://bbs.pinggu.org/thread-3667659-1-1.html

[8]任勝利. 2014年我國英文版科技期刊發展回顧. 科技與出版, 2015, (2): 9-12

[9]李友華等。科技成果推廣轉化績效評價理論和方法研究。北京:中國農業出版社,2008,35

[10]別雪君等,科研與科普結合的現狀調查及對策研究.見:中國科學技術協會普及部、中國科普研究所編:科普發展對策研究.北京:科學普及出版社,2014.4

[11]姜聯合等.我國科技計劃項目科普化模式和實施過程初探.科普研究,2010,(6):5-15

 [12] 袁汝兵等,科研與科普結合對策研究. 見:中國科學技術協會普及部、中國科普研究所編:科普發展對策研究.北京:科學普及出版社,2014.15

[13]皮特.溫克勒著.基于科學計量學指標的科研評價.科學技術文獻出版社,北京,2014,37

[14] Klaic  B.The use of scientometric parameters for the evaluation of scientific contributions, Collection of  Anthropology, 1999.23,751-770  ;Vinkler, P.Dynamic changes in the chance for citedness.Scientometrics.2002.58,687-694

[15]Gupta B M.Growth and obsolescence of literature in theoretical population genetics .Scientometrics,1998,42,335-347

[16]Glanzel W.(2006)On he h-index –A mahemaical approach o a new measure of publication activity and citation impact.Scientomerics,67,315-321

[17]Batista P D,Campiteli M G,Kinouchi O,Martinez A S(2006)Is it possibleto compare researchers with different scientific interests? Scientometrics,68,179-189

[18]Persson O,Glanzel W,Danell R(2004)Inflationary bibliometric values:The role of scientific collaboration and the need for relative indicators in evaluative studies.Scientometrics,60,421-432

[19]Vinkler P.2009 .The 兀-index .Anew indicator for assessing scientific impact.Journal of Informaion.Science,35,602-612.

[20] Price DJ,De Solla.1963.Litle Science,Big Scienc.New York:Columbia University Press)。

[21]谷歌推出學術指標,影響因子面臨顛覆http://www.editorhome.cn/reading/19091/78d79d03-d558-4af1-9b01-01bb4fb53c2b.aspx  2015/7/15

[22] 歌學術H5指數及其與湯森路透影響因子對比分析,http://www.aiweibang.com/yuedu/42049224.html,2015-08-05

[23]朱軍文等,國際科技評價政策發展報告,上海交通大學出版社,2015,277

[24]徐芳,劉文斌,李曉軒. 英國REF科研影響力評價的方法及啟示,《科學學與科學技術管理》, 2014(7)

[25]中國科學院辦院方針 :“三個面向”“四個率先”, http://finance.chinanews.com/cj/2015/02-13/7061958.shtml

[26]連燕華,石兵,劉學英,馬曉光。國家科學技術投入與產出評價,中國軟科學2002, (1)

[27]皮特.溫克勒著.<基于科學計量學指標的科研評價,北京:科學技術文獻出版社,2014,191

[28]黃向陽,德、法科研評估方法的啟示,中國科學院院刊 , 2002, 17(6)

[29]黃小勇,英國大學科研評估制度及其啟示 - 武漢理工大學學報(社會科學版) - 2010, 23(5)

[30]劉瑩、張大群、李曉軒。美國聯邦科研機構的績效評估制度及其啟示.中國科技論壇 ,2007, (9)

 

科技評價指標在我國使用的現狀、問題及對策

圖文簡介

該文以深化科技體制改革的戰略需求為目標,著手我國科技評價的突出問題,通過對國內外主要科技評價指標的內涵和應用分析、著手我國不同形式科技活動對現實生產力貢獻,提出科學應用科技評價指標的建議和對策