關于國家自然科學基金績效評估的思考

>>>  新興科技、社會發展等人文科學探討  >>> 簡體     傳統


    中圖分類號:F224.5 文獻標識碼:A 文章編號:1000-2995(2004)04-006-0001
    自20世紀50年代起,以美國為代表的經濟合作與發展組織(OECD)國家陸續建立了以同行評議制為核心的政府資助科學研究(尤其是基礎科學)的機制,并不斷加大對廣泛的基礎科學范圍內競爭性研究的支持力度,為科學事業的持續健康發展奠定了強大而堅實的基礎,同時也提高了科學研究解決社會經濟等重大問題的能力。然而最近十余年來,各國政府的科技政策環境經歷了重大變化,面對各國經濟競爭的加劇和對科學的巨額投資,公眾要求說明公共資金使用效益與效率的呼聲日益高漲。[1]政府通過與科學界的磋商與合作,成功地將以目標-結果管理為中心的績效管理這一新的模式引入科研資助及管理活動中,又一次贏得了公眾的信任。[2]在科技政策經歷變化的這兩個階段里,對科學研究的評價——第一階段是事前評價,第二階段是事后評價(即績效評估)——扮演了重要角色,政府資助機構通過公正合理的評價取信于科學界與公眾,既推動了自身的發展,也為科學發展創造了良好的環境。
    我國科學基金制的建立與國家自然科學基金委員會(簡稱為自然科學基金會)的成立是我國科技體制改革的重大舉措,是我國在從計劃經濟向市場經濟轉型過程中將競爭機制引入科學研究及其管理的具體實踐,也是政府對科學事業的管理邁向國際化的重要一步。經過十余年的發展,自然科學基金會不僅在提高我國科研整體水平與能力方面取得了驕人的成績,而且在科研管理方面不斷探索,積累了大量的寶貴經驗,尤其是規范而嚴謹的同行評議制的引入與改進,保證了科學基金資助工作的公正性和合理性,更為各級相關部門和機構的科研管理活動起到了積極的示范作用。近年來,隨著“科教興國”戰略的實施和政府對科學研究的投入大幅度增加,如何通過有效的管理手段鼓勵創新,發揮對科研活動的正確導向作用,以及提高科研投入的使用效益與效率等問題,同樣也成為我國政府和科學界共同面臨的新挑戰。在成功地引入同行評議制開展科研活動的事前評價之后,我國能否借鑒國外普遍采用的績效評估方法以進一步改進轉型中的科研管理?對科學研究開展績效評估的目的與原則是什么?對科學研究、尤其是基礎研究開展績效評估存在的困難和可能出現的問題有哪些?政府資助科學研究的機構實行績效評估應包括哪些內容?相互之間的關系與結構怎樣?本文試圖結合對上述問題的分析和探討,圍繞國家自然科學基金績效評估工作,展開我們的思考。
      1 國家自然科學基金績效評估的基本問題
    1.1 績效評估的作用與意義
    近年來,隨著國際上科學研究績效評估之風的興起,績效評估在我國科學界和科研管理部門也引起了普遍關注,特別是隨著我國政府對科學研究投入的不斷加大以及科學研究的競爭加劇,要求引入績效評估這一已被國外經驗證明行之有效的科研管理手段的迫切性也日益增強。但由于我國科學研究績效評估尚處于起步階段,缺乏一定的規范與適當的制度保證,盡管已經開展的評估活動增強了科學家的責任感和競爭意識,對提高科研產出和研究質量產生了積極作用,但少數不恰當的評估也給科研帶來了一定的負面影響,甚至助長了急功近利和浮躁的傾向,不利于我國科學事業的持續健康發展。[3]因此,無論是與深化我國科技體制改革和改進科研管理的迫切要求相比,還是從推動科學事業發展的根本目的出發,我國績效評估的工作水平都有待提高,績效評估的作用尚待進一步發揮。
    自然科學基金會肩負著推動我國基礎科學健康發展的重要職責,開展科學合理的績效評估不僅是其行使自身管理職能和提高管理水平的重要手段之一,而且將對全國科學界產生積極的引導與示范作用。2003年5月,科技部聯合教育部、自然科學基金會等五部委發布了《關于改進我國科學技術評價工作的決定》,要求各級相關管理部門必須從科學發展的大局出發,“采取切實有效的措施,盡快解決當前科學技術評價工作中的主要問題,扭轉各種不良風氣和行為”,建立健全評價制度,制定改進評價工作的具體辦法和措施,加強對評價工作的管理。因此,自然科學基金會在進一步改進與完善以同行評議為核心的事前評價工作的同時,還應充分借鑒國外的有益經驗,著手建立和運行規范的績效評估制度,逐步向以目標-結果管理為中心的新的管理模式過渡。
    1.2 績效評估的目的與原則
    績效評估是科研管理的重要手段之一,開展國家自然科學基金績效評估的根本目的在于提升科學基金的管理水平,提高科學基金的使用效率,增強政府和公眾對科學基金工作的了解與信任。根據績效評估的具體目標指向(如科學家、科學基金管理部門和管理人員、政府部門與公眾等),可將科學基金績效評估的目的歸納為如下幾個方面:(1)激勵科學家參與科研資源的合理競爭,通過競爭有利于鼓勵科學創新,有利于優秀科研人才脫穎而出,有利于優化科學資源配置;(2)推動科學基金管理部門制定切實有效的發展戰略和工作目標,提高科學基金管理水平;(3)幫助科學基金管理人員了解我國基礎科學發展的整體水平與方向,為調整學科布局和制定學科資助政策提供科學依據;(4)通過公布績效評估結果,提高科學基金資助成果的顯示度和影響力,讓公眾和政府有關部門了解科學基金的成績和作用,理解和支持科學基金工作。
    開展國家自然科學基金績效評估應堅持的基本原則可有以下幾項:(1)實效性原則:充分體現績效評估的目的,緊密圍繞科學基金工作的總體戰略,與科學基金的管理工作有機結合,切實發揮評估的作用;(2)科學性原則:根據具體的評估目的與對象,建立相應的科學合理的評估指標體系,綜合運用多種評估方法,正確處理定性與定量評估的關系,正確處理研究產出量與質的關系;(3)公正性原則:保證評估標準、評估方法和評估過程的公開、公平、公正,在適當范圍內公開評估結果,維護被評人員與機構的知情權和申訴權;(4)國際性原則:借鑒國際通用的評估方法,吸收國際同行參與評估活動,逐步與國際接軌;(5)簡捷性原則:選擇簡單易行的評估方法,簡化評估程序,減輕評估對象負担,降低評估成本。
    1.3 績效評估的層次與內容
    根據目標-結果管理的模式,國家自然科學基金績效評估主要考察評估對象預設目標的執行和完成情況,以及科學研究的產出及其影響。以美國國家科學基金會(NSF)的為例,績效評估可分層次進行,每一層次的評估有不同的目標、對象和組織方式,評估對象主要是科學基金政策與管理活動,而且,較宏觀層次的評估總是以較微觀的評估為基礎。例如,對NSF的整體績效評估,通常由國家科學委員會(NSF的決策機構)、白宮和國會每年結合NSF預算的提出與審批進行;各科學局層次的評估由各局的咨詢委員會承担,評估內容是各局的資助動議及預算;各科學處或資助計劃層次的評估由外部人員組成的訪問專家委員會承担,評估各處或計劃的同行評議過程以及資助結果;對項目層次的評估雖然沒有專門組織,但也采取非正式的形式,通過對項目受資助者再次提出申請時的業績評估、項目年度進展報告審查、到受資助者所在研究單位的實地走訪等方式,對具體項目進行評估。[4]
    由于我國的績效評估尚處于探索階段,國家自然科學基金績效評估在短時期內還不可能像美國NSF那樣全面展開,但至少也可分為宏觀與微觀兩級實施。宏觀評估包括對自然科學基金會的整體運行與資助狀況、各類資助計劃和類型(重大研究計劃、人才計劃等和重大項目、重點項目、小額預研項目等)、學科領域資助活動及結果以及根據特定需要開展的其他評估,由自然科學基金會責成相關職能局組織實施,從整體和較宏觀的層面考察國家自然科學基金的使用效益與效率,適時調整資助政策和改進管理工作;微觀評估主要由科學部組織實施,評估對象包括各類受資助的單個項目、國家杰出青年科學基金獲得者、創新研究群體和其他受資助對象,考察受資助對象的績效,提高受資助者的責任感和履約意識,改進和完善資助活動的具體管理工作。微觀評估的主體以科學家為主,而宏觀評估除了有科學家參與,還應吸收來自外部的科技政策與管理專家參加。
      2 國家自然科學基金績效評估應注意的若干問題
    對科學研究的績效評估是政策導向性很強的一項工作,評估標準的確定、指標的選擇以及權重的設定等直接影響到評估活動的結果,并對科學家的行為產生影響。美國的科技評估專家曾指出,如果《政府績效與結果法案》(GPRA)在基礎研究的資助機構應用不當,不僅不能客觀了解其資助的結果,最糟糕的是,將引導科學家開展“安全的、易取得短期成果的、低風險的研究”。[5]針對科學研究、尤其是基礎研究的績效評估活動是否可行、如果可行應如何開展等問題,我國科學界和科研管理部門也已展開了大量的討論,并就如何看待研究結果的質與量、如何運用定量指標等評估的具體問題,產生了激烈的爭論,這也從一個側面說明開展基礎科學的績效評估的確是一個復雜的問題。我們認為,開展國家自然科學基金績效評估,應該注意以下幾個方面的問題。
    2.1 充分注重基礎研究的特點
    在我國關于科學研究績效評估的討論中,涉及到一個最根本的問題,就是基礎研究及其資助結果能否進行評估。因為基礎研究具有長期性、積累性、不確定性等特點,重大突破產生的時機和發展方向是無法預測的,研究成果中最重要的方面也難以僅僅用定量的指標來衡量。而且,科學家的研究成果得到同行承認會有一定的滯后期,并往往不是在某一個資助機構的單獨支持下完成的,因此,科學界對基礎研究進行績效評估的可行性一直存有疑慮。但各國的評估實踐證明,正確使用評估手段對科學研究確實起到了促進作用。不過,在對科學研究進行績效評估時,應充分考慮基礎研究的復雜特性,根據評估的目的與對象,運用多種評估方法,既可采用文獻計量等定量方法,又可采用定性指標、描述性文字、案例分析、國際比較、突出成績的舉例等多種定性方法,從多方面進行綜合評估。
    2.2 處理好宏觀與微觀評估的關系
    評估工作不是簡單地對所資助的科研結果進行評判,而是通過對資助結果的考察來改進資助政策與管理水平,以促進科研出成果、出人才。因此,國家自然科學基金績效評估的重點應放在對資助政策與科學基金管理工作的評估方面,針對受資助項目的評估也應主要以研究領域或項目群為單元,而不是局限于對單個具體項目的評估。如前所述,如果把對科學基金工作的整體評估、或至少是在計劃與項目群層次上的評估視為宏觀評估的話,則可把對單個項目的驗收評估視為微觀評估。
    從已有的評估實踐來看,微觀評估的對象一般都是單個項目,難以用單一的定量指標對研究的質量進行衡量,況且單個項目量大面廣,全部組織評估成本太高,所以,這類評估宜以規范的驗收結題方式進行。微觀評估不僅是科學基金管理不可缺少的環節,同時也構成了對項目層次上相關數據的采集、認證和整理的重要組成部分,是直接為改進決策與管理服務的宏觀評估的基礎。兩種評估的功能、作用和評估內容、方式等都不相同,要做好國家自然科學基金績效評估工作,應正確處理宏觀評估與微觀評估的關系。
    2.3 處理好定性與定量評估的關系
    基礎研究的績效評估最主要的方法有兩類,一是定性方法,主要是同行評議;二是定量方法,主要是文獻計量學方法,如對SCI統計數據的使用。這兩類方法都各有其優勢和局限,如果運用不當,就會對科研活動造成不利影響,甚至產生誤導作用。研究表明,定性的同行評議是評價基礎研究質量的最重要的方法,但這種方法的有效運用取決于高質量的同行專家系統,即專家的學術水平和評估工作的獨立性至關重要。而目前在我國,由于真正的同行專家資源往往相對短缺,以及有時在一些評估中摻入了非科學因素,因而損害了同行評議的有效性,導致了評估中走向另一個極端——過分倚重定量(如SCI)方法的現象。其結果帶來了許多問題,如科學研究中的以量代質、急功近利、學風浮躁等,嚴重妨礙了原始性創新成果的產生。從宏觀方面來看,科學研究的質與量之間確實存在一定的依存關系,沒有一定的數量積累,就難以出現高質量的研究成果;但僅有大量的研究成果并不代表有高水平的研究。因此,在國家自然科學基金績效評估中應充分考慮研究的質與量關系、評估中的定性與定量關系,必須確立“質重于量”的評估理念,堅持以定性方法為基礎,以定量方法為補充,定量統計作為定性結論的依據。
    2.4 適當考慮不同類型科學研究的性質及其產出與影響的特點
    國家自然科學基金資助的研究領域覆蓋了自然科學、工程學和管理科學的絕大多數學科,既有基礎研究,也有部分應用研究,既有理論探索,也有實驗方法的重大創新,而這些不同類型研究的產出方式及影響都不盡相同。績效評估應適當考慮不同類型科學研究的性質,根據評估對象的研究類型,選擇與之相適應的評估方式與指標。例如:基礎研究和應用基礎研究在產出和影響等方面的評估方法和指標應有不同,并對不同的指標賦予不同的權重。在評估基礎研究項目時,其產出以出版物為主,其影響可以論文的收錄與引用、國際學術會議的邀請報告等為主,其對人才培養的貢獻可考察基于該項目研究的科研團隊建設和人才培養,主要包括博士生、碩士生的培養;而在評估應用基礎研究項目時,其產出除了論文等指標以外,發明專利應是更為重要的指標。研究結果的影響主要可通過其研究工作的延伸來體現,如在該項目執行期間或完成以后,以此項研究為基礎,使研究工作向“下游”轉移和爭取“橫向”合作的程度,如進入其他的國家級重點科技計劃、爭取到企業的資金投入等,據此判斷該項目研究的應用價值。在評估該項目對人才培養方面的貢獻時,除了考察研究生培養、科研團隊建設,還應考察該項目在培養產業界相關領域的研究人員方面所起的作用,等等。
      3 國家自然科學基金績效評估的制度化建設
    總體來看,國家自然科學基金績效評估工作還處于探索與規范階段,要使績效評估工作真正達到規范化和制度化,還要付出大量的努力,尤其是需要從推動源頭創新和營造科學研究良好環境的戰略高度,對績效評估工作予以充分重視。就目前的情況看,應從明確評估對象、完善評估程序、規范評估方法入手,以建立健全評估支撐系統為契機,在規范微觀評估的同時加強宏觀評估,將績效評估與政策和戰略制定工作相結合,推動績效評估的制度化建設。
    3.1 規范微觀評估,加強宏觀評估
    微觀層次上的國家自然科學基金績效評估已開展多年,例如,根據項目管理辦法對重點項目和重大項目等的結題驗收與評估屬績效評估;對面上項目的績效評估雖然在管理辦法中沒有明確規定,但多數科學部都在結題報告的基礎上,對面上項目進行了不同程度的評估,有的還組織專家組開展專門評估。總地來說,這些評估的效果是積極的,但對一些評估的時限、評估的指標等問題仍然可以深入探討,特別是深入總結成功的經驗,對進一步規范微觀評估具有現實意義。
    微觀評估的對象主要是受資助者,不直接涉及科學基金的政策與管理,而宏觀評估則往往直接針對科學基金的政策與管理,或直接為政策的制定與調整服務,如對科學基金資助政策及實施的評估,對項目類型運行和資助狀況的評估,對學科領域資助結果與政策的評估,乃至對科學基金整體資助績效的評估等。目前,此類評估在自然科學基金會的開展還非常有限,如政策局曾以軟課題的方式支持過幾項研究,如“‘八五’期間物理與化學領域國家自然科學基金重點項目與國際熱點吻合程度的研究”以及“‘九五’優先資助領域實施情況調研”。我們認為,對于了解科學基金的整體績效而言,對學科領域的績效評估可能具有重要的基礎性意義。因為學科領域既是量大面廣的面上項目的基本集合單元,又是科學基金資助與管理的基本單位,要推動科學基金的整體績效評估,首先要開展學科領域層面上的績效評估工作。
    學科領域績效狀況可從兩個方面考察:一是從縱橫兩個向度考察對資助結果及其產生的影響——“縱向”反映受資助學科領域研究水平與研究能力的提高、研究隊伍的建設與發展以及人才培養、國際合作狀況等;“橫向”反映該學科領域的研究在國際上的地位和影響,如有必要,還應反映其為國家社會經濟發展的貢獻等;二是以評估過程和評估結果為基礎考察資助政策與管理水平,包括資助方向、鼓勵領域的確定、資助項目和人才的布局、評審工作的組織、項目管理等。學科領域評估的作用將體現在以下四個方面:(1)考察科學基金學科領域資助工作的整體績效;(2)增進對學科走勢的了解,推動服務于科學基金資助工作的學科發展戰略研究;(3)調整學科資助政策,提高科學基金管理水平;(4)推動我國基礎研究方面的基礎數據積累。基于此,此項工作現應盡快進入試點階段。
    3.2 建立健全績效評估的支撐系統
    國家自然科學基金各類項目的申請、進展與結題材料等信息構成了績效評估活動重要的支撐系統之一,因此,要重視這些基礎數據的收集與積累,盡快規范受資助研究成果數據的采集和認證,促進數據共享,推動網絡化建設,為績效評估的科學性與可行性奠定可靠的基礎。與此同時,良好的評估專家庫與規范的績效評估中介機構也是評估工作支撐系統的另一重要組成部分。自然科學基金會在過去十多年的同行評議工作中已建立起了一支可以信賴的專家隊伍,成為科學基金工作科學性、公正性的有力保障,績效評估工作仍然要繼續依靠專家,充分發揮科學家群體的作用。由于有組織的、正式的績效評估工作多在宏觀層次上展開,因此,績效評估專家應以具有戰略眼光的學術帶頭人為主。在對學科領域資助績效進行國際比較時,還應聘請海外專家;在對應用基礎研究領域進行評估時,應聘請產業界的高級研發專家;在評估科學基金資助政策和管理時,應聘請管理專家參加。總之,評估專家庫的建設可以現有的同行評議專家庫為基礎,針對不同的評估目的,選取不同領域和專長的專家,包括海外專家,逐步建立健全績效評估專家庫。
    3.3 結合政策與戰略制定開展績效評估工作
    從國外的績效評估實踐來看,將評估與政策和戰略制定工作相結合,特別是與預算的申報與審批過程相結合,提升了績效評估的法律效力,將評估工作納入了日常化、規范化和制度化的軌道,也避免了評估的隨意性和可能出現的不公正。如美國NSF的績效評估在GPRA的框架下進行,各層次的評估依循一定的程序和準則開展,績效評估與戰略計劃相互呼應,構成有機的整體。澳大利亞研究理事會(ARC)的績效評估也是如此,甚至在制定戰略計劃中就給每一項目標設定可量度的績效指標,以為將來的評估創造便利。[6]近年來盡管我國的科學界和科研管理機構先后開展了一些績效評估,但評估的方法、機制與程序尚不規范,甚至評估目的有時也不確定,給評估工作及其結果帶來許多問題,實現制度化的績效評估更未提上議事日程。隨著我國財政制度改革和科技體制改革的深入,在未來預算制的實施中績效評估將起到重要作用。自然科學基金會作為國家率先試點實行預算制的政府機構,應更好地利用這一有利條件,逐步將績效評估引入政策與戰略制定以及預算申報的工作中,通過績效評估的制度化促進決策和管理的公開化與科學化,同時擴大科學基金工作的影響,為科學基金的進一步發展創造條件。
    收稿日期:2科研管理京1~6N1科技管理龔旭/趙學文/李曉軒/劉細文20042004國家自然科學基金的設立、運行與發展,是我國在從計劃經濟向市場經濟轉型過程中將競爭機制引入科學研究及其管理的具體實踐,也是政府對科學事業的管理邁向國際化的重要一步。科學基金管理在成功地引入了同行評議制度開展事前評價之后,能否再次引入國外普遍采用的績效評估方法以開展科技基金的事后評價?本文從國家自然科學基金績效評估的作用、原則、層次等基本問題出發,對相關問題進行了思考。科學研究/績效評估/國家自然科學基金
    Scientific research/performance evaluation/National Natural Sciene Fund  Gong Xu 1,Zhao Xue-wen 1,Li Xiao-xuan 2,Liu Xi-wen 3
  (1.Bureau of Policy,National Natural Science Foundation of China,Beijing 100085,China;2.Evaluation Research Center,Chinese Academy of Sciences,Beijing 100080,China;3.Library of Chinese Academy of Sciences,Beijing 100080,China)Peer review system as an ante evaluation tool,which was introduced successfully from developed countries with the establishment of the National Natural Science Fund in early 1980s,plays an important role in the operation and development of the National Natural Science Foundation of China(NSFC).When performance evaluation has become more and more important and popular for research management in OECD countries and some developing countries in last two decades,can it be also applied in R&D policy-making and funding system during socio-economic transformation of China?The paper discusses issues related with performance evaluation at NSFC and gives some suggestions.龔旭(1965-01),女(漢),重慶人,國家自然科學基金委員會政策局。研究方向:科技政策與科技管理。國家自然科學基金委員會政策局,北京,100085
    趙學文 國家自然科學基金委員會政策局,北京,100085
    李曉軒 中國科學院評估研究中心,北京,100080
    劉細文 中國科學院文獻情報中心,北京,100080 作者:科研管理京1~6N1科技管理龔旭/趙學文/李曉軒/劉細文20042004國家自然科學基金的設立、運行與發展,是我國在從計劃經濟向市場經濟轉型過程中將競爭機制引入科學研究及其管理的具體實踐,也是政府對科學事業的管理邁向國際化的重要一步。科學基金管理在成功地引入了同行評議制度開展事前評價之后,能否再次引入國外普遍采用的績效評估方法以開展科技基金的事后評價?本文從國家自然科學基金績效評估的作用、原則、層次等基本問題出發,對相關問題進行了思考。科學研究/績效評估/國家自然科學基金
    Scientific research/performance evaluation/National Natural Sciene Fund

網載 2013-09-10 21:33:53

[新一篇] 關于國家與社會關系的對話

[舊一篇] 關于增加農民收入若干問題的思考
回頂部
寫評論


評論集


暫無評論。

稱謂:

内容:

驗證:


返回列表