國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估專家的若干問(wèn)題研究
四川華銳凈化 2019-05-03 16:52:13 閱讀
摘 要:在分析國(guó)內(nèi)外基礎(chǔ)研究同行評(píng)議專家遴選狀況及其研究進(jìn)展的基礎(chǔ)上,提出了國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估專家遴選原則;建立了實(shí)驗(yàn)室評(píng)估專家評(píng)分產(chǎn)生偏差的若干效應(yīng)概念。
國(guó)家重點(diǎn)實(shí)驗(yàn)室是我國(guó)基礎(chǔ)科學(xué)研究自主創(chuàng)新的主要力量,實(shí)驗(yàn)室評(píng)估則是國(guó)家重點(diǎn)實(shí)驗(yàn)室宏觀管理的主要手段。2004年以來(lái),科技部調(diào)整了實(shí)驗(yàn)室評(píng)估的政策,由過(guò)去定性與定量相結(jié)合并以定性評(píng)估為主,改變?yōu)橥耆揽繉<疫M(jìn)行定性評(píng)估。由此可見(jiàn),實(shí)驗(yàn)室評(píng)估辦法一旦確定,評(píng)估專家就是實(shí)驗(yàn)室評(píng)估工作的決定因素。深入地研究實(shí)驗(yàn)室評(píng)估專家的有關(guān)問(wèn)題,避免非工作因素對(duì)評(píng)估工作的影響,從而正確發(fā)揮實(shí)驗(yàn)室評(píng)估的導(dǎo)向作用,對(duì)于不斷提高國(guó)家重點(diǎn)實(shí)驗(yàn)室整體水平具有重要的意義。
1 實(shí)驗(yàn)室評(píng)估專家遴選
1.1 實(shí)驗(yàn)室評(píng)估專家遴選的原則
1.1.1 學(xué)術(shù)權(quán)威性 國(guó)家重點(diǎn)實(shí)驗(yàn)室是在我國(guó)自然科學(xué)領(lǐng)域和部分關(guān)系國(guó)民經(jīng)濟(jì)發(fā)展的重要領(lǐng)域選擇的學(xué)術(shù)水平最高的隊(duì)伍。評(píng)估專家選擇的首要原則是學(xué)術(shù)權(quán)威性,即評(píng)估專家在某個(gè)研究領(lǐng)域曾經(jīng)做出過(guò)或正在做比較有價(jià)值的研究工作,具有較高的學(xué)術(shù)水平和學(xué)術(shù)名望。
學(xué)術(shù)權(quán)威性有三個(gè)內(nèi)涵,一是評(píng)估專家具有較廣博的專業(yè)知識(shí),二是評(píng)估專家具有旺盛的創(chuàng)造力和較高的學(xué)術(shù)水平,三是評(píng)估專家對(duì)本領(lǐng)域的國(guó)際前沿和國(guó)內(nèi)的研究工作狀況具有足夠的了解.三個(gè)內(nèi)涵相輔相成,缺一不可,共同構(gòu)成了學(xué)術(shù)權(quán)威性的范疇。較廣博的專業(yè)知識(shí)是評(píng)估專家具有學(xué)術(shù)權(quán)威性的基礎(chǔ),旺盛的創(chuàng)造力和較高學(xué)術(shù)水平是評(píng)估專家具有學(xué)術(shù)權(quán)威性的關(guān)鍵,對(duì)國(guó)際前沿和國(guó)內(nèi)相關(guān)研究工作狀態(tài)的了解是評(píng)估專家發(fā)揮學(xué)術(shù)權(quán)威性的前提。
1.1.2 來(lái)源廣泛性 評(píng)估專家都有自己的工作單位和所屬部門,因此一般或多或少地都帶有一些部門色彩,個(gè)別評(píng)估專家的部門傾向還相當(dāng)嚴(yán)重。為了消除這些因素可能給評(píng)估造成的影響,評(píng)估專家應(yīng)該具有比較廣泛的來(lái)源,注意部門之間專家數(shù)量的平衡。不至于由于評(píng)估專家來(lái)源的偏頗使得實(shí)驗(yàn)室評(píng)估結(jié)果出現(xiàn)偏差。
根據(jù)實(shí)驗(yàn)室工作的性質(zhì)和特色,還應(yīng)該邀請(qǐng)一些非參評(píng)實(shí)驗(yàn)室所屬部門尤其是一些大型企業(yè)研究院所的專家參與實(shí)驗(yàn)室評(píng)估工作。一是充分體現(xiàn)代表的廣泛性,二是能夠讓科研與生產(chǎn)相結(jié)合的企業(yè)的專家來(lái)評(píng)價(jià)實(shí)驗(yàn)室的應(yīng)用研究成果。
實(shí)驗(yàn)室評(píng)估應(yīng)該有一定數(shù)量的管理專家參加。管理專家應(yīng)該懂得管理科學(xué)理論與方法,具有較豐富的管理實(shí)踐經(jīng)驗(yàn),特別是科學(xué)研究管理和組織行為學(xué)方面的專家。管理專家不能夠充分發(fā)揮作用,會(huì)使得在實(shí)驗(yàn)室評(píng)估中擔(dān)當(dāng)比較重要角色的管理專家變得無(wú)足輕重,使得管理專家的角色出現(xiàn)不到位甚至于缺位。
1.1.3 結(jié)構(gòu)合理性 評(píng)估專家應(yīng)該具有合理的年齡結(jié)構(gòu)、知識(shí)結(jié)構(gòu)和學(xué)緣結(jié)構(gòu)。
年齡結(jié)構(gòu)合理,即老、中、青專家相結(jié)合,評(píng)估專家中既有德高望重的學(xué)術(shù)權(quán)威,又有年富力強(qiáng)的中年學(xué)術(shù)帶頭人,也有頗具銳氣學(xué)有所成的青年學(xué)術(shù)骨干。學(xué)術(shù)權(quán)威具有較高的學(xué)術(shù)威望、廣博的知識(shí)面和對(duì)國(guó)內(nèi)外同行研究狀態(tài)的了解,是評(píng)估專家中的核心力量,在實(shí)驗(yàn)室評(píng)估中不可或缺;年富力強(qiáng)的中年評(píng)估專家學(xué)術(shù)水平較高,與實(shí)驗(yàn)室同行有更多的合作與交流,因而更加熟悉實(shí)驗(yàn)室的真實(shí)情況和研究工作的水平,是評(píng)估專家中的骨干力量;青年學(xué)術(shù)骨干則具有初生牛犢不怕虎的闖勁,敢于發(fā)表比較尖銳的意見(jiàn)。老中青相結(jié)合,互相補(bǔ)充,互相激勵(lì),可以發(fā)揮不同年齡層次的優(yōu)點(diǎn),構(gòu)成評(píng)估專家合理的年齡結(jié)構(gòu),是評(píng)估專家正確的年齡取向。
合理的知識(shí)結(jié)構(gòu)是專家結(jié)構(gòu)合理性的重要組成部分。實(shí)驗(yàn)室一般具有3-4個(gè)或更多的研究方向,有的實(shí)驗(yàn)室研究方向?qū)儆诮徊鎸W(xué)科,有的研究方向較窄甚至基于三級(jí)學(xué)科。現(xiàn)場(chǎng)評(píng)估一個(gè)小組有6-9個(gè)實(shí)驗(yàn)室,評(píng)估專家只有10位,所以現(xiàn)場(chǎng)評(píng)估對(duì)評(píng)估專家知識(shí)結(jié)構(gòu)的要求相當(dāng)高,不僅要有本專業(yè)深厚的理論基礎(chǔ)和較高的學(xué)術(shù)造詣,而且要了解相鄰學(xué)科的知識(shí)內(nèi)容。
合理的學(xué)緣結(jié)構(gòu),如一個(gè)小組的評(píng)估專家盡可能畢業(yè)于不同的學(xué)校,可避免由于評(píng)估專家對(duì)母校的某種情節(jié)而可能使評(píng)估結(jié)果出現(xiàn)不應(yīng)出現(xiàn)的偏差。
1.1.4評(píng)估公正性 要求評(píng)估專家站在國(guó)家利益的高度,嚴(yán)格遵守科學(xué)研究同行評(píng)議行為規(guī)范,按照客觀公正的原則,公平、公正地對(duì)待任何―個(gè)實(shí)驗(yàn)室,不因?yàn)槿魏卧蚱蝗魏唯D個(gè)實(shí)驗(yàn)室。
遴選實(shí)驗(yàn)室評(píng)估專家的上述原則可以在源頭上控制或減少不公正因素的出現(xiàn)或形成。評(píng)估專家來(lái)源的廣泛性,意味著專家具有廣泛的代表性,可以維持部門或單位利益上的均衡;年齡結(jié)構(gòu)的合理性,可以在一定程度上減少單一年齡結(jié)構(gòu)固有的不足;合理的知識(shí)結(jié)構(gòu)則可以避免在評(píng)估中出現(xiàn)對(duì)實(shí)驗(yàn)室研究工作認(rèn)識(shí)上的偏差。
1.2 實(shí)驗(yàn)室評(píng)估專家數(shù)量的確定
一般地,評(píng)估專家的數(shù)量越多,專家個(gè)體對(duì)評(píng)估結(jié)果的影響越小,評(píng)估結(jié)果的可靠性越高。但是,評(píng)估專家越多,所付出的成本也越大。因此,在保證實(shí)驗(yàn)室評(píng)估結(jié)果可靠性的基礎(chǔ)上,盡可能地減少評(píng)估專家的數(shù)量,是確定實(shí)驗(yàn)室評(píng)估專家數(shù)量的主要任務(wù)??梢詰?yīng)用數(shù)理統(tǒng)計(jì)理論確定容量的方法確定專家的數(shù)量。
即專家數(shù)量n與置信區(qū)間長(zhǎng)度的平方成反比,要有較短的置信區(qū)間長(zhǎng)度,就必須增大n的數(shù)量.通??梢圆捎迷嚥罘ù_定n的大小,即評(píng)估專家的數(shù)量。
2 影響實(shí)驗(yàn)室評(píng)估專家評(píng)分的若干效應(yīng)分析
根據(jù)對(duì)國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估數(shù)據(jù)的分析,由于評(píng)估專家的學(xué)術(shù)背景、科研經(jīng)歷、心理特征、思維模式、標(biāo)準(zhǔn)把握等等都有可能存在差異,因此不同的評(píng)估專家對(duì)于同一客觀事實(shí)的認(rèn)識(shí)和判斷就有可能不同,評(píng)估結(jié)果就不能夠準(zhǔn)確地反映實(shí)驗(yàn)室客觀情況。為了分析評(píng)估專家在評(píng)估過(guò)程中可能形成偏差的原因,建立以下有可能產(chǎn)生偏差的若干效應(yīng)概念。
2.1 慣性思維效應(yīng)
由于同行專家往往與實(shí)驗(yàn)室有了較長(zhǎng)時(shí)間的交往,這些專家對(duì)實(shí)驗(yàn)室價(jià)值的判斷已經(jīng)形成了固有的認(rèn)識(shí),因此在對(duì)實(shí)驗(yàn)室進(jìn)行評(píng)估時(shí),有的專家并不是根據(jù)實(shí)驗(yàn)室在一個(gè)評(píng)估周期內(nèi)提供的新的判斷依據(jù)敏銳地進(jìn)行分析和判斷,而是“先人為主”,好的實(shí)驗(yàn)室總是好的,差的實(shí)驗(yàn)室總是差的,這種現(xiàn)象稱作慣性思維效應(yīng)。慣性思維效應(yīng)產(chǎn)生的原因可能是由于某些人受事物第一印象的左右,不肯接受新信息而造成的,由此在實(shí)驗(yàn)室評(píng)估時(shí)產(chǎn)生明顯的偏差。
2.2 個(gè)人偏好效應(yīng)
個(gè)別評(píng)估專家在對(duì)實(shí)驗(yàn)室進(jìn)行評(píng)估時(shí),往往不以評(píng)估指標(biāo)體系等標(biāo)準(zhǔn)而是根據(jù)個(gè)人偏好的“標(biāo)準(zhǔn)”進(jìn)行判斷,這種現(xiàn)象稱作個(gè)人偏好效應(yīng)。如有的專家偏好論文及相關(guān)學(xué)術(shù)刊物的影響因子,只要在較高影響因子的刊物上發(fā)表論文就認(rèn)定該實(shí)驗(yàn)室是一個(gè)好的實(shí)驗(yàn)室;個(gè)別專家甚至要求實(shí)驗(yàn)室計(jì)算發(fā)表論文雜志的影響因子總和、人均影響因子等指標(biāo)。偏離甚至廢棄實(shí)驗(yàn)室評(píng)估指標(biāo)體系,以專家個(gè)人偏好“標(biāo)準(zhǔn)”進(jìn)行評(píng)估,容易以偏概全,產(chǎn)生認(rèn)識(shí)和判斷上的失誤。
2.3 同行偏好效應(yīng)
評(píng)估專家對(duì)相同學(xué)科領(lǐng)域的實(shí)驗(yàn)室表現(xiàn)出一定程度的偏愛(ài),由同行偏好所產(chǎn)生的效應(yīng)稱為 同行偏好效應(yīng)。產(chǎn)生的原因可能是對(duì)相同研究領(lǐng)域的實(shí)驗(yàn)室比較熟悉或由于熟悉而產(chǎn)生對(duì)小同行的好感;另外的原因可能是學(xué)科保護(hù)主義,即個(gè)別專家可能認(rèn)為自己擔(dān)負(fù)著為同行說(shuō)好話從而使這些實(shí)驗(yàn)室不至于吃虧的責(zé)任,在評(píng)估時(shí)對(duì)同行的實(shí)驗(yàn)室表現(xiàn)出一種偏袒的色彩,打分明顯高于其他專家的評(píng)分值。同行偏好屬于普遍性偏好,即一般意義上,評(píng)估專家都存在一定程度的同行偏好。
2.4 學(xué)術(shù)權(quán)威效應(yīng)
在長(zhǎng)期的科學(xué)研究工作中,一些曾經(jīng)做出過(guò)重要貢獻(xiàn)的科學(xué)家在我國(guó)科學(xué)研究專家隊(duì)伍中脫穎而出,逐漸成為各個(gè)學(xué)科的學(xué)術(shù)權(quán)威。他們不僅在科學(xué)研究工作方面作出過(guò)杰出的貢獻(xiàn),有的還具有較強(qiáng)的組織管理能力,對(duì)我國(guó)某個(gè)領(lǐng)域的科學(xué)研究工作的發(fā)展作出過(guò)重大貢獻(xiàn)。但個(gè)別學(xué)術(shù)權(quán)威逐漸成為某個(gè)研究領(lǐng)域的“學(xué)霸”,在對(duì)實(shí)驗(yàn)室進(jìn)行評(píng)估時(shí)往往是“一言堂”。由于種種原因,別的專家在發(fā)言時(shí)也大多附和,不敢或不愿提出不同的意見(jiàn)。由此,專家集體對(duì)實(shí)驗(yàn)室的評(píng)估有可能變?yōu)閷W(xué)術(shù)權(quán)威個(gè)體對(duì)實(shí)驗(yàn)室的評(píng)估,專家組的集體作用未能得到正常和有效的發(fā)揮。當(dāng)學(xué)術(shù)權(quán)威的評(píng)價(jià)意見(jiàn)與客觀事實(shí)相左時(shí),實(shí)驗(yàn)室評(píng)估結(jié)果就有可能出現(xiàn)較大的偏差。
分析學(xué)術(shù)權(quán)威效應(yīng)所以能夠產(chǎn)生不恰當(dāng)?shù)淖饔?,一是有的專家盲目迷信?quán)威,雖然同為評(píng)估專家,但是專家在學(xué)術(shù)界處于不同的層次,處于下層的青年學(xué)者有可能迷信處于上層的專家,所以不能夠發(fā)表不同的意見(jiàn);二是有的專家雖然有不同意見(jiàn),但由于種種顧慮而不敢發(fā)表。上述情形與學(xué)術(shù)權(quán)威霸道的行為相輔相成,形成一種惡性循環(huán),在實(shí)驗(yàn)室評(píng)估中是極為有害的。
2.5 同情心理效應(yīng)
由于個(gè)別學(xué)科領(lǐng)域參評(píng)實(shí)驗(yàn)室較多,專家的評(píng)分值就有可能擠在一個(gè)較小的區(qū)域內(nèi),如有時(shí)專家評(píng)分的平均值在1分之間能夠排列5至6個(gè)實(shí)驗(yàn)室之多,而這很難確定實(shí)驗(yàn)室之間的差異,從而容易產(chǎn)生較大的偏差。產(chǎn)生這種偏差的原因是由于有關(guān)部門實(shí)行排序在后的若干實(shí)驗(yàn)室要被淘汰這一政策后,有的專家“心慈手軟”不忍心給較差的實(shí)驗(yàn)室打低分。同情心理效應(yīng)有可能造成實(shí)驗(yàn)室排序特別是末尾部分實(shí)驗(yàn)室排序混亂的情況,有可能使得確實(shí)較差的實(shí)驗(yàn)室死里逃生,而不至于被淘汰的實(shí)驗(yàn)室卻遭遇厄運(yùn),嚴(yán)重影響實(shí)驗(yàn)室評(píng)估的客觀性和公正性。
2.6 非共識(shí)效應(yīng)
專家在評(píng)估實(shí)驗(yàn)室時(shí),對(duì)某實(shí)驗(yàn)室的判斷和其他專家的整體判斷出現(xiàn)不一致的現(xiàn)象。非共識(shí)效應(yīng)的產(chǎn)生可能是以下幾個(gè)方面的原因造成的。
2.6.1 專家對(duì)個(gè)別實(shí)驗(yàn)室不熟悉 雖然實(shí)驗(yàn)室評(píng)估專家的研究工作屬于大的學(xué)科范圍,但是由于一些實(shí)驗(yàn)室研究方向過(guò)于狹窄或過(guò)于寬泛等原因,評(píng)估專家可能對(duì)某實(shí)驗(yàn)室的某些研究工作并不熟悉,對(duì)實(shí)驗(yàn)室進(jìn)行評(píng)估時(shí),判斷發(fā)生失誤,形成了非共識(shí)偏差。
2.6.2 和實(shí)驗(yàn)室關(guān)系的好惡 由于國(guó)內(nèi)同行專家尤其是小同行專家的數(shù)量較少而難免在研究工作的各個(gè)方面的接觸中產(chǎn)生友誼或發(fā)生矛盾,這些可能使得專家們形成了各種錯(cuò)綜復(fù)雜的關(guān)系。在實(shí)驗(yàn)室評(píng)估時(shí),個(gè)別專家有可能不恰當(dāng)?shù)負(fù)诫s了一些個(gè)人感情色彩方面的因素,評(píng)分時(shí)表現(xiàn)出了異乎尋常的偏好或偏見(jiàn),由此產(chǎn)生了對(duì)實(shí)驗(yàn)室判斷的嚴(yán)重偏差。
2.6.3 “真理在少數(shù)人手中”由于基礎(chǔ)研究工作的不確定性和風(fēng)險(xiǎn)性,可能大多數(shù)專家的判斷有誤,而個(gè)別專家卻清醒地看到實(shí)驗(yàn)室所具備的未來(lái)發(fā)展?jié)摿驑O有可能出現(xiàn)的重大創(chuàng)新性成果使實(shí)驗(yàn)室能夠達(dá)到某種良好的態(tài)勢(shì),由此產(chǎn)生了與大多數(shù)專家相偏離的判斷。一般地,此類狀況需要通過(guò)長(zhǎng)期跟蹤來(lái)檢驗(yàn)。
非共識(shí)偏好屬于非普遍性偏好,只在少數(shù)專家評(píng)分時(shí)出現(xiàn)。分析近幾年實(shí)驗(yàn)室評(píng)估的數(shù)據(jù),對(duì)優(yōu)秀實(shí)驗(yàn)室的評(píng)估,由于事關(guān)重大,評(píng)估專家尚能謹(jǐn)慎從事,評(píng)分值起伏不大,非共識(shí)偏好對(duì)評(píng)估結(jié)果的影響較小。除此之外,非共識(shí)偏好對(duì)實(shí)驗(yàn)室評(píng)估結(jié)果存在影響,有的影響還相當(dāng)大。