投入产出比用于科研项目贡献分析指标体系探讨
作者:齐松仁 孙瑞华 左焕琮 陈育德
单位:齐松仁(100029 北京 中日友好医院科教处);孙瑞华(100029 北京 中日友好医院科教处);左焕琮(100029 北京 中日友好医院科教处);陈育德(北京医科大学)
关键词:科研项目;投入产出比;评估
中华医学科研管理杂志000207 【摘要】 本文以科研项目贡献分析为例,运用成本—效果分析方法,采用特尔菲法确定投入—产出评分分值和权重,建立投入产出比方法的量化指标体系。并对我院近10年已结题的45项课题进行评价,取得了较理想的结果。该指标体系的建立,为客观、公正地评价科研项目的执行情况,提供了一个量化指标体系和范例,为评价课题实施质量和效益提供了一个量化判据。
科学技术决定着未来,科学研究项目是推动科学技术发展的实现形式。评估项目执行情况能够反映科研效益的高低。
, 百拇医药
科研课题量化评估近些年得到了国内许多学者的关注,如课题组科技人员定量评价[1、2]、科研人力投入—产出[3]和科研效益分析[4、5]等探讨,但是,投入产出用于医院科学研究项目贡献的评价仍处于探索阶段,在投入、产出两个方面采用的指标范围也不尽一致,在使用的权重上也不统一,具体案例研究更少,为此,我们进行了这方面的探讨。
一、科研项目分析指标内容与构建方法
1.研究内容
(1)投入—产出比(RIO)指标体系研究 研究投入产出指标体系方面范围的取舍,指标、权重的设立和赋予分值,并研究其科学性和可行性。
(2)应用该指标体系分析科研项目贡献情况 采用该指标体系对我院科研项目投入产出的贡献情况分析,检验其可行性。
, 百拇医药
2.研究方法
(1)应用特尔菲法:对科研课题的投入—产出运用成本—效果分析方法(CEA)进行评价[6],按照特尔菲法对RIO的指标和权重进行设立[7、8],建立量化指标。
(2)RIO方法模型的设立和指标的制定:指标选择按照合理性、方向性和科学性的评估原则[9]筛选,遵照特尔菲法对RIO的投入产出指标和权重进行设立。RIO指标采用Ⅰ级指标2项,Ⅱ级指标8项,Ⅲ级指标21项(见表1、2)。
表1 科研课题投入(1.00) 二级指标
(权重系数)
三级指标
(权重系数)
, 百拇医药
三级列析指标
(权重系数)
组合权重系数
人力投入
(0.5000)
学位:
(0.2525)
博士后及博士
(1.0)
0.1263
硕士
(0.8)
0.101
, http://www.100md.com
学士
(0.5)
0.0631
技术职称:
(0.2475)
正高级
(1.0)
0.1238
副高级
(0.7)
0.0866
中级
(0.4)
, 百拇医药
0.0495
初级
(0.2)
0.0245
研究经费
(0.5000)
1万元单位
(1.0)
0.5
表2 科研课题产出绩效(1.00) 二级指标
(权重系数)
三级指标
, 百拇医药
(权重系数)
三级列析指标
(权重系数)
组合权重系数
成果奖
(0.2256)
国家级
(0.54)
一等
(1.0)
0.1386
二等
(0.8)
, 百拇医药
0.1108
三等
(0.6)
0.0831
四等
(0.4)
0.0554
部省(包括直辖市)级
(0.36)
一等
(1.0)
0.0923
二等
, 百拇医药
(0.8)
0.0738
三级
(0.6)
0.0554
四等
(0.4)
0.0369
市、司局级及以下级别
(0.10)
一等
(1.0)
0.0256
, 百拇医药
二等
(0.8)
0.0205
三等
(0.6)
0.0154
四等
(0.4)
0.0103
专利
(0.11167)
发明
(0.55)
, 百拇医药
0.0642
实用新型
(0.33)
0.0385
外观设计
(0.12)
0.0140
论文
(0.1990)
国外核心刊物
(0.45)
论著
(1.0)
, http://www.100md.com
0.0896
综述
(0.8)
0.0716
其它
(0.6)
0.0537
国家级/专业核心刊物
(0.38)
论著
(1.0)
0.0756
综述
, http://www.100md.com
(0.8)
0.0605
其它
(0.6)
0.0454
地方级/非核心刊物
(0.17)
论著
(1.0)
0.0338
综述
(0.8)
0.0271
, 百拇医药
其它
(0.6)
0.0203
学术交流
(0.1167)
国际学术会议交流
(0.45)
邀请
(1.0)
0.0525
大会
(0.8)
0.0420
, 百拇医药
小会
(0.6)
0.0315
书面
(0.4)
0.0210
全国学术会议交流
(0.38)
邀请
(1.0)
0.0443
大会
(0.8)
, 百拇医药
0.0355
小会
(0.6)
0.0266
书面
(0.4)
0.0177
地方/本单位学术会议交流
(0.17)
邀请
(1.0)
0.0198
大会
, 百拇医药
(0.8)
0.0159
小会
(0.6)
0.0119
书面
(0.4)
0.0079
著作书籍
(0.1795,按字数计算)
专著
(0.483)
≥20万
, 百拇医药
(1.0)
0.0867
≥10万
(0.8)
0.0694
≥5万
(0.6)
0.0520
<5万
(0.4)
0.0347
教材
(0.303)
, http://www.100md.com
≥20万
(1.0)
0.0544
≥10万
(0.8)
0.0435
≥5万
(0.6)
0.0326
<5万
(0.4)
0.0214
科普
, http://www.100md.com
(0.214)
≥20万
(1.0)
0.0384
≥10万
(0.8)
0.0307
≥5万
(0.6)
0.0230
<5万
(0.4)
0.0154
, 百拇医药
研究生培养
(0.1317)
博士后
(0.42)
0.0553
博士
(0.35)
0.0461
硕士
(0.23)
0.0303
表3 按课题投入产出效益比较 效益
, http://www.100md.com
N
人力投入
经费投入
总投入
总产出
RIO
优
5
5.74±1.25
2.50±0.94
8.24±1.63
90.49±23.73
10.95±1.56
, 百拇医药
良
34
4.69±2.45
2.52±4.04
7.21±5.41
32.1±34.09
4.26±1.74
差
6
3.91±2.04
2.13±0.83
6.05±2.55
, 百拇医药
2.42±1.66
0.40±0.28
注:表中“()”内数据是标准差经方差分析F=59.36 P<0.0001 三组间Q检验P<0.05
RIO方法指标及权重建立后运用下面公式进行计算。
RIO=Rj
其中:Rj-第j号课题的RIO值;Oj-第j号课题的产出值;Ij-第j号课题的投入值;j-课题编号,j=1,2……,n;A-科技成果总得分;B-专利总得分;C-学术论文总得分;D-学术交流总得分;E-著作书籍总得分;F-研究生培养总得分;P1-学位人力投入总得分;P2-职称人力投入总得分;M-研究经费总得分。
, 百拇医药
(3)综合评价方法:采用综合评价方法[10、11],根据半定量和定量的指标计算RIO,进行描述统计和综合统计分析。
3.数据处理:应用PC机采用SAS(6.04)软件包处理数据,进行统计学分析。
4.制作软件包:RIO方法建立后,由VB 5.0语言编程实现,软件包在WINDOWS 95/98视窗下运行[12]。
二、投入产出比指标体系构成
1.RIO指标体系和权重的建立
对RIO的指标和权重经过二轮实际70人次专家咨询,确定1~3级权重,而后对3级指标赋予分值后再次经过8位专家的审评确立,形成投入—产出指标。
投入主要指实际经费、人力投入;产出主要指通过鉴定科技成果和获奖科技成果、专利、发表的学术论文、学术活动、出版的学术专著和培养的研究生等产生的效益以及对医疗的影响,指标体系见表1、2。
, http://www.100md.com
2.RIO指标体系评价我院45项研究项目的结果
按照RIO方法对我院近10年(1989-1998)已结题的国家自然科学基金课题、卫生部课题、国家中医药管理局课题45项课题分析,计算出全部课题各自的投入、产出、总投入、总产出和RIO比值,按其各课题的RIO比值排序分类,规定差的RIO≤1,优占总量的10%,其余为良。结果显示优5项、良34项和差6项(见表3)。三组经SNK(Q检验)检验有显著性差异(P<0.05)。
三、讨论
1.RIO评价的意义
科研量化评价已是大势所趋[13]。任何研究项目要想取得较好的效益都十分重视它的立项、中期和后期评估,评估的准确与否又与他采用的方法和手段有关。目前,在课题立项评估方面研究的比较多,各项指标也比较成熟和统一,但是在课题的中期和后期评估方面仍研究的很少,一些指标和权重仍处于探索阶段,具体案例研究也更少。自1998年起,国家自然科学基金基金委加强了对结题项目的管理,项目立项评审也要考虑申请人既往承担项目的完成情况,完成良好的持续性研究项目将会予以优先资助,说明了结题量化评估重要性。我们的研究显示利用投入产出法评价结题科研项目是比较科学又比较实用的一种方法。
, http://www.100md.com
RIO指标是针对研究课题的结题评价设计的,但对课题的追踪评估可能会更适用,也可用于课题的中期评估,例如5年研究周期课题的中期年度评估。
本指标主要用于基础和应用研究,二者无明确的量化指标,较难评估,本指标的采用使评价变得简单明了又易操作。对于开发性研究,经济目标比较明确,容易评价,但对于不明确的开发项目亦可适用此方法。
该指标体系的制定和实施,为科研项目执行情况、结题项目贡献情况量化排序,划分优良差等级提供了一个客观的、量化指标范例,对于评价课题实施质量和效益提供了一个判据。利用该方法评估课题,管理人员可以做到心中有数,领导及时决策也有依据。对优的可以做到随时表扬或奖励,对差点的可以重点分析原因,对于人为造成的提出批评或者采取一定补救措施。这样的奖励和批评以客观的数据化为依据,易做到客观和公平,大家服气,有利于公平竞争,有利于调动科技人员的积极性。为领导及时决策提供数据,提高了决策的准确性,赢得了科技运行的宝贵时间,有利于推动医院的科技事业发展。利用该方法评估课题,还可以预估研究发展趋势,对表现优的课题重点扶持,使其早出成果,出大成果。
, 百拇医药
量化的指标体系有利于科研管理工作科学化、数据化、计算机化;同时,通过对结题项目投入产出量化分析、排序,有利于激发研究人员的积极性;有利于增强研究人员的竞争意识,激发科研工作活力。由于投入产出的分析,有利于强化研究人员的成本意识,促进科研人员降低成本和提高产出,促使科学研究面向医疗,使医院的医疗水平大大提高,使科技兴医、科技兴院落到实处,真正推动医院科学研究和科研管理工作迈上新的台阶。
我们把这个研究成果开发编译成计算机实现的高质量的管理程序,并使这种方法变得简单、快速和易操作。同时充分利用计算机“无情感因素”的特点,有利于提高管理工作的科学性与公正性[14]。
2.RIO方法模型设立的科学性和可行性
投入产出法是一种比较科学又比较实用的经济数学方法,它在经济管理的各个领域都有广泛的用途。该方法是30年代由美国经济学家W*列昂节夫首先提出,50年代后在世界各国得到广泛应用,1977年列昂节夫因提出投入产出法而获得诺贝尔奖金[15]。我们利用此原理,运用CEA方法,根据科研管理的特点,结合实际制定了一套评价科研绩效的简易、实用的RIO指标。
, http://www.100md.com
我们认为,考核评价医学科学活动要从医学科学活动的目的意义着手,依据科学活动的规律和表现形式制定相应的评价模型。医学科学活动的意义是认识疾病、发现、预防和治疗疾病的新方法、新手段、新药品,提高人的生活质量,培养高级医学人才等。其表现形式是学术论文著作、学术交流、人才培养、科技成果、专利等。这些表现形式可以看作是科研活动的“产出”,投入科研的人力、物力、财力和信息(包括图书资料)是科研活动的“投入”。
科研课题的投入—产出是一个十分复杂的问题。如上述投入有人力、财力(经费、信息)、物力(仪器设备、辅助设施、房屋和水电气)等等。考虑到全部计算的复杂性,目前难以收集又很难做到准确,人力和经费相对比较明确,较易收集,我们认为采用人力和经费这2项指标作为投入,其他忽略不记,这样在一个单位的范围内条件基本均同,所以是可行的。人力投入按参加人职称划分权重和分值,考虑到课题负责人在课题中的重要作用,又加上其本人的学位权重及分值(也可计算全部参加人的学位)一并作为人力投入计算。
, http://www.100md.com
科研产出有许多方面,学术会议文章、公开刊物发表论文、科技成果、专利、专著、研究生培养和创造的经济收入等。一般研究课题2~5年为一周期,最常见的产出为学术会议文章、公开刊物发表论文和研究生培养,其次是专利和成果,专著和经济收入一般周期较长,考虑到指标的长期性和广泛代表性,我们采用了7个中的6个方面作为产出指标,把经济收入体现在相关方面,如成果转让后按获得实际金额分档倍增分值,起到了鼓励成果转化、创造经济收入的目的。成果和公开发表的论文的实际分值相比,二者之间按其贡献显得差别不大,但考虑到成果的载体又是论文,实际也体现了成果的份量,再者课题结题时能够获得成果的仅是少数,从整体看还是可行的。这六方面的产出指标从1994年卫生部科学研究基金中标的课题执行情况分析中可以看出是符合的[16]。我们首先对投入—产出的指标选择和可行性经有关专家进行论证,而后经某综合医院实践,进一步印证了科研投入产出效益评价指标体系是可行的和科学的。
利用RIO指标评价研究项目贡献情况,符合整体设计的要求。我们认为在评价课题时是一个客观的、可行的和科学的量化指标。
, 百拇医药
3.RIO方法模型的优点和不足
(1)科研管理迈了一个新台阶 该指标的制定和实施,有利于科研管理工作科学化、数据化、计算机化,真正推动医院科学研究和科研管理工作迈上新的台阶。
(2)比较客观和公正 本模型以实际的科学效益为目标,综合考核科研课题的投入产出,各项指标都量化成“硬指标”,人为因素影响较小,比较客观公正。
(3)提高管理效率、节约资源 本模型不需要组织评审小组,只要对执行或结题报告上的数据资料进行补充和统计,就能得出结果。此模型已制成软件包,能够实现计算机自动化管理。
(4)适用范围较广 本模型主要用于评价科研结题课题科学贡献效益,适宜于课题的不同来源、不同性质,还适宜于正在研究课题的执行中的考核,课题结题后的追踪评价等。利用此模型,可以分析科研效益,树立典范,抓住重点,提高科研效率。对于课题完成情况可以存档,作为选拔批准课题的一个指标。完成比较好的,本单位科学研究基金资助时优先,申请院外科学研究基金时优先推荐。还可以在选拔科技人才时作为一个比较好的指标之一。
, http://www.100md.com
(5)不足 本指标体系各项的加权系数和基本分是人为设定的。由于科学活动产出是一个非常复杂的多参数变量,所以很难说各项的加权系数和基本分是非常合理的,因此可能会产生评价误差。这种误差不是随机误差,而是系统误差[14]。系统误差可在实践中趋向合理,是可行的。
在投入方面没有考虑到仪器设备和固定资产以及人员工资等方面的影响,但是在同一单位,条件基本是均同的,影响不大。对于不同单位的可比性问题,我们认为可以应用各个单位相似的研究结果形成较大范围的均数或标准后,某单位可以和这个指标比较,可以说明问题。
卫生部基金资助课题(94-1-370)
参考文献
1,魏继炳,文松,刘群华.课题组科技人员贡献的累积式定量评价方法初探.中华医学科研管理杂志,1990,3(2):21-23.
, 百拇医药
2,张明,陈红.在评选优秀科技人才时的量化问题.中华医学科研管理杂志,1997,10:166-167.
3,张明,鲜荣华,岳素琴.科研人力投入—产出分析及评价.中华医学科研管理杂志,1997,10:34-37.
4,宁方芹,余倩平.科研效益的影响因素分析.中华医学会医学科研管理分会第七次学术年会交流论文,1998.
5,李春生,薄淑珍.科研效率综合评价指标和方法探讨.中华医学科研管理杂志,1988,1(2):23-25.
6,陈洁,主编.医学技术评估.上海医科大学出版社,1996.89.
7,刘海林,姚树印,主编.医学科研管理学.北京:人民卫生出版社,1991.279-289.
, 百拇医药 8,孙瑞华,齐松仁,左焕琮.医师科研绩效指标体系及构造的探讨研究.中华医学科研管理杂志,2000,13:9-13.
9,王玉琴,周文颖,郑秋兰,等.我院科研工作的评估.中华医学科研管理杂志,1998,11:57-58.
10,何祥,周小平,殷学平,等.科研管理的评价方法.中华医学科研管理杂志,1998,11:59-61.
11,孙瑞华,齐松仁.我国医学管理研究中应用的量化评价方法.中日友好医院学报,1998,12:179.
12,齐松仁,孙瑞华,王月香.医学科研管理与评估系统软件构建.中华医学科研管理杂志,2000,13:15-18.
13,孙诚.国内外专家研讨大学科研实力指标.科技日报,1999年2月6日,第5版.
14,何传启,马诚.科研单位科学活动的投入产出模型—效益管理.科研管理,1990,1:33.
15,李兴山,主编.现代管理技术.北京:中共中央党校出版社,1997.254.
16,樊建军,黄燕华,邵新,等.1994年卫生部科学研究基金中标课题执行情况分析.中华医学科研管理杂志,1999,12:18-20.
(收稿日期:2000-03-07), 百拇医药
单位:齐松仁(100029 北京 中日友好医院科教处);孙瑞华(100029 北京 中日友好医院科教处);左焕琮(100029 北京 中日友好医院科教处);陈育德(北京医科大学)
关键词:科研项目;投入产出比;评估
中华医学科研管理杂志000207 【摘要】 本文以科研项目贡献分析为例,运用成本—效果分析方法,采用特尔菲法确定投入—产出评分分值和权重,建立投入产出比方法的量化指标体系。并对我院近10年已结题的45项课题进行评价,取得了较理想的结果。该指标体系的建立,为客观、公正地评价科研项目的执行情况,提供了一个量化指标体系和范例,为评价课题实施质量和效益提供了一个量化判据。
科学技术决定着未来,科学研究项目是推动科学技术发展的实现形式。评估项目执行情况能够反映科研效益的高低。
, 百拇医药
科研课题量化评估近些年得到了国内许多学者的关注,如课题组科技人员定量评价[1、2]、科研人力投入—产出[3]和科研效益分析[4、5]等探讨,但是,投入产出用于医院科学研究项目贡献的评价仍处于探索阶段,在投入、产出两个方面采用的指标范围也不尽一致,在使用的权重上也不统一,具体案例研究更少,为此,我们进行了这方面的探讨。
一、科研项目分析指标内容与构建方法
1.研究内容
(1)投入—产出比(RIO)指标体系研究 研究投入产出指标体系方面范围的取舍,指标、权重的设立和赋予分值,并研究其科学性和可行性。
(2)应用该指标体系分析科研项目贡献情况 采用该指标体系对我院科研项目投入产出的贡献情况分析,检验其可行性。
, 百拇医药
2.研究方法
(1)应用特尔菲法:对科研课题的投入—产出运用成本—效果分析方法(CEA)进行评价[6],按照特尔菲法对RIO的指标和权重进行设立[7、8],建立量化指标。
(2)RIO方法模型的设立和指标的制定:指标选择按照合理性、方向性和科学性的评估原则[9]筛选,遵照特尔菲法对RIO的投入产出指标和权重进行设立。RIO指标采用Ⅰ级指标2项,Ⅱ级指标8项,Ⅲ级指标21项(见表1、2)。
表1 科研课题投入(1.00) 二级指标
(权重系数)
三级指标
(权重系数)
, 百拇医药
三级列析指标
(权重系数)
组合权重系数
人力投入
(0.5000)
学位:
(0.2525)
博士后及博士
(1.0)
0.1263
硕士
(0.8)
0.101
, http://www.100md.com
学士
(0.5)
0.0631
技术职称:
(0.2475)
正高级
(1.0)
0.1238
副高级
(0.7)
0.0866
中级
(0.4)
, 百拇医药
0.0495
初级
(0.2)
0.0245
研究经费
(0.5000)
1万元单位
(1.0)
0.5
表2 科研课题产出绩效(1.00) 二级指标
(权重系数)
三级指标
, 百拇医药
(权重系数)
三级列析指标
(权重系数)
组合权重系数
成果奖
(0.2256)
国家级
(0.54)
一等
(1.0)
0.1386
二等
(0.8)
, 百拇医药
0.1108
三等
(0.6)
0.0831
四等
(0.4)
0.0554
部省(包括直辖市)级
(0.36)
一等
(1.0)
0.0923
二等
, 百拇医药
(0.8)
0.0738
三级
(0.6)
0.0554
四等
(0.4)
0.0369
市、司局级及以下级别
(0.10)
一等
(1.0)
0.0256
, 百拇医药
二等
(0.8)
0.0205
三等
(0.6)
0.0154
四等
(0.4)
0.0103
专利
(0.11167)
发明
(0.55)
, 百拇医药
0.0642
实用新型
(0.33)
0.0385
外观设计
(0.12)
0.0140
论文
(0.1990)
国外核心刊物
(0.45)
论著
(1.0)
, http://www.100md.com
0.0896
综述
(0.8)
0.0716
其它
(0.6)
0.0537
国家级/专业核心刊物
(0.38)
论著
(1.0)
0.0756
综述
, http://www.100md.com
(0.8)
0.0605
其它
(0.6)
0.0454
地方级/非核心刊物
(0.17)
论著
(1.0)
0.0338
综述
(0.8)
0.0271
, 百拇医药
其它
(0.6)
0.0203
学术交流
(0.1167)
国际学术会议交流
(0.45)
邀请
(1.0)
0.0525
大会
(0.8)
0.0420
, 百拇医药
小会
(0.6)
0.0315
书面
(0.4)
0.0210
全国学术会议交流
(0.38)
邀请
(1.0)
0.0443
大会
(0.8)
, 百拇医药
0.0355
小会
(0.6)
0.0266
书面
(0.4)
0.0177
地方/本单位学术会议交流
(0.17)
邀请
(1.0)
0.0198
大会
, 百拇医药
(0.8)
0.0159
小会
(0.6)
0.0119
书面
(0.4)
0.0079
著作书籍
(0.1795,按字数计算)
专著
(0.483)
≥20万
, 百拇医药
(1.0)
0.0867
≥10万
(0.8)
0.0694
≥5万
(0.6)
0.0520
<5万
(0.4)
0.0347
教材
(0.303)
, http://www.100md.com
≥20万
(1.0)
0.0544
≥10万
(0.8)
0.0435
≥5万
(0.6)
0.0326
<5万
(0.4)
0.0214
科普
, http://www.100md.com
(0.214)
≥20万
(1.0)
0.0384
≥10万
(0.8)
0.0307
≥5万
(0.6)
0.0230
<5万
(0.4)
0.0154
, 百拇医药
研究生培养
(0.1317)
博士后
(0.42)
0.0553
博士
(0.35)
0.0461
硕士
(0.23)
0.0303
表3 按课题投入产出效益比较 效益
, http://www.100md.com
N
人力投入
经费投入
总投入
总产出
RIO
优
5
5.74±1.25
2.50±0.94
8.24±1.63
90.49±23.73
10.95±1.56
, 百拇医药
良
34
4.69±2.45
2.52±4.04
7.21±5.41
32.1±34.09
4.26±1.74
差
6
3.91±2.04
2.13±0.83
6.05±2.55
, 百拇医药
2.42±1.66
0.40±0.28
注:表中“()”内数据是标准差经方差分析F=59.36 P<0.0001 三组间Q检验P<0.05
RIO方法指标及权重建立后运用下面公式进行计算。
RIO=Rj
其中:Rj-第j号课题的RIO值;Oj-第j号课题的产出值;Ij-第j号课题的投入值;j-课题编号,j=1,2……,n;A-科技成果总得分;B-专利总得分;C-学术论文总得分;D-学术交流总得分;E-著作书籍总得分;F-研究生培养总得分;P1-学位人力投入总得分;P2-职称人力投入总得分;M-研究经费总得分。
, 百拇医药
(3)综合评价方法:采用综合评价方法[10、11],根据半定量和定量的指标计算RIO,进行描述统计和综合统计分析。
3.数据处理:应用PC机采用SAS(6.04)软件包处理数据,进行统计学分析。
4.制作软件包:RIO方法建立后,由VB 5.0语言编程实现,软件包在WINDOWS 95/98视窗下运行[12]。
二、投入产出比指标体系构成
1.RIO指标体系和权重的建立
对RIO的指标和权重经过二轮实际70人次专家咨询,确定1~3级权重,而后对3级指标赋予分值后再次经过8位专家的审评确立,形成投入—产出指标。
投入主要指实际经费、人力投入;产出主要指通过鉴定科技成果和获奖科技成果、专利、发表的学术论文、学术活动、出版的学术专著和培养的研究生等产生的效益以及对医疗的影响,指标体系见表1、2。
, http://www.100md.com
2.RIO指标体系评价我院45项研究项目的结果
按照RIO方法对我院近10年(1989-1998)已结题的国家自然科学基金课题、卫生部课题、国家中医药管理局课题45项课题分析,计算出全部课题各自的投入、产出、总投入、总产出和RIO比值,按其各课题的RIO比值排序分类,规定差的RIO≤1,优占总量的10%,其余为良。结果显示优5项、良34项和差6项(见表3)。三组经SNK(Q检验)检验有显著性差异(P<0.05)。
三、讨论
1.RIO评价的意义
科研量化评价已是大势所趋[13]。任何研究项目要想取得较好的效益都十分重视它的立项、中期和后期评估,评估的准确与否又与他采用的方法和手段有关。目前,在课题立项评估方面研究的比较多,各项指标也比较成熟和统一,但是在课题的中期和后期评估方面仍研究的很少,一些指标和权重仍处于探索阶段,具体案例研究也更少。自1998年起,国家自然科学基金基金委加强了对结题项目的管理,项目立项评审也要考虑申请人既往承担项目的完成情况,完成良好的持续性研究项目将会予以优先资助,说明了结题量化评估重要性。我们的研究显示利用投入产出法评价结题科研项目是比较科学又比较实用的一种方法。
, http://www.100md.com
RIO指标是针对研究课题的结题评价设计的,但对课题的追踪评估可能会更适用,也可用于课题的中期评估,例如5年研究周期课题的中期年度评估。
本指标主要用于基础和应用研究,二者无明确的量化指标,较难评估,本指标的采用使评价变得简单明了又易操作。对于开发性研究,经济目标比较明确,容易评价,但对于不明确的开发项目亦可适用此方法。
该指标体系的制定和实施,为科研项目执行情况、结题项目贡献情况量化排序,划分优良差等级提供了一个客观的、量化指标范例,对于评价课题实施质量和效益提供了一个判据。利用该方法评估课题,管理人员可以做到心中有数,领导及时决策也有依据。对优的可以做到随时表扬或奖励,对差点的可以重点分析原因,对于人为造成的提出批评或者采取一定补救措施。这样的奖励和批评以客观的数据化为依据,易做到客观和公平,大家服气,有利于公平竞争,有利于调动科技人员的积极性。为领导及时决策提供数据,提高了决策的准确性,赢得了科技运行的宝贵时间,有利于推动医院的科技事业发展。利用该方法评估课题,还可以预估研究发展趋势,对表现优的课题重点扶持,使其早出成果,出大成果。
, 百拇医药
量化的指标体系有利于科研管理工作科学化、数据化、计算机化;同时,通过对结题项目投入产出量化分析、排序,有利于激发研究人员的积极性;有利于增强研究人员的竞争意识,激发科研工作活力。由于投入产出的分析,有利于强化研究人员的成本意识,促进科研人员降低成本和提高产出,促使科学研究面向医疗,使医院的医疗水平大大提高,使科技兴医、科技兴院落到实处,真正推动医院科学研究和科研管理工作迈上新的台阶。
我们把这个研究成果开发编译成计算机实现的高质量的管理程序,并使这种方法变得简单、快速和易操作。同时充分利用计算机“无情感因素”的特点,有利于提高管理工作的科学性与公正性[14]。
2.RIO方法模型设立的科学性和可行性
投入产出法是一种比较科学又比较实用的经济数学方法,它在经济管理的各个领域都有广泛的用途。该方法是30年代由美国经济学家W*列昂节夫首先提出,50年代后在世界各国得到广泛应用,1977年列昂节夫因提出投入产出法而获得诺贝尔奖金[15]。我们利用此原理,运用CEA方法,根据科研管理的特点,结合实际制定了一套评价科研绩效的简易、实用的RIO指标。
, http://www.100md.com
我们认为,考核评价医学科学活动要从医学科学活动的目的意义着手,依据科学活动的规律和表现形式制定相应的评价模型。医学科学活动的意义是认识疾病、发现、预防和治疗疾病的新方法、新手段、新药品,提高人的生活质量,培养高级医学人才等。其表现形式是学术论文著作、学术交流、人才培养、科技成果、专利等。这些表现形式可以看作是科研活动的“产出”,投入科研的人力、物力、财力和信息(包括图书资料)是科研活动的“投入”。
科研课题的投入—产出是一个十分复杂的问题。如上述投入有人力、财力(经费、信息)、物力(仪器设备、辅助设施、房屋和水电气)等等。考虑到全部计算的复杂性,目前难以收集又很难做到准确,人力和经费相对比较明确,较易收集,我们认为采用人力和经费这2项指标作为投入,其他忽略不记,这样在一个单位的范围内条件基本均同,所以是可行的。人力投入按参加人职称划分权重和分值,考虑到课题负责人在课题中的重要作用,又加上其本人的学位权重及分值(也可计算全部参加人的学位)一并作为人力投入计算。
, http://www.100md.com
科研产出有许多方面,学术会议文章、公开刊物发表论文、科技成果、专利、专著、研究生培养和创造的经济收入等。一般研究课题2~5年为一周期,最常见的产出为学术会议文章、公开刊物发表论文和研究生培养,其次是专利和成果,专著和经济收入一般周期较长,考虑到指标的长期性和广泛代表性,我们采用了7个中的6个方面作为产出指标,把经济收入体现在相关方面,如成果转让后按获得实际金额分档倍增分值,起到了鼓励成果转化、创造经济收入的目的。成果和公开发表的论文的实际分值相比,二者之间按其贡献显得差别不大,但考虑到成果的载体又是论文,实际也体现了成果的份量,再者课题结题时能够获得成果的仅是少数,从整体看还是可行的。这六方面的产出指标从1994年卫生部科学研究基金中标的课题执行情况分析中可以看出是符合的[16]。我们首先对投入—产出的指标选择和可行性经有关专家进行论证,而后经某综合医院实践,进一步印证了科研投入产出效益评价指标体系是可行的和科学的。
利用RIO指标评价研究项目贡献情况,符合整体设计的要求。我们认为在评价课题时是一个客观的、可行的和科学的量化指标。
, 百拇医药
3.RIO方法模型的优点和不足
(1)科研管理迈了一个新台阶 该指标的制定和实施,有利于科研管理工作科学化、数据化、计算机化,真正推动医院科学研究和科研管理工作迈上新的台阶。
(2)比较客观和公正 本模型以实际的科学效益为目标,综合考核科研课题的投入产出,各项指标都量化成“硬指标”,人为因素影响较小,比较客观公正。
(3)提高管理效率、节约资源 本模型不需要组织评审小组,只要对执行或结题报告上的数据资料进行补充和统计,就能得出结果。此模型已制成软件包,能够实现计算机自动化管理。
(4)适用范围较广 本模型主要用于评价科研结题课题科学贡献效益,适宜于课题的不同来源、不同性质,还适宜于正在研究课题的执行中的考核,课题结题后的追踪评价等。利用此模型,可以分析科研效益,树立典范,抓住重点,提高科研效率。对于课题完成情况可以存档,作为选拔批准课题的一个指标。完成比较好的,本单位科学研究基金资助时优先,申请院外科学研究基金时优先推荐。还可以在选拔科技人才时作为一个比较好的指标之一。
, http://www.100md.com
(5)不足 本指标体系各项的加权系数和基本分是人为设定的。由于科学活动产出是一个非常复杂的多参数变量,所以很难说各项的加权系数和基本分是非常合理的,因此可能会产生评价误差。这种误差不是随机误差,而是系统误差[14]。系统误差可在实践中趋向合理,是可行的。
在投入方面没有考虑到仪器设备和固定资产以及人员工资等方面的影响,但是在同一单位,条件基本是均同的,影响不大。对于不同单位的可比性问题,我们认为可以应用各个单位相似的研究结果形成较大范围的均数或标准后,某单位可以和这个指标比较,可以说明问题。
卫生部基金资助课题(94-1-370)
参考文献
1,魏继炳,文松,刘群华.课题组科技人员贡献的累积式定量评价方法初探.中华医学科研管理杂志,1990,3(2):21-23.
, 百拇医药
2,张明,陈红.在评选优秀科技人才时的量化问题.中华医学科研管理杂志,1997,10:166-167.
3,张明,鲜荣华,岳素琴.科研人力投入—产出分析及评价.中华医学科研管理杂志,1997,10:34-37.
4,宁方芹,余倩平.科研效益的影响因素分析.中华医学会医学科研管理分会第七次学术年会交流论文,1998.
5,李春生,薄淑珍.科研效率综合评价指标和方法探讨.中华医学科研管理杂志,1988,1(2):23-25.
6,陈洁,主编.医学技术评估.上海医科大学出版社,1996.89.
7,刘海林,姚树印,主编.医学科研管理学.北京:人民卫生出版社,1991.279-289.
, 百拇医药 8,孙瑞华,齐松仁,左焕琮.医师科研绩效指标体系及构造的探讨研究.中华医学科研管理杂志,2000,13:9-13.
9,王玉琴,周文颖,郑秋兰,等.我院科研工作的评估.中华医学科研管理杂志,1998,11:57-58.
10,何祥,周小平,殷学平,等.科研管理的评价方法.中华医学科研管理杂志,1998,11:59-61.
11,孙瑞华,齐松仁.我国医学管理研究中应用的量化评价方法.中日友好医院学报,1998,12:179.
12,齐松仁,孙瑞华,王月香.医学科研管理与评估系统软件构建.中华医学科研管理杂志,2000,13:15-18.
13,孙诚.国内外专家研讨大学科研实力指标.科技日报,1999年2月6日,第5版.
14,何传启,马诚.科研单位科学活动的投入产出模型—效益管理.科研管理,1990,1:33.
15,李兴山,主编.现代管理技术.北京:中共中央党校出版社,1997.254.
16,樊建军,黄燕华,邵新,等.1994年卫生部科学研究基金中标课题执行情况分析.中华医学科研管理杂志,1999,12:18-20.
(收稿日期:2000-03-07), 百拇医药