ITA 理论与探索≯ 络计量研究中心的网络实验室正在建立全球大学的资料法的多样性,检索中需要格外注意,以北京科技大学为 库,借助 Google, Google Scholar,Yaho, Live search, 例,检索结果有“ UNIV SCI& TECHNOL BELJING alead等网络搜索引擎进行大学排名。其评价指标包含:“ BELJING UNIV SCI& TECHNO",“ UNIV SCI& TECHN- 规模——网站搜寻的各大学网页的页数;能见度——各大OL, BELJING,“ UNIV SCI& TECHNOL,DEPT…BE 学网页对内外被链接数、被浏览数目等:学术档案——不JING”等多种记录形式,包括国家名称变更、不规范标注 同类型如pt,pdf,do等文档总数量;学术论文—通等现象,个人学术成果检索时同样存在着标引的多样 过网站所搜寻到的学术文章、报告与相关其他学术研究等性、重名作者等问题。上述现象说明在目前没有更理想的 的数量。可见,网络资源在今后学术评价中的作用不容忽检索方法时,检索结果必须经过仔细核准与校对,检测数 视,网络数据的引入将会使评价的内容更加多元化 据中存在的错误、缺失、异常、不一致或不完备等问题, 3.3评价指标的科学设计 剔除错误、不准确或无分析价值的数据,填补或删除缺失 目前基于文献计量的评价指标一般采用多指标综合评数据,合并重复数据,确保评价数据的准确性 价,科学规划与选取指标、合理控制指标数量相当重要 既要考虑覆盖评价学科内容,也应考虑数据的科学性和可 结束语 行性,在全面反映评价学科内容的基础上,避免出现因指 学科评价是一项科学性极强的工作,基于文献计量的 标过多造成的指标同质现象和数据量大不易获取或处理难方法开展学科定性评价正处于实践研究阶段,尚无标准的 度大等问题,简化评价工作 流程、规范的指标和公认的报告格式,但此项工作的开展 1)指标的分类。选取指标时首先要考虑其代表性和有助于为学科前沿领域的研究、影响与发展提供一种科学 评价功能,各种指标按照学科评价的内容分成若干个类,的评价方法。本文以系统分析的思想研究学科评价的整体 使相似指标尽可能归为一类。除人为定性划分外,也可采构成与工作流程等问题,希望对今后科学、规范、有效地 用聚类分析的方法,或通过因子分析从多个评价指标中选开展学科评价工作提供有益的借鉴。口 择少数几个综合指标的降维多元统计方法 参考文献 2)指标的相关性。由于指标间常常存在着不同程度]邱均平,王曰芬.文献计量内容分析法[M].北京:国家 的相关性,比如,用于评价学科影响力的评价指标有他引 图书馆出版社,2008:263 频次、被引频次、被引论文率、未被引论文率,等等。为 p]GB/T13745—2009学科分类与代码[M].北京:中国标 避免相似或类同指标的重复使用,选取指标时应考虑选取 准出版社,2009 E3]中国图书馆分类法编辑委员会.中国图书馆分类法简本 低相关度指标。可以采用主成分分析法和因子分析法进行 LM.4版.北京:北京图书馆出版社,2000 指标的相关性分析,提高评价的科学性 4]中国科学文献服务系统[EB/OL].D20114347].h- 3)指标的权重。评价学科各个指标在整个评价系统 中的价值高低、相对重要程度以及所占比例的大小通常量]南京大学中国社会科学研究评价中心[EB/OL.D2011 化地用“权重系数”代表。权重是综合评价中的一个重 0331].http://cssci.nju.edu.en. 要指标,合理地分配权重是多因素、多水平量化评估过程 6]朱强,戴龙基,蔡蓉华.中文核心期刊要目总览[M 的关键因素。因此,权重的构成是否合理,直接影响到评 北京:北京大学出版社,2008 戴龙基.蔡蓉华.国外科学技术核心期刊总览[M].北 估结果的科学性。确定权重的方法有很多,如专家咨询法 京:北京大学出版社:2004 ( Delphi法)、专家排序法、层次分析法、秩和比法 8]邱均平,赵蓉英,马瑞敏.世界一流大学及学科竞争力评 (RSR)、相关系数法等,但各种方法均有其优缺点 价的意义、理念与实践D.科技进步与对策,2007,24 3.4数据核准与清洗 (5):138142 数据分析的结果依赖于数据质量,评价结果的准确性 9]http://www.infosciverse.com/scopus/about. 与可靠性在很大程度上取决于所用的评价数据。受作者在 no]侯永淇.全球与各国大学排名研究[M.北京:高等教育 出版社,2007 文章中用词、姓名、机构名称等规范标引的影响,同时,1董琳·学科评价之文献计量数据准备·情报理论与实 也有数据库本身数据标引与检索方式的问题,不同数据库 践,2010,33(6):4952 的检索结果会出现不同程度的误差或错误,需要在提取评作者简介:季淑娟,女,1963年生,博士,研究馆员 价数据时给予关注。以在SCI数据库中检索机构论文收录 董月玲,女,1976年生,硕士,馆员 情况为例,由于该数据库没有提供“机构名称”检索途 王晓丽,女,1974年生,硕士,馆员 径,一般通过“地址”字段进行检索,由于机构地址写收稿日期:2011-06-09 情报理论与实践 21994-2014ChinaAcademicJournalElectronicPUblishingHouse.Allrightsreservedhttp://www.cnki.netITA  理论与探索 欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟  络计量研究中心的网络实验室正在建立全球大学的资料 库，借助 Google，Google Scholar，Yahoo，Live Search，Ex￾alead 等网络搜索引擎进行大学排名。其评价指标包含: 规模———网站搜寻的各大学网页的页数; 能见度———各大 学网页对内外被链接数、被浏览数目等; 学术档案———不 同类型如 ppt，pdf，doc 等文档总数量; 学术论文———通 过网站所搜寻到的学术文章、报告与相关其他学术研究等 的数量。可见，网络资源在今后学术评价中的作用不容忽 视，网络数据的引入将会使评价的内容更加多元化。 3. 3 评价指标的科学设计 目前基于文献计量的评价指标一般采用多指标综合评 价，科学规划与选取指标、合理控制指标数量相当重要。 既要考虑覆盖评价学科内容，也应考虑数据的科学性和可 行性，在全面反映评价学科内容的基础上，避免出现因指 标过多造成的指标同质现象和数据量大不易获取或处理难 度大等问题，简化评价工作。 1) 指标的分类。选取指标时首先要考虑其代表性和 评价功能，各种指标按照学科评价的内容分成若干个类， 使相似指标尽可能归为一类。除人为定性划分外，也可采 用聚类分析的方法，或通过因子分析从多个评价指标中选 择少数几个综合指标的降维多元统计方法。 2) 指标的相关性。由于指标间常常存在着不同程度 的相关性，比如，用于评价学科影响力的评价指标有他引 频次、被引频次、被引论文率、未被引论文率，等等。为 避免相似或类同指标的重复使用，选取指标时应考虑选取 低相关度指标。可以采用主成分分析法和因子分析法进行 指标的相关性分析，提高评价的科学性。 3) 指标的权重。评价学科各个指标在整个评价系统 中的价值高低、相对重要程度以及所占比例的大小通常量 化地用 “权重系数”代表。权重是综合评价中的一个重 要指标，合理地分配权重是多因素、多水平量化评估过程 的关键因素。因此，权重的构成是否合理，直接影响到评 估结果的科学性。确定权重的方法有很多，如专家咨询法 ( Delphi 法) 、专 家 排 序 法、层 次 分 析 法、秩 和 比 法 ( RSR) 、相关系数法等，但各种方法均有其优缺点。 3. 4 数据核准与清洗 数据分析的结果依赖于数据质量，评价结果的准确性 与可靠性在很大程度上取决于所用的评价数据。受作者在 文章中用词、姓名、机构名称等规范标引的影响，同时， 也有数据库本身数据标引与检索方式的问题，不同数据库 的检索结果会出现不同程度的误差或错误，需要在提取评 价数据时给予关注。以在 SCI 数据库中检索机构论文收录 情况为例，由于该数据库没有提供 “机构名称”检索途 径，一般通过 “地址”字段进行检索，由于机构地址写 法的多样性，检索中需要格外注意，以北京科技大学为 例，检索结果有: “UNIV SCI ＆ TECHNOL BEIJING”， “BEIJING UNIV SCI ＆ TECHNOL”，“UNIV SCI ＆ TECHN￾OL ，BEIJING”，“ UNIV SCI ＆ TECHNOL ，DEPT …BEI￾JING”等多种记录形式，包括国家名称变更、不规范标注 等现象［11］，个人学术成果检索时同样存在着标引的多样 性、重名作者等问题。上述现象说明在目前没有更理想的 检索方法时，检索结果必须经过仔细核准与校对，检测数 据中存在的错误、缺失、异常、不一致或不完备等问题， 剔除错误、不准确或无分析价值的数据，填补或删除缺失 数据，合并重复数据，确保评价数据的准确性。 4 结束语 学科评价是一项科学性极强的工作，基于文献计量的 方法开展学科定性评价正处于实践研究阶段，尚无标准的 流程、规范的指标和公认的报告格式，但此项工作的开展 有助于为学科前沿领域的研究、影响与发展提供一种科学 的评价方法。本文以系统分析的思想研究学科评价的整体 构成与工作流程等问题，希望对今后科学、规范、有效地 开展学科评价工作提供有益的借鉴。□ 参考文献 ［1］ 邱均平，王曰芬 . 文献计量内容分析法 ［M］． 北京: 国家 图书馆出版社，2008: 263. ［2］ GB/T 13745—2009 学科分类与代码 ［M］． 北京: 中国标 准出版社，2009. ［3］ 中国图书馆分类法编辑委员会 . 中国图书馆分类法简本 ［M］． 4 版 . 北京: 北京图书馆出版社，2000. ［4］ 中国科学文献服务系统 ［EB/OL］． ［2011-03-17］． ht￾tp: / /sdb. csdl. ac. cn. ［5］ 南京大学中国社会科学研究评价中心 ［EB /OL］． ［2011- 03-31］． http: / /cssci. nju. edu. cn. ［6］ 朱强，戴龙基，蔡蓉华 . 中文核心期刊要目总览 ［M］． 北京: 北京大学出版社，2008. ［7］ 戴龙基 . 蔡蓉华 . 国外科学技术核心期刊总览 ［M］． 北 京: 北京大学出版社: 2004. ［8］ 邱均平，赵蓉英，马瑞敏 . 世界一流大学及学科竞争力评 价的意义、理念与实践 ［J］． 科技进步与对策，2007，24 ( 5) : 138-142. ［9］ http: / /www. info. sciverse. com/scopus/about. ［10］ 侯永淇 . 全球与各国大学排名研究 ［M］． 北京: 高等教育 出版社，2007. ［11］ 董琳 . 学科评价之文献计量数据准备 ［J］． 情报理论与实 践，2010，33 ( 6) : 49-52. 作者简介: 季淑娟，女，1963 年生，博士，研究馆员。 董月玲，女，1976 年生，硕士，馆员。 王晓丽，女，1974 年生，硕士，馆员。 收稿日期: 2011 － 06 － 09 ·情报理论与实践· — 25 —