数图评估指标体系研究
按：最近三篇关于“数字图书馆评估指标体系研究”的博文，是为参与王世伟教授主持国家项目所作论文的一部分，作为“印前论文”贴在这里，希望得到大家的批评指正。
|
类别 |
标识 |
指标 |
说明 |
级别 |
取值 |
备注 |
| 数字资源测度 | R01 | 二次文献数据库数量 | 所有二次文献或书目数据库 | 1 | 记录数 | 不包括数字期刊全文数据库 |
| R011 | 自建二次文献数据库数量 | 自建的书目、索引、文摘数据库 | 2 | 记录数 | ||
| R012 | 二次文献数据库保有量 | 本地保存的二次文献数据库资源数量 | 2 | 记录数 | 不包括某些年限内可获取的、停止订购之后不再能够存取的数据 | |
| R02* | 全文数据库数量 | 1 | 篇数/字节 | 包括数字期刊全文、电子书、网上免费资源等 | ||
| R021 | 自建全文数据库数量 | 自行数字化的数据量 | 2 | 篇数/字节 | ||
| R022 | 全文数据库保有量 | 馆藏数字资源总量(不论何种渠道获得) | 2 | 篇数/字节 | 不包括某些年限内可获取的、停止订购之后不再能够存取的数据 | |
| R03 | 多媒体数据库数量 | 1 | 字节 | |||
| R031 | 自建多媒体数字资源数量 | 自行数字化多媒体资源的数量 | 2 | 字节 | ||
| R04 | 自建数字资源总量 | 基本上是R011、R021和R031之和 | 1 | 条数/字节 | 可替代R011/ R021/R031 | |
| 服务测度 | S01 | 供读者使用的计算机数量 | 1 | 座位数 | 不包括OPAC检索用机 | |
| S011 | 供读者使用的上网计算机数量 | 能够上网的计算机总数或座位数 | 2 | 座位数 | ||
| S012 | 无线上网服务 | 提供读者自带电脑上网的座位数或带宽 | 2 | 座位数/AP数*带宽 | 取值可具体规定 | |
| S02 | 网上参考工作提问数量 | 1 | 年总数/日均数 | 取值可具体规定 | ||
| S021 | 网上参考工作回答满意度 | 2 | 满意所占百分比 | 实施指南中说明具体如何取值 | ||
| S03* | 网页/资源访问数 | 指资源网页点击率 | 1 | 年总数/日均数 | ||
| S031 | 网页/资源访问用户数 | 指独立IP访问数 | 2 | 年总数/日均数 | ||
| S032 | 资源查询数量 | 查询提问式的绝对次数 | 2 | 次数 | ||
| S04* | 注册用户数 | 具有网络访问权限的注册用户 | 1 | 人数 | ||
| S041 | 注册用户占目标用户比例 | 2 | 百分比 | 目标用户取值需要定义 | ||
| S042 | 注册用户使用率 | 人均单位时间登录次数 | 2 | 次数 | 需定义单位时间 | |
| S05* | 资源下载数 | 1 | 篇数/字节 | |||
| S051 | 人均资源下载数 | 可按注册用户计 | 2 | 篇数/字节 | 需定义单位时间 | |
| 管理测度 | M01 | 电子资源总支出 | 年度数字载体资源定购的总金额 | 1 | 货币单位 | |
| M01a | 电子资源支出占总资源支出的比例 | 1 | 百分比 | |||
| M021 | 资源使用单位成本 | 每人每次使用某项资源的平均成本 | 2 | 货币单位 | 以订购资源的直接成本计，不算管理、设备成本 | |
| M022 | 资源使用单位时间 | 每人每次使用某项资源的平均时间 | 2 | 时间 | ||
| M023 | 电脑使用率 | 每台电脑每天平均使用时间 | 2 | 时间 | ||
| M03 | 资源使用的用户培训数量 | 对用户进行培训的时间或次数 | 1 | 时间/次数 | ||
| M031 | 受训人数的比例 | 评估期限内受训人数占目标用户数之比 | 2 | 百分比 | 目标用户可以使注册用户，也可以是用户总数 | |
| M04 | 工作人员培训情况 | 工作人员受培训的人均次数或时间 | 2 | 次数或时间 | 需要在实施评估时具体规定 | |
| 用户感知 | P01 | 满意度 | 满意度问卷调查取得的数据 | 1 | 人数比例 |
上表按照数字资源、服务、管理和用户感知四方面的测度，给出了一、二两极指标的简单说明，其中一级指标13个，二级指标18个一共31个。按类别分数字资源测度指标9个，服务测度指标13个，管理测度指标8个，用户感知指标1个。表中带星号*的系列指标（R02/S03/S04/S05/M02/P01）在具体应用时可重复，分别应用于各个不同的电子资源或服务项目（如果能够区分的话），作为不同电子资源使用情况或服务项目的测度，也可定义为所有数字资源的指标。分别测度时可以为具体的数字资源或应用系统的使用情况提供客观的跟踪报告，以便下一年度根据利用情况进行考评、取舍。表中部分指标带有标识符a，意为可以替换不带标识符的相应指标，即两个指标可以二选一，当然也可以都采用。
具体应用中可以只用一级指标、只用二级指标，或者一、二级指标都用。在都用的情况下某些一级指标可以省略（因多个二级指标可以构成一级指标），或者将二级指标的归属关系进行调整。有时在进行传统图书馆评估时如果已经考虑了部分指标的测度，可以直接以某些一类指标作为类别测度的代表指标，以简化数字资源与服务的测度。例如可以选取全文数据库总量作为数字资源测度，也可以由一级指标相加作为数字资源测度。这些规定都可以在具体评估的“实施指南”中具体规定，然后在开发相应的评估系统自动实现校验和设置。
指标测度完成后可以将评估中所取得的绝对数值转化成相对值或者分值，以便进行比较。各指标的加权方案可以由不同的评估主体在实施评估前采用专家调查法等一定的方法进行确定。这些工作应该在评价模型中建立。
附表：本文参考的主要评估标准和项目
|
标准/项目名称 |
主要内容 |
指标数 |
特点 |
|
ISO2789:2002《信息与文献国际图书馆统计指标》附录A |
图书馆电子服务使用评价，包含4个核心指标（任务数、下载数、访问数等）和4个可选指标（检索次数、拒绝次数等） |
8个 |
客观静态指标为主，缺乏投入、人员、效果方面的评估，从设立的角度看也略显过时。 |
|
NISO Z39.7-200X《信息服务和利用：图书馆计量》 |
这是一套完整的图书馆业务统计测度标准，其中部分指标涉及图书馆的数字资源和服务。 |
23个 |
罗列了图书馆常见的数字资源类型、访问统计、相关服务、培训等内容，难以与时俱进。 |
|
美国研究图书馆学会（ARL）“电子图书馆评价项目”（E-Metric） |
“数字资源使用评价指标体系”，重点在获得统计数据。 |
20个 |
功能上较为完整。范围测试主要考虑了以下四个方面的内容：①统计数据的可获取性；②建议方法的有效性；③收集指定数据的可能性④收集特定数据的可行性。 |
|
ISO11620 (1992/1998) 《图书馆绩效指标标准》 |
传统图书馆评估的标准，涉及图书馆服务满意度、读者服务、技术服务、人力资源等。 |
5大类29项指标 |
基本不涉及数字图书馆相关内容，如信息服务、数字资源及提供等。 |
|
欧洲图书馆绩效评价和质量管理系统项目（EQUINOX）(1998) |
“图书馆数字资源服务绩效评价指标体系”大致分为5类14个指标：数字馆藏使用类、服务成本类、基础设施类、人力资源培训类和用户满意度类。 |
14个 |
可以看成是对ISO11620的补充。目标较为综合，包含了资源、服务（满意度）和投入的评估。一些指标的获得性较差，比较繁琐。 |
|
ARL在线网络电子资源使用统计（COUNTER:Counting Online Usage of NeTworked Electronic Resources） |
对于数字资源的联机使用进行了规范。 |
定义了55个相关词汇，规范了8种报告格式并规定了报告级别。 |
制定者希望建立一套独立的、能被国际上广泛接受的网络数据库使用统计“实施规范”，然而技术变化太快，原有的电子资源应用模式已经发生了很大变化。 |
|
SERVQUAL /LibQUAL+/DigiQUAL |
SERVQUAL是一套应用于各类服务性机构的用户满意度测评体系，包括指标和方法，LibQUAL+是ARL应用SERVQUAL进行传统图书馆内容和服务的评估的一套改进，DigiQUAL是ARL为评估美国NSDL（国家科学数字图书馆）成果而研发的评估体系。 |
LibQUAL+ |
以大规模用户调查为依据，把图书馆服务质量分为五个方面：服务效率、可靠性、整体环境、馆藏提供和获取信息的途径。目前主要分为服务效果、资源控制和图书馆环境三大类。 |
|
文化部《省级图书馆评估指标细则与标准》 |
给相应指标设定分值，一定范围内专家主观估值，指标分类分级，第一级：六大部分，第二级：28个项目，第三级：67个子项，第四级：11个要素。总分1000分。 |
约4-5处 |
无专门的数字图书馆评价指标，相关指标有：电子文献年入藏数量、机读数据、数据库数量、计算机数量、网络情况、网站情况等。 |
wangjt 留言,
2007年02月10日 星期六 @ 10:01 pm
“数图评估”对数字图书馆的发展有一定的指导作用。希望数图的评估不要成为又一个限制图书馆发展的框框。记得某省图工委几年前做过一个自动化（数字图书馆）水平评估，其中就有创新项目的加分。对于图书馆来说，数字图书馆也是要为读者服务的，对于资源部分，再多，但是没有有序的组织、开发和利用，……。建议增加创新服务或特色服务，必将，这些指标不能涵盖数字图书馆的全部，甚至不是核心部分。
个人认为象单点登陆、个性化服务、学科服务等，以及图书馆工具条等能切实提高图书馆服务服务能力的东西如何评价？您是我崇拜的大虾，见笑了。
keven 留言,
2007年02月10日 星期六 @ 11:12 pm
谢谢！非常好的意见。
目前的指标是根据现有的许多标准规范制定的，考虑到普遍性和通用性，不强调“先进性”（就是您说的“代表发展方向”），因此很多偏重于技术和软件系统的评价指标都没有包含进去。
但是这个体系是偏重于体系框架和方法论的，在指标方面可以扩展，并且在实施中可以增减“评估主体”自定义的内容。您提到的几项内容只要能够明确定义的，都可以作为二、三级指标进行扩充。
您的意见使我考虑到是否有必要尽力去做一份“完整”的指标体系，已供大家在不同条件下选择使用。
这篇完整的论文我将在适当的时候公布出来。
再次感谢！
» 昨日收集 - 从通行证到活化石 | 94smart’s Blog 留言,
2007年02月11日 星期日 @ 12:33 am
[…] 数图评估指标体系研究 […]