医院信息系统的评价
一、HIS系统评价的基本概念
二、HIS系统评价的基本方法
三、软件工程标准及其质量管理体系
四、我国对HIS系统的评价
五、医疗卫生软件系统评估案例
一、HIS系统评价的基本概念
1、评价的重要性
2、评价的复杂性
3、评价的基本内容
4、评价的基本流程
1、评价的重要性
? 系统评价是HIS建设的一项重要的基础工作。其重要性在于：
– 它是规范HIS系统建设和开发的需要；
– 它是使HIS系统向着高水平发展的需要；
– 它是使HIS系统更好地为医院现代化建设服务的需要；
– 它是加强卫生信息化管理规范的需要
2、评价的复杂性
? HIS系统评价的复杂性主要表现在：
– HIS系统一般都是一个大型应用系统，对于大型系统的评价尚无评价的参考标准；
– HIS系统的评价应属于软件系统的评价，而软件评价和测试是一个典型的NP难题；
– HIS系统评价中，存在某些可能影响评价工作正确性的主观因素，这在一定程度上增加了评价的复杂性。
3、评价的基本内容
? （1）从应用范围看：
– 可以是整个系统，也可以是一个子系统或者某一项功能的评价，但都要围绕设计目标、系统功能、系统结构、开发过程和实施效果5个方面进行。
? （2）从应用效益看：
– 应包括经济效益和社会效益两个方面。
? （3）从应用时间看：
– 应包括系统近期、中期和远期的不同时期。
4、评价的基本流程
? 评价工作的基本流程P113和P114有两个显而易见的示意图：
二、HIS系统评价的基本方法
1、软件系统评价方法的类型
2、打分的主观评价方法
3、统计学的客观评价方法
4、软件系统综合评价的方法
1、软件系统评价方法的类型
? HIS系统是一个庞大而十分复杂的软件系统。因此对HIS系统的评价也是一个十分复杂的工作。
? 一般地，评价方法的类型有：
– 主观评价
– 客观评价
– 综合评价
2、打分的主观评价方法
? 打分评价方法自然属于主观评价方法之列。这种方法简单易行，但很难做到准确公正。
? 通常有多种打分的方法：
– （1）等级法
– （2）因素比较法
– （3）评分法
3、统计学的客观评价方法
? 可以说，如果能够用统计学方法进行评价一个系统，那么无疑这是最科学最公正的。
– （1）什么是统计学方法
– （2）统计学评价的基本手段：实验设计
– （3）实验设计的基本内容
（1）什么是统计学方法
? 即采用统计数学的方法对一类事物或一个系统进行实验分析，从而实现对事物或系统作出客观评价的科学研究方法。
? 一般地，统计学研究包括：
– 实验设计、实验过程和实验结果分析。
（2）统计学评价的基本手段:实验设计
? 采用统计学方法对软件进行评价，其基本手段是实验设计。
? 实验设计的基本原理是：
– 按照统计数学的方法，对评价的对象（一类事物或一个系统）通过严格控制变量的选择、实验样本随机的抽取和科学的计算过程，确保实验过程和实验结果正确可靠，从而达到对评价对象的客观估价 。
（3）实验设计的基本内容
? 实验设计的基本内容教材中列出了11项，其中主要的是：
? 确立评价题目 ：
– 明确评价题目及其评价目的、意义、性质和结果。
? 设计评价路径 ：
– 提出评价工作的基本思路和基本方法。
? 处理影响因素 ：
– 在评测对象时有些因素是自然存在的，有些是需要人为施加的。在选取外加因素时应尽可能选取那些不会对结果产生干扰的单因素。如果要选取多因素，则必须保证它们之间是线性无关的。
? 选择评价对象 ：
– 选择被调查统计的对象。
? 选择对照组 ：
– 实验设计遵循的原则是对照原则、随机原则和重复原则，对照组的意义在于排除影响实验结果的其它因素。
? 重视误差控制 ：
– 误差包括系统误差和随机误差两类。
? 正确使用统计计算方法 ：
– 统计学有很多计算方法，正确选择一种方法进行计算也是很重要的。
4、软件系统综合评价的方法
? 这种方法应该是以主观为主，客观为辅的综合评价方法。通常包含两个方面：
– （1）软件质量的综合评价
– （2）软件实施效果的综合评价
（1）软件质量的综合评价
? Ⅰ、软件质量的度量
? Ⅱ、软件质量的评审
? Ⅲ、软件测试的方法
Ⅰ、软件质量的度量
? 对于软件质量，由于缺乏有效的量化标准，因此软件质量的度量，目前的做法是：
– 由若干（6-10人）软件专家组成评价小组，从整体上通过打分方法去评价软件的质量，无论是在开发过程中对软件的质量控制，还是对软件产品的评价和验收都是如此。
? 在评价中，有两个问题需要考虑：
– 软件质量度量的模型
– 软件质量特性的度量
软件质量度量的模型：
? 有三种模型：
– Bochm和McCall提出的三层质量结构
– ISO提出的三层质量模型
– 上海软件中心提出的SSC质量模型
Bochm和McCall提出的三层质量结构：
? 高层：质量要素
– 从11 个方面对软件质量提出要求
? 中层：软件属性
– 规定软件质量的评价准则
? 低层：软件属性的度量
– 定量地或半定量地描述软件的具体质量
ISO提出的三层质量模型：
? 1985年提出，三层质量模型与Bochm的三层结构基本是对应的：
– 高层：软件质量评价准则
– 中层：实际评价准则
– 低层：度量评价准则
上海软件中心提出的SSC质量模型：
? 根据ISO/TC97/SC7的建议和参考Bochm和McCall的三层模型，提出了SSC（Shanghai Software Center）模型：
– 从功能性、可靠性、易用性、效率、可维护性、可移植性 等6 个方面对软件质量进行描述和评价。
软件质量特性的度量：
? 软件质量特性的度量有两类：
? 预测型：
– 是在软件开发过程中，利用定量或定性的方法对软件质量的评价值进行估计。
? 验收型：
– 是在软件开发的各个阶段的检查点，对软件的要求质量进行确认性检查的具体评价。
Ⅱ、软件质量的评审
? 对软件质量的评审，有三个问题：
– 软件质量的评审标准
– 设计质量的评审内容
– 程序质量的评审内容
软件质量的评审标准：
? 通常，将“软件质量”定义为“用户满意度”。满意度有两个基本标准：
? 其一，“设计质量”如何 ：
– 指设计的功能说明要符合用户的需求，这种需求应包括用户的隐含需求（如可维护性、容错性等）
? 其二，“程序质量”怎样 ：
– 指程序必须按照设计的功能说明所规定的要求正确执行。
设计质量的评审内容：
? 设计质量的评审内容主要包括下面内容：
– 规格说明是否符合用户要求；
– 可靠性保障；
– 可操作性；
– 可扩充性；
– 可移植性；
– 可复用性 等12 个方面。
程序质量的评审内容：
? 程序质量的评审主要是着眼于程序本身，其内容包括三个方面：
? 程序的结构：
– 包括功能结构及其通用性设计、模块结构及其层次设计、模块的实现方法等。
? 运行环境的接口：
– 运行环境（硬件、软件和用户等）的接口要充裕或预留。
? 环境变更的影响范围：
– 运行环境的变更将引起软件规格的变更，要尽可能使变更的影响范围较小。
Ⅲ、软件测试的方法
? 为了保证软件的质量和可靠性，人们希望通过某种测试以验证软件的相关性能，特别是正在考虑是否接受该产品的用户。
? 软件的测试主要有两个问题：
– 第一，测试的方法
– 第二，测试的内容
第一，测试的方法：
? 测试的方法通常有两种形式：
– 黑箱测试法
– 白箱测试法
黑箱测试法：
? 黑箱测试法，又称功能测试法或数据驱动测试法。
? 这种方法的做法是：
– 不考虑程序内部的逻辑结构和特性，只依靠程序规格的说明，通过输入相关的测试数据，检查程序的功能是否与说明相符 。
白箱测试法：
? 白箱测试法的做法是：
– 测试人员通过程序内部的逻辑结构和相关信息，事先设计或选择测试用例，对程序的所有逻辑路径进行细致的测试。
? 值得注意的是：
– 一个应用软件通常包含许多选择和循环，整个执行过程的组合显然是NP问题，因此这种测试只能测试其主要功能和可能出现的问题，得到相对可靠的结论。
– 另一个问题是：如何设计测试用例，以使达到测试的最佳效果？常见的方法是 ：
? 逻辑覆盖测试
? 基本路径测试
? 边界值测试
? 等价类划分测试
? 错误推测法测试
–这些方法的含义分别是：
逻辑覆盖测试：
? 这种方法是以软件内部的逻辑结构为基础，设计一组测试用例，详细测试软件的所有可能的逻辑情况。
基本路径测试：
? 这种方法是根据软件的工作流程，设计一组测试用例，测试所有可能执行的程序运行路径。
边界值测试：
? 一般地 ，在正常范围内去测试输入输出值一般是正确的，但往往在一些边界的地方就会出现意外。因此，这种方法是专门针对输入输出的边界值范围设计一组测试用例，重点测试边界值。
等价类划分测试：
? 对于大型软件，所有可能的输入输出数据都是不可穷举的，因此可以设计一个或一组测试用例，从全部输入域中挑选一个子集（或称等价类），使得这个子集尽可能与全集等价。等价的程度越高，说明测试用例的质量越好。
错误推测法测试：
? 这种方法是根据测试人员的经验或直觉，推测程序中某个地方可能出现错误，然后再有针对性地对其设计测试用例。
第二，测试的内容：
? 关于软件的测试内容，教材中列出了设计评审、代码审查、功能测试、结构测试、可靠性测试 等19 相内容，请参阅教材P119 4.8软件测评内容 。
（2）软件实施效果的综合评价
? 什么是软件实施效果综合评价
– 所谓软件实施效果评价是指对软件的适应度、易操作性、可靠性、软件维护和服务质量等内容综合为用户满意度的过程。
? 软件实施效果综合评价的基本方法：
– 即对大样本量用户使用的意见进行综合、归纳，然后权衡利弊得出一个相对公允的评价结果。
– 这种方法也有很大的局限性，其原因主要表现在参加评价的用户 ：个人素质 、感情色彩、个人利益或者使用经验等诸多方面 。
三、软件工程标准及其质量管理体系
1、什么是软件工程标准化
2、常用软件工程标准
3、软件成熟度模型CMM
1、什么是软件工程标准化
? 是指对系统在整个生命周期中，为其存在的大量技术管理工作（过程管理、产品管理、资源管理）和认证工作（评审和审计、产品分析和测试等）而制定出一整套规范和标准及其过程。
2、常用软件工程标准
? 关于软件工程标准有两个基本问题需要了解：
– （1）制定标准的机构
– （2）国际ISO9000系列标准
（1）制定标准的机构
? 国际机构 ：
– 国际标准化组织，即ISO （International Standards Organization ）, 其中计算机与信息处理技术委员会，即ISO/TC97 ， 是专门负责制定和权威发布与计算机和信息处理方面标准的机构。
– 由ISO 制定或发布的标准称为国际标准 。
? 国家机构 ：
– 由各国政府或具有制定和发布标准权限的国家相关部门所组成的机构。例如美国是美国国家标准协会，即ANSI ； 我国是国家质量技术监督局，凡通过国家质量技术监督局发布的标准都将冠以GB 两个字符。当然我国其它一些国家部委（例如卫生部等）也有制定和发布本行业标准的权限。
– 由上述机构制定和发布的标准称为国家标准 。
? 行业机构：
– 有些行业、学术团体也可以在自己专业范围内制定一些标准。例如美国电气与电子工程师协会即IEEE 就制定了大量标准，我国的行业、学术团体尚少制定有标准。
– 经过行业机构制定和发布的标准称为行业标准。
– 如果行业标准经过了国家相关机构批准，那么它就成了国家标准。
（2）国际ISO9000系列标准
? ISO9000系列标准是1987年由ISO公布的质量管理国际标准。这个标准发布后，在国际上得到广泛应用。
? ISO9000系列标准应用范围广泛，现在已面向各个行业。
? 具体内容有：
– ISO9000质量管理和质量保证标准—选择和使用导则；
– ISO9001质量体系—设计/开发、生产、安装和服务中的质量保证模式；
– ISO9002质量体系—生产和安装中的质量保证模式；
– ISO9003质量体系—最终检验和测试中的质量保证模式；
– ISO9004质量体系—质量管理和质量体系要素—导则。
? 上述ISO9003质量体系比较使用于软件领域，目前国内一些大型软件企业已经在着手申请ISO9000认证，以提高自身的信誉。
3、软件成熟度模型CMM
? （1）什么是CMM
? （2）CMM的基本思想
（1）什么是CMM
? CMM 是Capability Maturity Model for Software缩写SM-CMM的简称形式，即软件成熟度模型。
– 它是1987年美国卡内基.梅隆大学软件研究所（SEI）受国防部委托而提出的专门用于评价软件开发过程和开发能力的评估标准。现已得到国际软件行业的广泛认可，并已成为软件业最权威的评估认证体系。
– SEI于2000年又发布了CMM的新版本，即 CMMI。 CMMI不但包括了软件开发过程的改进，还包含系统集成、软硬件采购等方面的过程改进内容。
（2）CMM的基本思想
? 它把软件开发视为一个过程：
– 在这个过程中不仅对软件在定义、实施、度量、控制和改善中各个阶段进行描述，而且还将对软件开发的整个过程进行质量的监控，以使软件更加科学化和标准化。
? CMM模型共分成5个评估级别：
– 一级为初始级；二级为可重复级；三级为定义级；四级为管理级；五级为优化级。
– 在这些级别中还包括18个过程域，52个目标，300多个关键实践，以作为实际评估的依据。
四、我国对HIS系统的评价
? 我国对HIS系统评价，有三个问题需要明确：
– 第一，我国评审HIS系统的机构
– 第二，评审的基本方法和目的
– 第三，评审HIS系统的基本规范
1、我国评审HIS系统的机构
? 我国评审HIS系统的权威机构是国家卫生部及其属下的卫生部信息化领导小组。
2、评审的基本方法和目的
? 卫生部评审HIS系统基本方法：
– 一般从基本情况、管理水平、经济核算、经营状况、技术水平、服务质量和用户意见等方面进行考核，最后由专家投票表决。
? 评审的目的在于：
– 规范我国大量的HIS市场，评审采用的是及格线方法，即它只评审是否达标，而并不评优。就是说，评审不是鉴定。
3、评审HIS系统的基本规范
? HIS系统作为应用软件的通用性和应用领域的特殊性，所以评审HIS系统有两个方面的规范可循：
– 一是国家标准局的相关规范
– 二是国家卫生部的相关规范
（1）国家标准局的相关规范
? 关于软件质量标准， 我国1983年联合原国家标准局和电子工业部共同制定了一个“中国软件工程标准” 。这应该是我国软件行业进行软件质量评审工作的最重要的指导性文件。
? 这个标准中共有4类20个具体标准 可供用户选择。
（2）国家卫生部的相关规范
? 我国评审HIS系统的基本标准是由卫生部1998年公布2002年修订的一个法规性评审办法和一个重要的参考规范，即：
– 《医院信息系统软件评审管理办法（试行）》
– 《医院信息系统（HIS）软件基本功能规范（试行）》
《医院信息系统软件评审管理办法（试行）》内容简介：
? 办法有以下一些评审规定：
– 软件功能必须符合医院信息管理的要求，信息分类编码必须符合卫生部医院信息系统的有关标准和规范；
– 软件产品必须达到《医院信息系统（HIS）软件基本功能规范》要求并通过评审方能进入市场；
– 通过评审的HIS系统软件在国内销售不受地区限制；
– 省级（省、自治区、直辖市或计划单列市）卫生行政单位的信息化领导小组负责本地区的HIS系统的初评，合格后再报卫生部组织评审；
– 为了保证HIS软件著作权，开发单位在申请评审前，应当到国家知识产权局进行登记注册；
– 评审程序是：
① 开发单位向卫生主管部门提出申请；
② 接受申请后向评审部门提交相关资料；
③ 评审部门组成测试小组，现场测试系统
并形成测试报告；
④ 评审部门组成专家评审小组，听取测试
报告，并对系统进行评审；
⑤ 最后用不记名方式进行投票表决。
《医院信息系统（HIS）软件基本功能规范（试行）》内容简介：
? 该规范详细规定了HIS系统应该包括的基本功能，其内容共有24章：
– 第一章 总则
– 第二章 数据、数据库、数据字典标准化
临床诊疗部分
– 第三章 门诊医生工作站分系统功能规范
– 第四章 住院医生工作站分系统功能规范
– 第五章 护士工作站分系统功能规范
– 第六章 临床检验分系统功能规范
– 第七章 输血管理分系统功能规范
– 第八章 医学影象分系统功能规范
– 第九章 手术、麻醉管理分系统功能规范
药品管理部分
– 第十章 药品管理分系统功能规范
经济管理部分
– 第十一章 门急诊挂号分系统功能规范
– 第十二章 门急诊划价收费分系统功能规范
– 第十三章 住院病人入、出、转管理分系统功能规范
– 第十四章 住院收费分系统功能规范
– 第十五章 物质管理分系统功能规范
– 第十六章 设备管理分系统功能规范
– 第十七章 财务管理分系统与经济核算管理分系统功能规范
综合管理与统计分析部分
– 第十八章 病案管理分系统功能规范
– 第十九章 医疗统计分系统功能规范
– 第二十章 院长综合查询与分析分系统功能规范
– 第二十一章 病人咨询服务分系统功能规范
外部接口部分
– 第二十二章 医疗保险接口功能规范
– 第二十三章 社区卫生服务接口功能规范
– 第二十四章 远程医疗咨询系统接口功能规范
五、医疗卫生软件系统评估案例
? 本文主要介绍了两个方面的评审实事例：
– 1、国外评价医院应用软件实例介绍
– 2、北大人民医院HIS系统实施效果评价
1、国外评价医院应用软件实例介绍
? 这里介绍了三个例子：
– 一是美国KLAS 公司2001 年对美国境内广泛使用的10 大PACS 产品进行了评审。评审的方法是：拜访用户；按照预先制定的评分表进行打分。
– 二是南非国家医疗卫生信息系统发展政策委员会（NHIS/SA ）对24家医院HIS系统进行了比对性（实验组和对照组）的评价 。
– 三是德国Sarland大学采用简易多级特征分级技术（SMARTER：Simple Mulit-Attribute Rating Technique Exploiting Ranks）对放射信息系统RIS（Radiology Information System）进行了投入/产出比分析和评价。评价的过程是构造评价树和打分相结合 。
2、北大人民医院HIS系统实施效果评价
? 这里主要介绍了对北大人民医院HIS系统中门诊划价收费和病房医嘱处理两个子系统进行评价的过程。
– 门诊划价收费系统的评价（从收费时间、收费准确性和病人满意度几方面进行）
– 病房医嘱处理系统的评价（从护士工作时间、满意度和主班护士满意度等几方面进行）
? 评价的基本方法是：
– 问卷调查和定量统计相结合。
本节内容回顾
? 本节主要介绍了5个问题：
– HIS系统评价的基本概念
– HIS系统评价的基本方法
– 软件工程标准及其质量管理体系
– 我国对HIS系统的评价
– 医疗卫生软件系统评估案例介绍