数据质量评价的原则与方法
仅供参考！
目前，基于数据仓库的商业智能应用已经成为国内许多企业的IT规划项目，并受到企业管理层的关注。作为商业智能的基础,数据质量的好坏是影响商业智能应用效果的关键，但由于企业的信息化经过长期的积累和发展,数据质量参差不齐，脏数据的存在阻碍了商业智能应用的进程，下面将重点谈谈如何让脏数据改头换面。
数据的“往事”
脏数据是指源系统中的数据不在给定的范围内或对于实际业务毫无意义，或是数据格式非法，以及在源系统中存在不规范的编码和含糊的业务逻辑。
脏数据的存在主要是由于源系统的设计不够严密造成的。主要表现为：数据格式错误，数据不一致，数据重复、错误，业务逻辑的不合理，违反业务规则等。例如，未经验证的身份证号码、未经验证的日期字段等，还有账户开户日期晚于用户销户日期、交易处理的操作员号不存在、性别超过取值范围等。此外，也有因为源系统基于性能的考虑，放弃了外键约束，从而导致数据不一致的结果。
目前，大多数的银行业务系统的输入界面是采用COBOL语言或C语言开发的，界面处理功能不是很强，一些要素被设计成“输入”而不是“选择”，如企业客户的信用等级被设计成输入，输入的正确与否完全由操作员的理解决定，这也是脏数据产生的原因之一。例如，如果被设计成“选择”就不会出现把AAA输成“1”或其他了。
转换与清洗的实例
下面以银行业务系统的客户的惟一标识—客户号为例来讲解如何转换与清洗数据。
客户信息的处理是整个数据抽取、转换、清洗和装载（ETL）工作中最复杂的部分。目前业务系统中常见的客户信息处理的难点主要有以下两个方面。
客户的惟一标识混乱
银行的客户号一般由证件类型与证件号组成，这里就有一个问题，如果客户有多种证件怎么办？或者说某个客户办了移民，有了新的身份，系统中怎样体现出他是同一个客户？这些问题，除了少部分是由于发证机关造成的（如身份证重号），大部分是由于操作人员的操作不规范造成的。主要表现在以下三个方面。
A、客户身份证号问题
最常见的问题是客户的身份证从15位更换为18位。首先操作人员只要能输入新的客户号，就认为是一个新的客户；其次，即使操作员知道客户的身份证升位了，但在银行的客户信息中，客户号是惟一标识，如果对惟一标识进行更新，作为增量反映到目标系统中，但没有记录原客户号，对于目标系统来说就是一条新记录，而删除原有的客户信息在实际操作中可能是不允许或做不到的，因为在这个客户号上可能还挂了许多账户，即便物理删除了这条客户
记录，也不可能作为增量数据传输到分析系统，因为这条数据确实已经不存在了。
所以在实际的业务操作中只是简单地增加一条客户信息，新开的账户就挂在新的客户信息上，这样业务系统中就登记了两条客户信息。
在ETL处理时，对上面这种情况一般都直接转换为18位，但在首次全量处理时，必须通过比较姓名来真实证明两条记录是同一个客户。增量处理时需要同样的处理。这样做需要更多的系统时间。
第二个客户身份证号问题是15位身份证号中有字母。如数字“0”被误写为字母“O”。
第三个客户身份证号问题是长度不为15位与18位。
第四个客户身份证号问题是同一身份证多个客户号。
身份证号问题在ETL时要生成异常客户信息记录文件，再交由业务部门处理，如把原15位身份证上挂接的账户重新挂接到18位上，删除15位的客户信息，删除错误的客户信息，重新录入正确的客户信息，并进行账户挂接。
B、多种证件问题
多种证件也会导致一名客户有多个客户号，技术上没有能力来发现，只有依靠业务人员来收集、更新维护信息。如果通过建新表来保存这种关系，将增加数据处理、查询的难度。
C、其他问题。有些账户上没有客户信息或虚编了客户号，比如1999年11月以前开设的账户，没有客户可以挂接，于是随意设了客户号，在汇总统计时要注意区分这种情况。
多数据源导致多客户信息
由于客观原因，银行可能有许多分散独立的业务系统，没有做到完全的集中，这些系统中都有客户信息。
多数据源导致多客户信息，同一客户在不同系统中有不同的数据描述，或者详细程度不同，在一些系统中甚至可能没有明确的客户代码与客户信息。在处理时，主要根据客户信息的详细程度与更新时间来考虑，并确定一个信息修改的原则。
首先我们把来自最大的数据源——核心业务系统的客户信息作为基础，这些信息数据量大，虽然有很全面的数据结构，但大部分的字段内容为空，而来自个人信贷系统、银行卡系统等的客户信息数据量相对较少，有详细的内容，正常情况下客户记录应该是核心业务系统的一个子集。数据仓库系统应该综合所有系统的客户信息，客户记录数应该是并集，客户记录字段应该是一些重要字段的并集。
然后确定不同数据源有公共字段的修改顺序。首先按信息的修改时间来判断，但最新的信息修改不一定有最全面的信息，如在柜面开户，核心系统仅录入了身份证与姓名，没有录入地
址等其他公共字段信息，而个人信贷系统或卡系统虽然建立的时间比较早，但有较全面的信息，不能用核心系统信息直接更新。所以公共字段的修改原则是在源数据与目标数据的字段不为空的情况下，以最新的信息为准。但这样做要耗费大量的系统资源，特别是在做全量数据初始化时，好在客户信息变化的频率不是很高，在实际全量数据初始化时往往是确定一个顺序，例如，以核心业务系统信息为基础，银行卡信息覆盖核心业务系统信息，然后再用贷款信息覆盖。
增量处理时一种折衷的方法是，在目标系统中记录客户信息的来源系统，如果来自贷款系统，则不能用其他系统的增量信息更新，只能用贷款系统的增量信息更新，而贷款系统的信息可以修改来自其他系统的信息。
实施经验：转换与清洗的时机
一般来说，转换与清洗发生在数据抽取之后，一些转换与清洗可以在抽取的同时去做。对于一些相对不繁忙的业务系统，如个人信贷系统，由于不是24小时运行，在每天完成正常的数据处理后，仍有很多时间空闲，在数据卸载时可以进行转换与清洗，这样做能够减少数据仓库的负载量。需要注意的是，不能对源系统进行清洗，因为源系统数据正确性的标准可能与目标系统不一样，对源系统的数据进行任何的修改与删除都是不允许的。当然源系统清理自身错误的数据对加快数据抽取会有好处。
数据清洗的六个步骤
数据仓库领域的权威W.H.Inmon博士把数据清洗的过程分为六个步骤：
步骤一：元素化（将非标准的数据统一格式化成数据元素）。
步骤二：标准化（将元素标准化，根据数据字典消除不一致的缩写等）。
步骤三：校验（对标准化的元素进行一致性校验，即在内容上修改错误）。
步骤四：匹配（在其他记录中寻找相似的记录，发现重复异常）。
步骤五：消除重复记录（根据匹配结果进行处理，可以删除部分记录或者把多个记录合并为一个更完整信息的记录）。
步骤六：档案化（将结果写入元数据存储中心。这样可以更好地进行后续的清理过程，使得用户容易理解数据库以及更好地进行切片、切块等操作）。(ccw)
客户数据质量评价的原则与方法
客户数据质量评价的原则与方法 admin 2013-10-12 关于客户数据质量的困惑 “什么样的客户数据质量是比较好的？”“为什么我们的客户数据看起来很不错，可是在进行电话营销时，客户接触率和营销效果确差强人意，与期望大相径庭？”在进行数据库营销的讨论和交流中，经常有人问到这样的问题。 这些问题反映出了很多在从事数据库营销或直复营销过程中的营销策划人员和运营管理人员经常面临的问题和困惑。 几乎所有的组织都需要数据，一些行业严重依赖于客户数据，如银行、电信、保险公司等。毫无疑问，较差的数据质量给企业营销带来的损失非常巨大！试想一下，如果你的呼叫中心正在试图向非目标客户进行大规模电话营销活动，或是你的企业正向那些早已过期的邮寄地址寄出了数以万计的促销宣传资料。这些给公司带来的损失有多少？不幸的是，这样的情况几乎经常发生，而企业的数据库营销策划人员也经常面临着数据选择和评价的挑战。 理解关于质量的涵义 首先，让我们简单探讨一下“质量”的涵义。
在服务营销和服务管理中，通常将“质量”定义为：“满足不同客户的个性化需求的能力”。这样的定义有着一定的主观特征，也就是说不同的企业会根据其对客户需求和竞争环境的理解，来定义其产品与服务的质量特征。这可以用来解释为什么对于不同等级的客户提供的服务质量标准有所差异的原因，这也是为什么同样是提供点对点的航空运输服务，某些航空公司的服务质量和客户体验要好于其他一些竞争者的原因。 国际标准组织将质量定义为：“产品或服务所具备的满足明确或隐含需求能力的特征和特性的总和”。这样的定义虽然更明确，但对于大多数的人来说，过于专业和抽象。 一个比较通俗且受到多数人认可的对质量的直观定义是“适合使用需求”。这也是我们本文的一个主旨，没有质量绝对完美的数据，对于数据质量的评价也是要根据数据的使用需求来进行评价的。只要能够适合使用的需求，我们就认为数据的质量是符合要求的。企业也应当本着有取有舍的原则，选择那些为企业所能利用的数据。 了解了质量的定义，接下来就可以进入客户数据质量的评价话题了。 数据质量评价的基本原则
谈航空公司服务质量评价及提升策略
谈航空公司服务质量评价及提升策略 近年来，我国国民经济持续增长，人民日益增长的美好生活需要促使我国旅游业迅猛发展，辐射与之相关产业的快速发展，其中，航空运输业表现得极为明显。但与国际一流的航空公司相比，我国航空公司的服务质量普遍存在较大差距，服务水平参差不齐，同时没有对服务质量衡量的统一标准，缺乏科学系统的测量指标体系，对乘务员自身服务水平的提高和航空公司的未来发展都带来了一定挑战。因此，如何利用航空公司自身特点、乘客的消费心理，建立合理的服务质量评价体系，帮助企业提高服务质量企业竞争力，成为未来研究的主要内容，具有一定的现实意义。一、国内外航空公司发展现状 目前，主要发达国家服务业增加值占GDP比重达到75%以上。发达国家在20世纪50年代，服务业就业人数占总就业人数的50%，而到2000年，服务业的就业人数达到总就业人数的80%。相比之下，我国服务业仍然处于初始阶段。消费者对民航客运的大量需求，推动了我国民航业不断向前迈进。中国民用航空局发表的“2017年世界航空运输概况”显示，全
国民航实现利润601.3亿元，同比增长10.5%，旅客运输量5.36亿人次，海南航空、南方航空在全球航空公司排名中名列前茅。然而，与突破性快速发展的航空业相比，我国还要追求质与量同步发展。服务作为航空公司文化与形象的核心，直接面对消费者，客舱服务成为一把双刃剑，打造航空公司的品牌形象，稳固旅客对航空公司品牌的忠实度成为其直接影响要素。在如今员工和公司利益一体化的环境下，营造全方位的服务机制、提高客舱服务质量，不仅仅关系到航空公司的未来发展，更是直接牵动着每一个员工的切身利益。因此，制定标准化的服务体系、设立预见机制，成为目前国内各家航空公司的首要任务。二、客舱服务质量 由于航空公司的特点，航空客舱服务质量可表述为：在航运过程中，由乘务人员在客舱对旅客进行的，为满足其提供安全、准确、方便、舒适并有其使用价值的服务，并以满足旅客旅行中需求程度为主要目标。客舱服务主要包含安全性、经济实用性、时间合理准确性、功能性、高素质性与舒适性等特质。大部分的服务是消费时或消费后的附加增值过程，一般来说服务与消费具有同时性，服务的过程或许就是此次消费的结果。从旅客的角度出发，旅客会参与服
各类环境要素评价方法-综合污染指数
精心整理培训资料—2 各类环境要素评价方法 一、环境空气质量评价 1、评价标准 执行国家《环境空气质量标准》（GB3095-1996）和修改单（环发[2001]1号）规定的浓度限值 Coi—i项空气污染物的环境质量标准限值。 n—计入空气污染综合指数的污染物项数。 根据全省各地空气污染的状况和特征，结合空气常规监测项目情况，计入空气污染综合指数的参数为空气质量常规监测的二氧化硫、二氧化氮、总悬浮颗粒物或可吸入颗粒物，12个城市将可吸入颗粒物监测结果计入综合污染指数,其他市、县、区以总悬浮颗粒物监测结果计算空气污染综合指数。
⑵空气质量达标评价由单项污染物水平和级别以及综合的空气质量级别进行评价，其中年均 单项污染物级别由环境空气质量的年均值标准确定；综合的空气质量级别的确定为最差一个单项污染物级别即为空气质量级别。达到国家空气质量二级标准（一级和二级）为达标，超过二级标准（三级和劣三级）为超标。其中一级为空气接近良好背景水平的优级，二级为空气有一定程度的污染物存在但影响程度尚可接受的合格水平，三级为空气污染已经达到危害性程度，劣三级为空气污染相当严重。 ⑶污染负荷系数法 为： 1 2 9：00 3、降水评价方法 降水酸度（pH值）以pH=5.60作为划分酸雨界限，一般将pH<5.60的降水称为酸雨。用降水pH 年均值和酸雨出现的频率评价酸雨状况。 三、沙尘暴评价 （总站生字﹝2004﹞根据中国环境监测总站《关于印发<沙尘天气分级技术规定（试行）>的通知》 31号）规定进行评价。详见表3-7。 表3-7 沙尘天气分级颗粒物浓度限值单位: mg/Nm3
10 2、沙尘天气持续时间达不到规定时间者，其分级下降一级； 3、未达到分级标准的其它沙尘现象统称为“受沙尘天气影响”。 四、地表水评价 限值进行比较，以该断面（或河流）污染最重因子的类别作为该断面（河段）的水质综合类别。 ⑵地表水域功能标准 根据陕西省地表水域功能标准进行水质超标状况评价 ⑶综合污染指数法评价 用综合污染指数法及污染分担率来计算和评价各水域（或河流）间的污染程度大小和污染年际变化（污染指数计算，采用第Ⅲ类标准值）。
水环境质量评价方法分析
水环境质量评价方法分析 1 水环境质量评价 水环境质量评价就是通过一定的数理方法和其他手段，对水环境素质的优劣进行定量描述（或将量质变换为评语）的过程。水环境质量评价必须以监测资料为基础，经过数理统计得出统计量（特征数值）及环境的各种代表值，然后依据水环境质量评价方法及水环境质量分级分类标准进行环境质量评价。 2 水环境质量评价的作用及分类 水环境质量评价是进行环境管理的重要手段之一。通过水环境质量评价可以了解环境质量的过去、现在和将来发展趋势及其变化规律，制定综合防治措施与方案；可以了解和掌握影响本地区环境质量的主要污染因子和主要污染源，从而有针对性地制定改善环境质量的污染源治理方案和综合防治规划与计划；可以为制定国家或地方的环境标准、法规、条例细则等提供科学依据；可以进行环境质量的预断预报，编制新建、改建、扩建和挖潜、革新、改造等工程技术项目的环境影响报告书和防治方案，为选址、设计和生产布局提供科学依据，还可用以总结本地区的环保工作，鉴定防治措施的效果、写出年度环境质量报告书，进行不同地区间环境质量的比较，交流情报资料，进行全国环境质量统计，促进环保科研技术的发展以及是否以牺牲水环境质量和人民健康而换取经济发展高速度的损益分析等。 按不同的分类方法，大致上可将水环境质量评价分为以下几种类型：1）按照时间可分为回顾评价、现状评价和预断评价；2）按照区域类型可分为城市、区域或流域、景区等；3）按照环境的专业用途又可分为饮用水、灌溉水、渔业用水等质量评价。 3.水环境质量评价内容 3.1评价方法分析 1.单因子评价法 现行的《地表水环境质量标准》（GB3838-2002）中明确规定：“地表水环境质量评价应根据应实现的水域功能类别，选取相应类别标准，进行单因子评价”。单因子评价法的实质是评价过程采用变权来处理评价因子，对污染最重因子赋以100%权重。因此，该方法未考虑水质评价全部因子的贡献，水质监测信息未充分利用。与其他方法相比，其水质评价结果是差的，表现为过保护。有时会由于过于严格的要求把水域使用功能评价得偏低各评价参数之间互不联系，不能全面反映水体污染的综合情况但该方法评价过程简单，无需复杂计算。 以金沙江流域铁路桥断面为例，按单因子方法，其评价等级为Ⅳ类，定级项目为石油类，但其他7项污染因子均好于Ⅰ类水质标准。再如新濉河大屈断面，按单因子方法，其评价等级为劣Ⅴ类，定级项目为氨氮，CODMn也超标(Ⅳ类)，BOD5、石油类、挥发酚、汞、铅这5个项目均好于Ⅰ类水质标准，DO好于Ⅱ类水质标准。按4种分级评分法评价，铁路桥断面均评价为Ⅰ类，大屈断面则评价为Ⅲ类(灰色关联)、Ⅴ类(模糊综合)、Ⅰ类(物元可拓)、Ⅱ类(标识指数)。比较各种方法评价结果，如果按单因子评价法，将这两个断面评价为Ⅳ类和劣Ⅴ类结果偏严。因此，当仅有1项指标污染较重时，分级评分法较为合适；当有2项以上指标污染较重时，物元分析法评价结果偏松，标识指数法和灰关联分析法 2.污染指数评价法 污染指数评价法是用水体各监测项目的监测结果与其评价标准之比作为该项目的污染分指数,然后通过各种数学手段将各项目的分指数综合而得到该水体的污染指数，以此代表水体的污染程度。对分指数的处理不同，使水质评价污染指数存在着不同的形式，包括简单叠加指数、算术平均值指数、均方根指数、最大值指数、内梅罗指数等。 111简单叠加指数 选定若干评价参数, 将各参数的实际浓度Ci和其相应地评价标准浓度( Coi) 相比,求出各参
地表水环境质量评价办法(试行)
附件： 地表水环境质量评价办法 （试 行） 二○一一年三月 —3—
目 录 一、基本规定 (6) （一）评价指标 (6) 1.水质评价指标 (6) 2.营养状态评价指标 (6) （二）数据统计 (6) 1.周、旬、月评价 (6) 2.季度评价 (6) 3.年度评价 (6) 二、评价方法 (7) （一）河流水质评价方法 (7) 1.断面水质评价 (7) 2.河流、流域（水系）水质评价 (7) 3.主要污染指标的确定 (8) （二）湖泊、水库评价方法 (9) 1.水质评价 (9) 2.营养状态评价 (10) （三）全国及区域水质评价 (11) 三、水质变化趋势分析方法 (12) （一）基本要求 (12) （二）不同时段定量比较 (12) —4—
（三）水质变化趋势分析 (13) 1.不同时段水质变化趋势评价 (13) 2.多时段的变化趋势评价 (14) 附录一：污染变化趋势的定量分析方法 (15) 附录二：术语和定义 (17) —5—
为客观反映地表水环境质量状况及其变化趋势，依据《地表水环境质量标准》（GB3838-2002）和有关技术规范，制定本办法。本办法主要用于评价全国地表水环境质量状况，地表水环境功能区达标评价按功能区划分的有关要求进行。 一、基本规定 （一）评价指标 1.水质评价指标 地表水水质评价指标为：《地表水环境质量标准》（GB3838-2002）表1中除水温、总氮、粪大肠菌群以外的21项指标。水温、总氮、粪大肠菌群作为参考指标单独评价（河流总氮除外）。 2.营养状态评价指标 湖泊、水库营养状态评价指标为：叶绿素a（chla）、总磷（TP）、总氮（TN）、透明度（SD）和高锰酸盐指数（COD Mn）共5项。 （二）数据统计 1.周、旬、月评价 可采用一次监测数据评价；有多次监测数据时，应采用多次监测结果的算术平均值进行评价。 2.季度评价 一般应采用2次以上（含2次）监测数据的算术平均值进行评价。 3.年度评价 国控断面（点位）每月监测一次，全国地表水环境质量年度评—6—
数据质量管理
数据质量管理 定义： 是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。 目录 1数据质量管理 2数据质量管理评估维度 3分析影响数据质量的因素 4MTC-DQM 数据质量管理的方法与步骤 一数据质量管理 数据质量管理是循环管理过程，其终极目标是通过可靠的数据提升数据在使用中的价值，并最终为企业赢得经济效益。 二数据质量管理评估维度 由于数据清洗（DataCleaning）工具通常简单地被称为数据质量（Data Quality）工具，因此很多人认为数据质量管理，就是修改数据中的错误、是对错误数据和垃圾数据进行清理。 这个理解是片面的，其实数据清洗只是数据质量管理中的一步。数据质量管理（DQM），不仅包含了对数据质量的改善，同时还包含了对组织的改善。针对数据的改善和管理，主要包括数据分析、数据评估、数据清洗、数据监控、错误预警等内容；针对组织的改善和管理，主要包括确立组织数据质量改进目标、评估组织流程、制定组织流程改善计划、制定组织监督审核机制、实施改进、评估改善效果等多个环节。 任何改善都是建立在评估的基础上，知道问题在哪才能实施改进。通常数据质量评估和管理评估需通过以下几个维度衡量。
1 数据质量评估维度 完整性Completeness：完整性用于度量哪些数据丢失了或者哪些数据不可用。 规范性Conformity：规范性用于度量哪些数据未按统一格式存储。 一致性Consistency：一致性用于度量哪些数据的值在信息含义上是冲突的。 准确性Accuracy：准确性用于度量哪些数据和信息是不正确的，或者数据是超期的。 唯一性Uniqueness：唯一性用于度量哪些数据是重复数据或者数据的哪些属性是重复的。 关联性Integration：关联性用于度量哪些关联的数据缺失或者未建立索引。 2 管理质量评估维度 配置管理Config Management：此维度用于度量数据在其生命周期内的一切资源是否得到了控制和规范，即数据的计划、产生、变更直至消亡的过程中，与数据相关的计划、规范、描述是否收到控制。评估指标包括：评估配置项的细化粒度、评估基线准确度和频度以及变更流程是否合理完善等。 培训 Training：此维度用于度量数据的生产和使用者在数据生命周期内的一切活动中是否经过了知识和技能的培训、培训效果是否满足岗位需要；受训的知识和技能是否经过审核和确认，受训的内容是否与企业文化和价值观一致；培训流程是否合理完善等； 验证和确认Verify & Validation：此维度用于度量数据在其生命周期内是否得到验证和确认。评估内容包括是否通过验证流程确保工作产品（数据）满足指定的要求、是否通过“确认”流程保证工作产品（数据）在计划的环境中满足使用的要求；“验证”和“确认”的流程是否完善； 监督和监控Monitoring：此维度用于度量产生和使用数据的流程在数据的整个生命周期内是否真正受控。脱离监控的信息、技术、计划、流程、制度，会导致数据质量低下。监督和监控的流程是否完善。 三分析影响数据质量的因素 影响数据质量的因素主要来源于四方面：信息因素、技术因素、流程因素和管理因素
数据质量具体评测指标及方法说明
数据质量具体评测指标及方法说明 一、主要评测内容 重点评测个案库的数据完整性、逻辑关系准确性。评测内容及指标计算方法会根据需要作适当调整。 二、具体评测指标及方法 （一）主要数据项完整情况 1、评测内容：重点评测个案库中的基本情况表，具体数据项包括姓名、性别、现居住地代码、户籍所在地代码、公民身份号码、出生日期、婚姻状况、户口性质等8项必填内容。 其中：每条个案记录中，只要任意一项主要数据项缺失，即认定为该条记录的主要数据项不完整。 2、评测指标：主要数据项完整率 3、计算公式： 主要数据项完整的人口总数 —————————————×100% 个案信息库包含的人口总数 其中： 主要数据项要通过单项逻辑校验，没有通过单项逻辑校验的视为数据项缺失。校验规则如下： （1）性别、户口性质、婚姻状况数据项均不能为空错值；
（2）姓名：7岁以上（含7岁）“姓名”不含“未取名”、阿拉伯数字、英文字母等不符合规范的文字，不少于两个汉字。7岁以下人口不做此单项逻辑校验。 （3）公民身份号码：7岁以上（含7岁）“公民身份号码”不含空格、性别码与性别匹配、长度为15或18位、校验码正确。7岁以下人口不做此单项逻辑校验。 （4）出生日期：不大于汇总数据时点。 （5）现居住地代码：不为空错值，当人员类别为外出时，现居住地代码不应为本地 （6）户籍地代码：不为空错值，当人员类别为外来时，户籍地代码不应为本地 （二）逻辑关系准确情况 1、评测内容：分为单表审核、表间审核两种类型，共计7个审核内容。 其中，每条个案记录中，只要任意一项逻辑关系不准确，即认定为该条记录的逻辑关系不准确。 （1）若总人口数据“婚姻状况”为已婚（代码为20 – 23 29），则与配偶有关的信息项目配偶姓名、配偶身份证（配偶身份证错误也视为空）项均不为空； （2）育妇卡片“育龄妇女初婚日期”加15年不能小于“育龄妇女出生日期”；
地表水环境质量评价办法(DOC 19页)
地表水环境质量评价办法(DOC 19页)
附件： 地表水环境质量评价办法 （试行）
（二）湖泊、水库评价方法 (9) 1.水质评价 (9) 2.营养状态评价………………………………………………………………… 10 （三）全国及区域水质评价……………………………………………………… 1 1 三、水质变化趋势分析方法………………………………………………………… 1 2 （一）基本要求 (12) （二）不同时段定量比较………………………………………………………… 1 2 （三）水质变化趋势分析………………………………………………………… 1 3 1.不同时段水质变化趋势评价……………………………………………… 1 3 2.多时段的变化趋势评价 (14) 附录一：污染变化趋势的定量分析方法 (15) 附录二：术语和定义 (17)
为客观反映地表水环境质量状况及其变化趋势，依据《地表水环境质量标准》（GB3838-2002）和有关技术规范，制定本办法。本办法主要用于评价全国地表水环境质量状况，地表水环境功能区达标评价按功能区划分的有关要求进行。 一、基本规定 （一）评价指标 1.水质评价指标 地表水水质评价指标为：《地表水环境质量标准》（GB3838-2002）表1中除水温、总氮、粪大肠菌群以外的21项指标。水温、总氮、粪大肠菌群作为参考指标单独评价（河流总氮除外）。（湖泊水质？） 2.营养状态评价指标 湖泊、水库营养状态评价指标为：叶绿素a（chla）、总磷（TP）、总氮（TN）、透明度（SD）和高锰酸盐指数（COD Mn）共5项。 （二）数据统计 1.周、旬、月评价 可采用一次监测数据评价；有多次监测数据时，应采用多次监
数据质量评价模型的建立和实现
[摘要] 本文提出了数据质量评价模型、质量校验与评价方法，论述了“数据质量分析评价系统”的程序实现流程、总体结构及功能，介绍了系统的关键技术及进一步的研究方向。 [关键词] 质量模型质量检验质量评价 数据作为一种资源，是支撑信息化建设和应用的主体，根据“进去的是垃圾,出来的也是垃圾”这条原理,为了支持正确决策,就要求我们所管理的数据可靠,没有错误,能够准确地反映采油厂的实际情况。胜利采油厂数据中心存放了5千万条的数据，还在以每天2万条的速度加载，如何使这些海量数据在生产管理、科学研究、企业决策中发挥应有作用，使用户能用、敢用、愿用，使数据真正为企业服务，这是几乎所有信息化企业亟需迫切解决的问题。为解决数据质量问题，各种管理手段、技术手段和新的数据评价体系不断被应用在数据的采集和加工过程中。 一、数据质量评价模型的提出背景 采油厂的数据资源具有:横跨专业多，数据采集密度大、频度高，数据处理流程复杂等特点，为了保证数据的可用性，数据管理人员在客户端、服务器端均设置了数据质量审核规则，但是依然不可避免存在比例较高的数据质量问题，典型的有记录不全、数据遗漏、数据错误、多义字段、矛盾值、违背业务规则、无法关联等。产生数据问题的根本原因可以归结为以下几个方面: 1.没有从数据资源的战略高度对数据质量进行统一完整的定义，导致数据的分析评估没有统一可靠的标准； 2.数据质量还停留在定性评价,不能实现精确的量化评价，只是在业务需要某个数据时,才到库里去手动统计,无法动态记录某个单位、某个月的真实数据质量发生情况,导致数据质量考核缺乏可信的数据依据,大大影响考核力度; 3.没有一个能同时面对用户、专业部门、数据管理人员的可视化的数据质量监控评价平台,三方无法共享一个平台,共同实行数据管控一体化,导致业务规则的变更滞后,问题数据在库中的长期滞留; 4.也许有了N个业务模型,但是没有把它放到时间轴上去控制流程,导致实际生产中应该发生的活动的部分生产数据遗漏； 虽然影响采油厂数据质量的原因是多方面的，但主要的原因还是集中在管理、制度和数据采集加工规范化方面。对于如何通过管理、制度、标准和流程来控制数据质量,提高数据可信度,我们提出建立采油厂统一的数据质量分析评价模型，使用管理手段和技术手段相结合的办法,建立一套完善的数据定义、控制、评估流程，依托科学严谨的数据监督和质量控制体系持续地改进数据质量。 二、数据质量分析评价模型构成 构成数据质量分析评估模型的要素分别为:基础模型、数据质量辅助模型、数据质量定义模型、数据质量控制模型、数据质量评价模型。 1.基础模型。基础模型部分是整个模型框架的支撑核心部分，其他质量模型的定义和控制必须以基础模型中的计划和标准为依据。基础模型主要是映射、定义数据采集标准,上载分单位的采集计划,同时纳入了约束规则定义规范、控制规则定义规范、模板定义规范。 数据标准:分两部分,一部分是直接映射应用中的标准，例如源数据库标准;另一部分是针对新增应用库和项目库标准的定义规范,包括代码定义标准、数据项定义标准(例如是取英文还是汉语拼音,取几个字符）、值域定义标准等等新增表准的建立规范； 采集计划:采集单位的每月上载的日度、月度、年度的采集计划;
矩阵方法评定服务质量
运用矩阵方法进行服务质量评定 蒋曙东上海市质协用户评价中心 内 容 本文作者在多年开展服务性行业顾客满意度指数测量的实践过程中，基于顾客满意度优先改进矩阵（影响力-评价值）的方法原理，针对服务质量的改进分析提出了服务质量诊断矩阵，在综合考虑顾客满意度水平和服务质量稳定性的基础上，合理评定服务质量，并进一步明确顾客满意度优先改进的重点方向。关 键 词：顾客满意 顾客满意度测量 服务质量 服务质量评定 随着市场竞争的日趋加剧，企业尤其是服务性行业愈来愈认识到提供顾客满意的服务的重要性。服务性行业更需要借助顾客满意度测量来了解顾客的满意程度、把握顾客需求、了解企业服务的薄弱环节，为服务质量的持续改进提供科学依据。根据上海市质协用户评价中心提供的数据显示，2001年以第三方的身份进行的服务性行业、企业委托项目已占测评项目总数的38.9%[1]。目前这个比例仍呈上升趋势。 一、通过顾客满意度评定服务质量的常用方法 服务性行业可以根据顾客对服务质量相关过程和相关结果的主观感受评价，掌握服务质量的业绩水平，并将测量结果中评价相对较差的方面视作薄弱环节，并作为改进的方向。 随着社会主义市场经济的深入发展，服务性行业的管理部门已经转向宏观监管的功能，其管理模式如下图1所示。一些服务性行业管理部门运用顾客满意度测量的手段，定期掌握和分析行业服务质量顾客满意度的动态数据，作为其评定企业绩效的依据之一。 图1 服务性行业管理模式 在上海质量管理科学研究院的帮助下，上海市出租汽车行业于1999年建立了如下图2所示的顾客满意度测量框架，作为行业管理的主要手段之一。多年的实践证明顾客满意度测量已成为了上海市出租汽车行业的新的管理模式。通过长期有效的顾客满意度跟踪测量，上海市出租汽车行业取到如下一些成效：
数据质量评价的原则与方法
仅供参考！ 目前，基于数据仓库的商业智能应用已经成为国内许多企业的IT规划项目，并受到企业管理层的关注。作为商业智能的基础,数据质量的好坏是影响商业智能应用效果的关键，但由于企业的信息化经过长期的积累和发展,数据质量参差不齐，脏数据的存在阻碍了商业智能应用的进程，下面将重点谈谈如何让脏数据改头换面。 数据的“往事” 脏数据是指源系统中的数据不在给定的范围内或对于实际业务毫无意义，或是数据格式非法，以及在源系统中存在不规范的编码和含糊的业务逻辑。 脏数据的存在主要是由于源系统的设计不够严密造成的。主要表现为：数据格式错误，数据不一致，数据重复、错误，业务逻辑的不合理，违反业务规则等。例如，未经验证的身份证号码、未经验证的日期字段等，还有账户开户日期晚于用户销户日期、交易处理的操作员号不存在、性别超过取值范围等。此外，也有因为源系统基于性能的考虑，放弃了外键约束，从而导致数据不一致的结果。 目前，大多数的银行业务系统的输入界面是采用COBOL语言或C语言开发的，界面处理功能不是很强，一些要素被设计成“输入”而不是“选择”，如企业客户的信用等级被设计成输入，输入的正确与否完全由操作员的理解决定，这也是脏数据产生的原因之一。例如，如果被设计成“选择”就不会出现把AAA输成“1”或其他了。 转换与清洗的实例 下面以银行业务系统的客户的惟一标识—客户号为例来讲解如何转换与清洗数据。 客户信息的处理是整个数据抽取、转换、清洗和装载（ETL）工作中最复杂的部分。目前业务系统中常见的客户信息处理的难点主要有以下两个方面。 客户的惟一标识混乱 银行的客户号一般由证件类型与证件号组成，这里就有一个问题，如果客户有多种证件怎么办？或者说某个客户办了移民，有了新的身份，系统中怎样体现出他是同一个客户？这些问题，除了少部分是由于发证机关造成的（如身份证重号），大部分是由于操作人员的操作不规范造成的。主要表现在以下三个方面。 A、客户身份证号问题 最常见的问题是客户的身份证从15位更换为18位。首先操作人员只要能输入新的客户号，就认为是一个新的客户；其次，即使操作员知道客户的身份证升位了，但在银行的客户信息中，客户号是惟一标识，如果对惟一标识进行更新，作为增量反映到目标系统中，但没有记录原客户号，对于目标系统来说就是一条新记录，而删除原有的客户信息在实际操作中可能是不允许或做不到的，因为在这个客户号上可能还挂了许多账户，即便物理删除了这条客户
生态环境状况评价技术规范
生态环境状况评价技术规范 前言 为贯彻《中华人民共和国环境保护法》，加强生态环境保护，评价我国生态环境状况及变化趋势，制定本标准。 本标准规定了生态环境状况评价指标体系和各指标计算方法。 本标准适用于县域、省域和生态区的生态环境状况及变化趋势评价，生态区包括生态功能区、城市/城市群和自然保护区。 本标准于2006年首次发布，本次为第一次修订。 本次修订主要内容： ——优化生态环境状况和各分指数的评价指标和计算方法；——新增生态功能区、城市/城市群和自然保护区等专题生态区生态环境评价指标和计算方法。 自本标准实施之日起，《生态环境状况评价技术规范（试行）》（HJ/T 192—2006）废止。 本标准附录A和附录B为资料性附录。 本标准由环境保护部科技标准司组织修订。 本标准主要起草单位：中国环境监测总站、环境保护部南京环境科学研究所、上海市环境监测中心、江苏省环境监测中心、青海省生态环境遥感监测中心、新疆维吾尔自治区环境监测总站、深圳市环境监测中心站、浙江省环境监测中心、辽宁省环境监测实验中心、环境保护部卫星环境应用中心。 本标准环境保护部2015年3月13日批准。
本标准自2015年3月13日起实施。 本标准由环境保护部解释。 1 适用范围 本标准规定了生态环境状况评价指标体系和各指标计算方法。 本标准适用于评价我国县域、省域和生态区的生态环境状况及变化趋势。其中，生态环境状况评价方法适用于县级（含）以上行政区域生态环境状况及变化趋势评价，生态功能区生态功能评价方法适用于各类型生态功能区的生态功能状况及变化趋势评价，城市生态环境质量评价方法适用于地级（含）以上城市辖区及城市群生态环境质量状况及变化趋势评价，自然保护区生态保护状况评价方法适用于自然保护区生态环境保护状况及变化趋势评价。 2 规范性引用文件 本标准内容引用了下列文件或其中的条款。凡是不注日期的引用文件，其最新版本适用于本标准。 GB 3095 环境空气质量标准 GB 3096 声环境质量标准 GB 3838 地表水环境质量标准 GB 15618 土壤环境质量标准 GB/T 14848 地下水质量标准 GB/T 24255 沙化土地监测技术规程 HJ 623 区域生物多样性评价标准 SL 190 土壤侵蚀分类分级标准
服务质量考核办法及服务质量考核细则
服务质量考核办法及服务质量考核细则1、考核细则 项目类别 项目 名称 项 目 分 值 项 目 权 重 服务质 量标准 考核方法考 核 周 期 1、高级技术支持服务1．1电话 咨询 100 10％ 参见附 件1 按次考核，每次超出响应时限扣5分， 每超出一个响应时限周期加扣2分，直 至扣完本项分值为止。 年 1．2电话 支持 100 10％ 参见附 件1 按次考核，每次超出响应时限扣5分， 每超出一个响应时限周期加扣2分，直 至扣完本项分值为止。 年 1. 3远程 支持 100 10％ 参见附 件1 按次考核，每次超出响应时限扣5分， 每超出一个响应时限周期加扣2分，直 至扣完本项分值为止。 年1．4现场支持100 10％ 参见附 件1 未按标准实施造成一级故障，每次扣5 分，直至扣完本项分值为止。 年 1．5紧急故障 处理 100 30％ 参见附 件1 按次考核，每次超出业务恢复时限扣 10分，每超出一个业务恢复时限周期 加扣4分，直至扣完本项分值为止。 年 2、软件 版本补丁服务2．1软件 升级 100 10％ 参见附 件1 未按标准实施造成一级故障，每次扣5 分，直至扣完本项分值为止。 年 3、硬件 维修和更换服务3．1硬件 维修和更 换 100 20％ 参见附 件1 按及时返还率考核，及时返还率每少1 个百分点，扣1分，直至扣完本项分值 为止 年 2、考核分数和扣款数额 综合维护保障技术服务考核总得分=（各项目得分×项目权重）之和。 （1）乙方应承诺服务质量考核得分高于或等于90分。
（2）甲方付给乙方的费用按全年的服务质量考核评分进行核算，核算方法如下： ①当乙方的服务质量考核得分高于或等于90分时，甲方按合同规 定的金额的100%向乙方付费； ②当乙方的服务质量考核得分低于90分时，每低0.1分，甲方有 权从合同付款中扣除合同总金额的0.1%比例的违约金，违约金累计总额不超过合同总额的5%。 （3）如果甲方在合同执行结束后两（2）周内没有提出考评意见，乙方将认为已经取得100％的考核分数。
大数据平台 数据质量评价维度
附录A （资料性附录） 数据质量评价维度 A.1 完整性 按照数据规则要求，数据元素被赋予数值的程度。即完整性指的是数据信息是否存在缺失的状况，数据缺失的情况可能是整个数据记录缺失，也可能是数据中某个字段信息的记录缺失。不完整的数据所能借鉴的价值会大大降低，完整性是数据质量评估标准的基础。 表A.1完整性评价指标 A.2 规范性 数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度。 表A.1规范性评价指标
表A.2 （续） A.3 一致性 数据与其他特定上下文中使用的数据无矛盾的程度。即一致性是指数据是否遵循了统一的规范，数据集合是否保持了统一的格式。数据质量的一致性主要体现在数据记录的规范和数据是否符合逻辑。 表A.2 一致性评价指标 11
数据准确表示其所描述的真实实体（实际对象）真实值得程度。即准确性是指数据记录的信息是否存在异常或错误。 表A.3 准确性评价指标 A.5 唯一性 数据唯一不重复。即唯一性是指度量哪些数据是重复数据或者数据的哪些属性是重复的。 A.6 关联性 数据的关联不可缺失的。即关联性是度量哪些关联的数据缺失或者未建立索引。 关联性评价因素： a)查找到的信息和主题不完全一致，但确是其中某一方面的阐述； b)查找到的信息集合多数在用户需要的检索主题内； c)提供的信息主题与用户检索主题相匹配； d)查找到的信息多数与用户需要的信息无关； e)信息必须和用户需求有相关性。
数据在时间变化中的正确程度。即及时性是指数据从产生到可以查看的时间间歇，也叫做数据的延时时长，及时性对数据分析本身要求并不高，但如果数据分析周期加上数据建立的时间过长，就可能导致分析出的结论失去借鉴意义。 表A.4 时效性评价指标 A.8 可访问性 数据能被访问的程度。 表A.5 可访问性评价指标 13
服务质量评价体系
江苏省烟草专卖局文 件 苏专销〔2006〕32号 江苏省烟草专卖局关于下发江苏省烟草商 业 系统服务质量评价体系（试行）的通知 各市局（公司），东渡公司： 现将《江苏省烟草商业系统服务质量评价体系（试行）》下发给你们，请贯彻执行。 附件：《江苏省烟草商业系统服务质量评价体系（试行）》主题词: 服务评价体系通知 分送：省局（公司）各领导，省局（公司）机关各处室（部门）、公司 江苏省烟草专卖局办公2006年3月27日印发
室 打字：陈冰校对：王红(共印2份) 附件： 江苏省烟草商业系统服务质量评价体系（试行） 为进一步深化和落实“与客户共创成功”的服务理念，不断拓展“客户至上，服务为本，诚实守信，共同发展”的服务内涵，精心打造“中国烟草·江苏”的品牌形象，全面、客观、公正、持续了解和掌握全系统各单位的服务质量和服务水平，以推动全省服务质量的改进，服务水平的提高，特制定本评价体系。 一、服务质量评价体系的构成 服务质量评价体系主要包括四个方面内容： 1、客户关系管理水平：各单位客户关系管理水平是服务质量评价的重要内容，其外在的表现之一反映在客户的投诉之中。包括客户向省局（公司）“客户投诉中心”反映的投诉、建议、咨询及投诉回访满意度等情况； 2、客户满意度调查情况：包括省局（公司）“客户投诉中心”定期随机通过电话向零售客户进行满意度调查情况，适时委托第三方进行的客户满意度调查结果； 3、工业客户方面：包括工业客户向省局（公司）“客户
＋工业客户方面得分×0.2＋客户满意度调查得分×0.4 三、服务质量评价工作的实施 1、定期评价：“客户投诉中心”每两个月随机抽取零售客户总数2%的客户样本，通过电话向零售客户进行满意度调查。结合“客户投诉中心”和“局长信箱”等渠道获取的零售（工业）客户投诉、建议、咨询等情况进行综合评价。 2、通报信息：“客户投诉中心”定期在客户投诉通报中进行信息反馈，包括各单位综合评价结果及各项目得分情况，以激励先进，鞭策后进，促进全系统服务质量的全面提升。 3、系统改进：各单位要对公布的评价结果进行连续、系统分析，找出客户服务方面存在的问题和薄弱环节，不断研究并持续改进公司业务流程、经营行为、服务方式，以不断提高服务质量和服务水平，提高客户满意度。
服务质量评价模型
作为21世纪美国国家创新战略之一，服务科学的概念于2004年美国竞争力委员会的国家创新计划（NII）中提出，后逐步上升为一个学科—服务科学与工程[1]。它的研究目的是结合并利用决策科学、计算机科学、法学等诸多学科理论解决服务中存在的问题，提高服务效率，进行服务管理。 服务质量的评价与管理是服务科学研究的重点。目前的服务质量评价方法与模型有10多种，著名的有IPA、SERVQUAL、SERVPERF、EPI等。我国对于服务管理问题的研究还处于初级阶段，服务质量的研究大体停留在宏观层次上的理论分析，实证研究不足，旅游服务质量方面的研究则更少。本文研究重点就是利用服务科学理论方法，建立评价模型，分析评价旅游服务质量，具有很高的应用价值。 3 构建旅游服务质量评价模型 3.1 评价标准的确定 SERVQUAL和SERVPERF两种方法无疑是目前服务管理界影响最大的感知服务质量评价方法。SERVQUAL[2]感知服务质量评价方法根据服务质量5个维度设计了22个问题的调查表，首先度量顾客对服务的期望，然后度量顾客对服务的感知，两者之间差异作为判断服务质量水平的依据，SERVQUAL法应用广泛，可以对不同行业进行质量评价，且具有一定的可靠性和有效性，但无法有效证明服务质量是由服务期望与服务绩效差异之间差距来衡量的是其一大缺陷。992年，Cronin和Taylor[3]推出了SERVPERF评价法。SERVPERF 法继承了5个维度22个属性的SERVQUAL量表，但是减少了50%的调查项目，后经实证研究证明SERVPERF法在信度、效度、预测能力等方面均优于SERVQUAL。 3.2 旅游服务质量量表的界定 本研究的调查问卷在广泛听取专家学者、旅游从业人员、游客等意见的基础上，借鉴了《旅游区（点）质量等级的划分与评定》标准。由于景区外在环境受到游客的广泛重视，我们在有形性方面细化了―服务设施‖指标，最后得出包含5个维度，22项指标的旅游服务质量修正SERVQUAL量表。问卷的反映尺度选择李克特量表，即―完全满意‖、―满意‖、―不确定‖、―不满意‖、―非常不满意‖五种，分别记为5，4，3，2，1分。 3.3 层次分析法确定指标权重 层次分析法（Analytic Hierarchy Process，AHP）的原理是将人们的经验判断和专家意见定量化，建立目标层（旅游服务质量）、准则层（有形性、可靠性、响应性、保证性和移情性5个维度）、制约因素层（22个指标）的递阶层次结构，在保持判断标准一致的情况下，利用经验判断矩阵计算得出各因子对目标的权重。 我们建立的评价模型根据修正SERVQUAL量表的调查结果和AHP确定出的各指标权重，利用加权SERVPERF法，即SQ=I×P，最终可以评测出旅游服务质量。 4 对松潘旅游服务质量的评价 本研究选松潘作为旅游服务质量评价模型的实证。松潘属四川省阿坝州，是我国著名的旅游胜地。受汶川大地震及国际金融危机的影响，松潘旅游业发展遇到严重困难，急需查找旅游服务质量中的不足，进行二次创业。 4.1 数据收集与分析 为了准确收集所需数据，本评价模型调查表先由松潘旅游局志愿人员对20名游客进行了预调查，之后请了5名志愿者从2009年3月到6月期间，在松潘黄龙、松潘古城、牟尼沟、川主寺等景区（点）向游客发放问卷220份，回收211份，回收率96%，有效问卷200份 我们根据收集上来的数据，用统计分析软件SPSS测试了服务质量总体及各维度Cronbach α信度系数，结果表明调查问卷具有较高内部一致性。 4.2 评测松潘旅游服务质量
数据质量评测方法与指标体系
中国科学院数据应用环境建设与服务 数据质量评测方法与指标体系 （征求意见稿） 中国科学院数据应用环境建设与服务项目组 2009 年9 月
前言本规范是“中国科学院数据应用环境建设与服务”之标准规范建设成果之一。本规范由中国科学院计算机网络信息中心科学数据中心提出并归口。本规范由中国科学院计算机网络信息中心科学数据中心负责起草。
目录 1 范围.......................................................................................................... 2 规范性引用文件................................................................................................ 3 应用.......................................................................................................... 4 术语.......................................................................................................... 5 数据质量评测制度.............................................................................................. 6 数据质量评测原则.............................................................................................. 6.1 科学性原则 (5) 6.2 客观性原则 (5) 6.3 系统性原则 (5) 6.4 可操作性原则 (6) 6.5 针对性原则 (6) 6.6 引导性原则 (6) 7 数据质量评测一般流程.......................................................................................... 7.1 数据质量需求分析 (7) 7.2 确定评价对象及范围 (7) 7.3 选取数据质量维度及评价指标 (7) 7.4 确定质量测度及其评价方法 (8) 7.5 运用方法进行评价 (8) 7.6 结果分析及评级 (9) 7.7 质量结果及报告 (9) 8 数据质量评价主体的要求........................................................................................ 9 数据质量指标体系............................................................................................... 9.1 数据质量结构 (10) 9.2 主要数据质量指标 (11) 9.2.1 基本层 (12) 9.2.2 准则层 (13) 9.2.3 评价指标选取的基本要求 (16) 9.2.4 评价指标的筛选和权重 (16) 9.2.5 评测指标的冲突处理原则 (17) 10 数据质量评测方法........................................................................................... 10.1 定性方法 (18) 10.1.1 第三方评测法 (19) 10.1.2 用户反馈法 (19) 10.1.3 专家评议法 (20) 10.2 定量方法 (20) 10.2.1 访问量统计 (20) 10.2.2 计算机辅助检查 (21) 10.3 综合方法 (21) 10.3.1 层次分析法 (21) 10.3.2 缺陷扣分法 (26)