基于协同联动机制的营配基础数据核查方法

摘要：营配调贯通工作是建立在营销、配电、调度系统图形和数据一致基础上

的贯通应用。因此三个部门系统间的图形数据与现场实际贯通一致是该项工作的

关键。针对图形数据采录建模工作之后的图数质量治理工作，本文提出了一种基

于协同联动机制的基础数据核查方法，以验证各地区的数据采录准确度、图形建

模合格度。从而保证营配调实现图数层面上的贯通一致，为营配调贯通成果深化

应用打下基础。

关键词：营配调贯通；协同联动机制；图数质量

0引言

近年来，沧州公司紧密围绕国网公司“以信息化为支撑，提升公司精益化管理

水平和供电服务能力”的工作思路，认真落实省公司工作部署，扎实推进营配调贯通工作。坚持“数据是基础，治理是关键”的工作思路，重点布置各项图形数据治理、现场核查工作，加强营配调贯通“站、线、变、箱、表、户”对应一致性，进

而提升营配调数据质量，深化应用水平。

然而，营销SG186系统、配网PMS系统、地理图形GIS系统，三个系统间的

电网数据一直存在着偏差。而且，针对现场采录数据的核实，发现存在着系统数

据与现场实际不一致、系统图形与现场实际不一致等情况。这些问题严重影响了

营配调图数的贯通一致，也阻碍了营配调成果的应用前景[1]。所以图数质量核查

和治理工作成为了重中之重。

本文提出了一种基于“数据核查”、“图形核查”、“现场核查”三种核查方式，最终实现三者贯通一致的“协同联动”综合核查方式，能够有效保证核查图数的完整性、准确性，有效提高核查效率，提升核查效果。

1营配调贯通基础数质量核查的内容及要求

1.1图数质量核查的内容

营销侧需核查设备包括：用户变电站、用户变压器、营业网点、充换电站、

计量库房、分布式电源、表箱、电表等设备。

配电侧需核查设备包括：公用变电站、公用变压器、公用线路、物理杆塔、

配电箱、电缆分支箱、低压用户接入点等设备[2]。

1.2图数质量核查的要求

（1）核查PMS系统、186系统、GIS系统，三个系统间：变电站、线路、公

用变压器、专用变压器、低压客户接入点、低压表箱、低压电表等设备数量、台

账属性的一致性。

（2）核查GIS系统图形与现场实际是否一致，主要核查：电气设备地理位置、线路的主干、分支、物理杆塔位置、低压台区的线路走向。

（3）核查PMS系统、186系统与现场实际是否一致。主要核查：变电站-线

路关系、线路-公变关系、线路-专变客户关系、接入点-表箱关系、表箱-电表关系。

（4）核查档案完整性，主要核查：PMS系统各种电气设备台账完整性，186

系统用户设备的客户名称、用电地址、联系方式及地理位置信息准确性。

2“协同联动”图数质量核查方法

由于营配调图数核查工作涉及的数据量较大、核查过程较为繁琐、各专业间

协同要求较高。沧州供电公司将复杂的核查工作细分成：“系统数据核查”、“图形

质量核查”和“现场采录核查”三项重点工作，根据这三项重点工作核查结果必须贯

通一致的原则，形成了一种“协同联动”的图数质量核查方法。

数据挖掘领域的十大经典算法原理及应用

数据挖掘领域的十大经典算法原理及应用国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART. 不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。 1.C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法.C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1)用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 2) 在树构造过程中进行剪枝； 3) 能够完成对连续属性的离散化处理； 4) 能够对不完整数据进行处理。

C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。 2. The k-means algorithm即K-Means算法 k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k < n。它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。 3. Support vector machines 支持向量机，英文为Support Vector Machine，简称SV 机（论文中一般简称SVM）。它是一种監督式學習的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假定平行超平面

营配贯通数据采录工作规范

营配贯通数据采录工作规范-标准化文件发布号：（9556-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII

营配贯通数据采录工作规范二〇一四年三月

目录一、基础技术要求 (1) (一)坐标系统要求 (1) (二)空间精度要求 (2) (三)数据单位与格式要求 (3) 二、数据采录分界点 (4) (一)高压数据 (4) (二)低压数据 (5) 三、存量数据梳理 (6) (一)存量数据治理范围 (6) (二)存量数据治理内容 (7) ?高压部分 (7) ?低压部分 (9) (三)存量数据治理模版导出 (10) (四)线路拓扑关系核实 (10) 四、缺失数据采录 (11) (一)缺失数据采集范围 (11) (二)数据现场采集内容 (11) ?低压配网设备采录 (11) ?高压用户 (13) ?营销资源 (15) (三)数据整理要求 (17) 五、差异化修改 (20) (一)线路确认 (20) (二)属性字段修改及补充 (21) 六、数据更新工作规范 (21) (一)公用设备数据更新 (21) (二)高压用户设备数据更新 (22) (三)低压用户设备数据更新 (23)

营配贯通数据采录工作规范一、基础技术要求 (一)坐标系统要求坐标系各类空间数据成果采用2000国家大地坐标系，详细参数如下： 1. 地心坐标系：ITRF97参考框架，2000.0历元，2000国家大地坐标系（China Geodetic Coordinate System 2000） 2. 2000国家大地坐标系采用的主要地球椭球参数数值如下：长半轴 a＝6378137m 扁率 f=1/298.257222101 地心引力常数 GM＝3.986004418×1014m3S-2 自转角速度ω＝7.292l15×10-5rad /s 3. 其它参数见下表：短半径b(m) 6356752.31414 极曲率半径c (m) 6399593.62586 第一偏心率e 0.0818191910428 第一偏心率平方e2 0.00669438002290 第二偏心率0.0820944381519 第二偏心率平方 2 0.00673949677548 1/4子午圈的长度Q(m) 10001965.7293 椭球平均半径R1(m) 6371008.77138 纬度45度的正常重力值γ45°（伽）9.8061977695

学习18大经典数据挖掘算法

学习18大经典数据挖掘算法本文所有涉及到的数据挖掘代码的都放在了github上了。地址链接: https://https://www.360docs.net/doc/cc3078280.html,/linyiqun/DataMiningAlgorithm 大概花了将近2个月的时间，自己把18大数据挖掘的经典算法进行了学习并且进行了代码实现，涉及到了决策分类，聚类，链接挖掘，关联挖掘，模式挖掘等等方面。也算是对数据挖掘领域的小小入门了吧。下面就做个小小的总结，后面都是我自己相应算法的博文链接，希望能够帮助大家学习。 1.C4.5算法。C4.5算法与ID3算法一样，都是数学分类算法，C4.5算法是ID3算法的一个改进。ID3算法采用信息增益进行决策判断，而C4.5采用的是增益率。详细介绍链接：https://www.360docs.net/doc/cc3078280.html,/androidlushangderen/article/details/42395865 2.CART算法。CART算法的全称是分类回归树算法，他是一个二元分类，采用的是类似于熵的基尼指数作为分类决策，形成决策树后之后还要进行剪枝，我自己在实现整个算法的时候采用的是代价复杂度算法，详细介绍链接：https://www.360docs.net/doc/cc3078280.html,/androidlushangderen/article/details/42558235 3.KNN(K最近邻)算法。给定一些已经训练好的数据，输入一个新的测试数据点，计算包含于此测试数据点的最近的点的分类情况，哪个分类的类型占多数，则此测试点的分类与此相同，所以在这里,有的时候可以复制不同的分类点不同的权重。近的点的权重大点，远的点自然就小点。详细介绍链接：https://www.360docs.net/doc/cc3078280.html,/androidlushangderen/article/details/42613011 4.Naive Bayes(朴素贝叶斯)算法。朴素贝叶斯算法是贝叶斯算法里面一种比较简单的分类算法，用到了一个比较重要的贝叶斯定理，用一句简单的话概括就是条件概率的相互转换推导。详细介绍链接：https://www.360docs.net/doc/cc3078280.html,/androidlushangderen/article/details/42680161 5.SVM(支持向量机)算法。支持向量机算法是一种对线性和非线性数据进行分类的方法，非线性数据进行分类的时候可以通过核函数转为线性的情况再处理。其中的一个关键的步骤是搜索最大边缘超平面。详细介绍链接：https://www.360docs.net/doc/cc3078280.html,/androidlushangderen/article/details/42780439 6.EM(期望最大化)算法。期望最大化算法，可以拆分为2个算法，1个E-Step期望化步骤,和1个M-Step最大化步骤。他是一种算法框架，在每次计算结果之后，逼近统计模型参数的最大似然或最大后验估计。

营配贯通项目背景相关系统及工作内容介绍完整版

营配贯通项目背景相关系统及工作内容介绍标准化管理处编码[BBX968T-XBB8968-NNJ668-MM9N]

1项目背景为深化“三集五大”体系建设，国网公司决定开展营配贯通工程建设，以营配数据共享支撑故障定位、停电范围定位、实时线损统计、业扩报装等业务，以营配信息集成推进营配业务融合，建立面向客户的跨部门、跨专业的营配协同作业流程和服务机制，全面支撑95598全业务上收，提升供电服务品质。营销客户服务信息的采录是营配贯通的主要工作，是完成95598客户报修定位、配网故障研判指挥、支撑95598全业务集中运营的关键途径。加快推进95598全网全业务集中工作，强化营销、运检、调控专业协同，有效支撑电力故障定位、停电范围定位、实时线损统计等业务，不断提升供电服务品质，公司组织营配贯通相关工作。2相关系统 2.1营销业务应用系统营销业务应用系统是根据国家电网公司SG186工程“四统一”原则组织建设，全面覆盖27个省市公司，支撑省、地市、区县、供电站所四级供电单位，满足客户服务、业务处理、管理监控等各项管理功能的营销各业务应用。系统以用电客户为核心，侧重于客户服务、电能计量、电费管理等营销业务的专业化管理。通过建立全面的业扩报装、95598业务处理等相关业务管理流程，为客户更好地提供各类服务，提高了客户满意度。营销业务应用系统的主要功能包括：客户服务与客户关系管理、电能计量及信息采集、电费管理、市场与需求侧管理、综合管理等

2.2生产管理信息系统生产管理信息系统（以下简称PMS1.0）是根据国家电网公司SG186工程“四统一”原则组织建设，由多家厂商按照统一典设开发，并分别在各省（市）公司实施，已经全面覆盖了27个省市公司，支持国网公司总部、省公司、地市、区县公司生产管理业务的企业级信息系统。系统以设备管理为核心，侧重于电网资源及输、变、配等生产业务过程的专业管理。通过建立全面的设备运行、检修维护体系和相关业务管理流程，实现设备及生产运行的全过程管理。生产管理系统的主要功能包括：标准规范管理、电网资源管理、电网运行管理、电网检修管理、技改大修管理、专项管理等，但是不涵盖低压线路和低压配网设备的管理。 2.3设备（资产）运维精益管理系统设备（资产）运维精益管理系统（以下简称PMS2.0）是面向总部、省（市）公司及各级运维检修单位的统一业务系统，它以资产全寿命管理为主线，以状态检修为核心，优化关键业务流程，深化与ERP、调度管理系统、营销业务应用系统的集成，建立统一、高效、集约的运维检修管理信息化平台，实现对操作层、管理层、决策层业务能力的全覆盖，支撑运维一体化和检修专业化。主要功能包含：标准管理、电网资源管理、实物资产管理、运维检修管理、水电运维检修管理、配网运维指挥管理、配网故障抢修、技改大修管理、综合生产计划、备品备件管理、工器具及仪器仪表管理、生产服务用车、运检绩效管理、状态监测、状态检修管理、技术监督以及线损、无功电压、防汛等专项管理。 2.4电网地理空间信息服务平台

典型关联分析

1.预备知识 1.1.数理统计相关概念 12{,,...,}n X x x x = 12{,,...,}n Y y y y = 11()n k k E X x n ==∑ 2 11()(())n k k D X x E X n ==-∑ 11(,){[(X)][()]}[()][()]n k k k Cov X Y E X E Y E Y x E X y E Y n ==--=-?-∑ ()(,) D X Cov X X = （协方差解释：如果有X ，Y 两个变量，每个时刻的“X 值与其均值之差”乘以“Y 值与其均值之差”得到一个乘积，再对这每时刻的乘积求和并求出均值）（可能成立的：如果一个矩阵的期望是0，则另一矩阵与该矩阵相乘得到的矩阵期望也为0） 1.2.数据标准化（z-score 标准化）最常见的标准化方法就是Z 标准化,也叫标准差标准化，这种方法给予原始数据的均值（mean ）和标准差（standard deviation ）进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1，注意，一般来说z-score 不是归一化，而是标准化，归一化只是标准化的一种。其转化函数为： *()/X X μσ=- 其中μ为所有样本数据的均值，σ为所有样本数据的标准差。z-score 标准化方法适用于属性A 的最大值和最小值未知的情况，或有超出取值范围的离群数据的情况。该种标准化方式要求原始数据的分布可以近似为高斯分布，否则效果会变得很糟糕。标准化的公式很简单，步骤如下：求出各变量（指标）的算术平均值（数学期望）x i 和标准差s i ；进行标准化处理：z ij =（x ij －x i ）/s i ，其中：z ij 为标准化后的变量值；x ij 为实际变量值；将逆指标前的正负号对调。标准化后的变量值围绕0上下波动，大于0说明高于平均水平，小于0说明低于平均水平。 1.3.拉格朗日乘数法求条件极值作为一种优化算法，拉格朗日乘子法主要用于解决约束优化问题，它的基本思想就是通过引入拉格朗日乘子来将含有n 个变量和k 个约束条件的约束优化问题转化为含有（n+k ）个变量的无约束优化问题。拉格朗日乘子背后的数学意义是其为约束方程梯度线性组合中每个向量的系数。如何将一个含有n 个变量和k 个约束条件的约束优化问题转化为含有（n+k ）个变量的无约束优化问题？拉格朗日乘数法从数学意义入手，通过引入拉格朗日乘子建立极值条件，对n 个变量分别求偏导对应了n 个方程，然后加上k 个约束条件（对应k 个拉格朗日乘子）一起构成包含了（n+k ）变量的（n+k ）个方程的方程组问题，这样就能根据求方程组的方法对其进行求解。解决的问题模型为约束优化问题： min/max a function f(x,y,z), where x,y,z are not independent and g(x,y,z)=0.

大学数据挖掘期末考试题

:号学题目-一 - -二二三四五六七八九十总成绩复核得分阅卷教师 :名姓班级业专院学院学学科息信与学数题试试考末期期学季春年学一320数据挖掘试卷课程代码：C0204413课程：数据挖掘A卷一、判断题（每题1分，10分） 1. 从点作为个体簇开始，每一步合并两个最接近的簇，这是一种分裂的层次聚类方法。（） 2. 数据挖掘的目标不在于数据采集策略，而在于对已经存在的数据进行模式的发掘。（） 3. 在聚类分析当中，簇内的相似性越大，簇间的差别越大，聚类的效果就越差。（） 4. 当两个点之间的邻近度取它们之间距离的平方时，Ward方法与组平均非常相似。（） 5. DBSCAN是相对抗噪声的，并且能够处理任意形状和大小的簇。（） 6. 属性的性质不必与用来度量他的值的性质相同。（） 7. 全链对噪声点和离群点很敏感。（） 8. 对于非对称的属性，只有非零值才是重要的。（） 9. K均值可以很好的处理不同密度的数据。（） 10. 单链技术擅长处理椭圆形状的簇。（）二、选择题（每题2分，30分） 1. 当不知道数据所带标签时，可以使用哪种技术促使带同类标签的数据与带其他标签的数据相分离？（） A. 分类 B.聚类 C.关联分析 D.主成分分析 2. （）将两个簇的邻近度定义为不同簇的所有点对邻近度的平均值，它是一种凝聚层次聚类技术。 A. MIN（单链） B.MAX（全链） C.组平均 D.Ward方法 3. 数据挖掘的经典案例“啤酒与尿布试验”最主要是应用了（）数据挖掘方法。 A分类B预测C关联规则分析D聚类 4. 关于K均值和DBSCAN的比较，以下说法不正确的是（） A. K均值丢弃被它识别为噪声的对象，而DBSCAN —般聚类所有对象。 B. K均值使用簇的基于原型的概念，DBSCAN使用基于密度的概念。 C. K均值很难处理非球形的簇和不同大小的簇，DBSCAN可以处理不同大小和不同形状的簇 D. K均值可以发现不是明显分离的簇，即便簇有重叠也可以发现，但是DBSCAN会合并有重叠的簇 5. 下列关于 Ward 'Method说法错误的是：（） A. 对噪声点和离群点敏感度比较小 B. 擅长处理球状的簇 C. 对于Ward方法，两个簇的邻近度定义为两个簇合并时导致的平方误差 D. 当两个点之间的邻近度取它们之间距离的平方时，Ward方法与组平均非常相似 6. 下列关于层次聚类存在的问题说法正确的是：（） A. 具有全局优化目标函数 B. Group Average擅长处理球状的簇 C. 可以处理不同大小簇的能力 D. Max对噪声点和离群点很敏感 7. 下列关于凝聚层次聚类的说法中，说法错误的事：（） A. 一旦两个簇合并，该操作就不能撤销 B. 算法的终止条件是仅剩下一个簇 2 C. 空间复杂度为O m D. 具有全局优化目标函数 8规则｛牛奶，尿布｝T｛啤酒｝的支持度和置信度分别为：（）

关联数据

1 关联数据概述关联数据采用RDF(资源描述框架)数据模型，利用URI(统一资源标识符) 命名数据实体，在网络上发布和部署实例数据和类数据，从而可以通过HTTP(超文本传输协议)揭示并获取这些数据，同时强调数据的相互关联、相互联系以及有益于人和计算机所能理解的语境信息。关联数据可以在不同来源的数据之间创建链接。这些数据源可能是两个处于不同地理位置的机构所维护的数据库，也可能是一个机构内的无法在数据层面上进行互操作的不同系统。从严格意义上讲，关联数据是指发布于网络上的数据，该数据具有机器可读性和明确的含义，并链接至其他外部数据集，同样也可被来自外部数据集的数据所链接。图1显示了链接开放数据项目的数据集以及数据集与数据集之间的链接(截至2009年7月)，其中包括著名的DBpedia，Freebase和Thomson Reuters的Open Calais项目等。关联数据网络和当前的超文本网络有所不同，超文本网络的基础单元是由超链接所连接起来的HTML(超文本标记语言)文件，而关联数据并非是简单地连接这些文件，而是使用RDF 形成链接世界上任何事物的网络，也即数据网络，数据网络可被描述为由网上数据描述世界上所有实体的网络。关联数据网络的出现不但对当前的超文本网络进行了扩展，同时也对当前网络上纷繁混乱的信息资源进行甄别、选择和定位。 Tim Berners-Lee认为所有已发布的关联数据都是一个统一的全球数据空间的组成部分，进而概括出在网上发布关联数据的四条原则 (1)使用URI作为任何事物的标识； (2)使用HTTP URI使任何人都可以访问这些标识；

(3)当有人访问某个标识时，使用(RDF，SPARQL)标准提供有用的信息； (4)尽可能提供相关的URI，以使人们可以发现更多的事物。可以看出，这四条原则尽管简洁，却提供了在遵从统一的网络结构和标准的前提下发布和链接数据的基本方法。这也符合Tim Berners-Lee的“最少设计”原则，即把简单的东西简化，让复杂的东西变得可能；开发简单的应用，着眼于未来的复杂性。正是由于这一原则，万维网取得了意想不到的成功，相信也将继续引领关联数据的发展。原则[6]。 (1)使用URI作为任何事物的标识； (2)使用HTTP URI使任何人都可以访问这些标识； (3)当有人访问某个标识时，使用(RDF，SPARQL)标准提供有用的信息； (4)尽可能提供相关的URI，以使人们可以发现更多的事物。可以看出，这四条原则尽管简洁，却提供了在遵从统一的网络结构和标准的前提下发布和链接数据的基本方法。这也符合Tim Berners-Lee的“最少设计”原则，即把简单的东西简化，让复杂的东西变得可能；开发简单的应用，着眼于未来的复杂性。正是由于这一原则，万维网取得了意想不到的成功，相信也将继续引领关联数据的发展。数据的发布是关联数据极为重要的环节，数据提供者根据上述四条原则发布数据，从而将他们的数据加入到全球数据空间并使得数据能够被各种应用程序发现和使用。在网上发布关联数据包括以下三个基本步骤[7]： (1)将URI分配给被数据集描述的实体，并提供逆向引用至RDF的URI； (2)将RDF链接至其他网上数据源，从而使用户能够随RDF链接遍历数据网络； (3)提供所发布数据的元数据，从而使用户能够评价所发布数据的质量并选择合适的访问途径。 2 关联数据的层次模型作为语义网的一种实现方式，关联数据并不是一种全新的技术，它以成熟的URI、HTTP 和RDF技术为基础，开发出多种关联数据的发布、链接和存储工具。关联数据浏览器和关联数据搜索引擎使得用户可以在数据网络中进行浏览和检索。据此，可构建关联数据的层次模型如图2所示。图2 关联数据的层次模型 (1)基础层。关联数据依赖于两项网络基础技术：URI(统一资源标识符)和HTTP(超文本传输

第五章数据关联

第五章数据关联数据关联是多传感器信息融合的关键技术，应用于航迹起始、集中式目标跟踪和分布式目标跟踪。主要有以下几种： a 、观测与观测、或观测与点迹的关联：用于航迹起始或估计目标位置 b 、观测与航迹关联：用于目标状态的更新 c 、航迹与航迹关联：用于航迹融合，局部航迹形成全局航迹数据关联的一航过程：例：有两个实体1A 和2A ，三个测量1Z 、2Z 和3Z ，对测量与实体进行关联 1、建立关联门，确定关联门限：椭圆关联门 2、门限过滤：将测量1Z 过滤掉 3、确定相似性度量方法：几何向量距离 2 ) (j i ij A Z S -= 4、建立关联矩阵 ?? ????=??????27 61 3231 2221S S S S 5、确定关联判定准则：最近邻方法

6、形成关联对 12A Z → 23A Z → 一、关联门与门限：关联门通常有两种，矩形和椭圆形椭圆门： ()G z z S z z d T ≤--=-)?(?1 2 位置：()()221222 12121222 12122 10 01 y x y x T y y x x y y x x y y x x d σσσσ-+-=??????--????? ?????? ???????--= 位置速度：() () ()()2 2 122 2 1222 122 2 122y x y x y y x x y y x x d σ σ σ σ -+ -+ -+ -= G ：关联门限，可由两种方法获取，一是最大似然法，另一种是2χ分布法。 2 χ分布法 2 d 是M 个独立高斯分布随机变量平方和，它服从自由度为M 的2χ概率分布，给出漏检率，查2χ分布表得到门限G 二、相似度量方法距离度量: 欧几里得距离：[] 2 12 ) (Z Y -，向量间的几何距离加权欧氏距离：[]21 )()(Z Y W Z Y T -- City Block: )(Z Y -,一阶明可夫斯基距离，也称Manhatta 距离明可夫斯基距离：P P Z Y 1 ) (-，∞≤≤P 1 Mahalanobis 距离：T Z Y R Z Y )()(1---，加权欧氏，权等于协方差逆矩阵 Bhattacharyya 距离： ?? ? ???????? ???? ? ++-?? ????+--z Y z Y z Y T R R R R Z Y R R Z Y 21 1 21 )(ln 21 )()()(81 用得最广泛的是加权欧氏距离 ij ij T ij ij S d γγ1 2 -= 概率度量：

营配调贯通低压数据采集及空间建模工程实施技术规范

附件一营配调贯通低压数据采集及空间建模工程实施技术规范一、编制说明本技术规范用于国网重庆市电力公司营配调贯通低压数据采集及空间建模工程实施的招标。投标人必须根据本规范书的要求提出营配调贯通低压数据采集及空间建模技术方案。合同签定后，招标人有权因规范、标准等发生变化提出补充要求。二、规范标准数据采集必须满足《电网GIS空间信息服务平台空间数据准备工作建议》，且满足如下的行业标准和要求： 1) 《工程测量规范》(GB 50026—2007)。 2) 《工程测量基本术语标准》(GB/T 50228—96)。 3) 《国家基本比例尺地图图式第2部分：1:5000、1:10000地形图图式》(GB/T 20257.2—2006)。 4) 《基础地理信息要素分类与代码》(GB/T 13923—2006)。 5) 《全球定位系统(GPS)测量规范》(GB/T 18314—2009)。 6) 《测绘产品检查验收规定》(CH 1002—95)。 7) 《测绘产品质量评定规定》(CH 1003—95)。 8) 《电力工程勘测设计图纸管理办法》(DLGJ28—94)。 9) 《架空送电线路大跨越工程勘测技术规程》(DL/T5049—2006) 10) 《电力工程勘测安全技术规程》(DL5334-2006) 11) 《500kV架空送电线路勘测技术规程》（DL/T5122—2000） 12) 《电力工程勘测制图》(DL/T5156.1~5156.5-2002) 13) 《工程建设标准强制性条文（电力工程部分）》(2006年版) 14) 《220kV及以下架空送电线路勘测技术规程》（DL/T 5076-2008） 15) 《架空送电线路航空摄影测量技术规程》（DL/T5138—2001）

数据挖掘经典书籍

数据挖掘入门读物：深入浅出数据分析这书挺简单的，基本的内容都涉及了，说得也比较清楚，最后谈到了R是大加分。难易程度：非常易。啤酒与尿布通过案例来说事情，而且是最经典的例子。难易程度：非常易。数据之美一本介绍性的书籍，每章都解决一个具体的问题，甚至还有代码，对理解数据分析的应用领域和做法非常有帮助。难易程度：易。数学之美这本书非常棒啦，入门读起来很不错！数据分析： SciPy and NumPy 这本书可以归类为数据分析书吧，因为numpy和scipy真的是非常强大啊。Python for Data Analysis 作者是Pandas这个包的作者，看过他在Scipy会议上的演讲，实例非常强！Bad Data Handbook 很好玩的书，作者的角度很不同。数据挖掘适合入门的教程：集体智慧编程学习数据分析、数据挖掘、机器学习人员应该仔细阅读的第一本书。作者通过实际例子介绍了机器学习和数据挖掘中的算法，浅显易懂，还有可执行的Python代码。难易程度：中。 Machine Learning in Action 用人话把复杂难懂的机器学习算法解释清楚了，其中有零星的数学公式，但是是以解释清楚为目的的。而且有Python代码，大赞！目前中科院的王斌老师（微博：王斌_ICTIR）已经翻译这本书了机器学习实战(豆瓣)。这本书本身质量就很高，王老师的翻译质量也很高。难易程度：中。我带的研究生入门必看数目之一！ Building Machine Learning Systems with Python 虽然是英文的，但是由于写得很简单，比较理解，又有Python 代码跟着，辅助理解。数据挖掘导论最近几年数据挖掘教材中比较好的一本书，被美国诸多大学的数据挖掘课作为教材，没有推荐Jiawei Han老师的那本书，因为个人觉得那本书对于初学者来说不太容易读懂。难易程度：中上。Machine Learning for Hackers 也是通过实例讲解机器学习算法，用R实现的，可以一边学习机器学习一边学习R。数据挖掘稍微专业些的： Introduction to Semi-Supervised Learning 半监督学习必读必看的书。 Learning to Rank for Information Retrieval 微软亚院刘铁岩老师关于LTR的著作，啥都不说了，推荐！Learning to Rank for Information Retrieval and Natural Language Processing 李航老师关于LTR的书，也是当时他在微软亚院时候的书，可见微软亚院对LTR的研究之深，贡献之大。推荐系统实践这本书不用说了，研究推荐系统必须要读的书，而且是第一本要读的书。 Graphical Models, Exponential Families, and Variational Inference 这个是Jordan老爷子和他的得意门徒Martin J Wainwright 在Foundation of Machine Learning Research上的创刊号，可以免费下载，比较难懂，但是一旦读通了，graphical model的相关内容就可以踏平了。 Natural Language Processing with Python NLP 经典，其实主要是讲NLTK 这个包，但是啊，NLTK 这个包几乎涵盖了NLP 的很多内容了啊！数据挖掘机器学习教材： The Elements of Statistical Learning 这本书有对应的中文版：统计学习基础(豆瓣)。书中配有R包，非常赞！可以参照着代码学习算法。统计学习方法李航老师的扛鼎之作，强烈推荐。难易程度：难。 Machine Learning 去年出版的新书，作者Kevin Murrphy教授是机器学习领域中年少有为的代表。这书是他的集大成之作，写完之后，就去Google了，产学研结合，没有比这个更好的了。

数据挖掘考试题目——关联分析

一、10个选择 1.以下属于关联分析的是（） A．CPU性能预测B．购物篮分析 C．自动判断鸢尾花类别D．股票趋势建模 2.维克托?迈尔-舍恩伯格在《大数据时代：生活、工作与思维的大变革》一书中，持续强调了一个观点：大数据时代的到来，使我们无法人为地去发现数据中的奥妙，与此同时，我们更应该注重数据中的相关关系，而不是因果关系。其中，数据之间的相关关系可以通过以下哪个算法直接挖掘（） A．K-means B．Bayes Network C．D．Apriori 3.置信度(confidence)是衡量兴趣度度量（）的指标。 A．简洁性B．确定性 C．实用性D．新颖性算法的加速过程依赖于以下哪个策略（） A．抽样B．剪枝 C．缓冲D．并行 5.以下哪个会降低Apriori算法的挖掘效率（） A．支持度阈值增大B．项数减少 C．事务数减少D．减小硬盘读写速率算法使用到以下哪些东东（） A．格结构、有向无环图B．二叉树、哈希树 C．格结构、哈希树D．多叉树、有向无环图 7.非频繁模式（） A．其置信度小于阈值B．令人不感兴趣 C．包含负模式和负相关模式D．对异常数据项敏感 8.对频繁项集、频繁闭项集、极大频繁项集的关系描述正确的是（）[注：分别以1、2、3代表之] A．3可以还原出无损的1 B．2可以还原出无损的1 C．3与2是完全等价的D．2与1是完全等价的 tree在Apriori算法中所起的作用是（） A．存储数据B．查找 C．加速查找D．剪枝 10.以下不属于数据挖掘软件的是（） A．SPSS Modeler B．Weka C．Apache Spark D．Knime 二、10个填空 1.关联分析中表示关联关系的方法主要有：和。 2.关联规则的评价度量主要有：和。 3.关联规则挖掘的算法主要有：和。 4.购物篮分析中，数据是以的形式呈现。 5.一个项集满足最小支持度，我们称之为。 6.一个关联规则同时满足最小支持度和最小置信度，我们称之为。

数据挖掘十大算法

数据挖掘十大算法数据挖掘十大算法—K 近邻算法 k -近邻算法是基于实例的学习方法中最基本的，先介绍基于实例学习的相关概念。一、基于实例的学习。 1、已知一系列的训练样例，很多学习方法为目标函数建立起明确的一般化描述；但与此不同，基于实例的学习方法只是简单地把训练样例存储起来。从这些实例中泛化的工作被推迟到必须分类新的实例时。每当学习器遇到一个新的查询实例，它分析这个新实例与以前存储的实例的关系，并据此把一个目标函数值赋给新实例。 2、基于实例的方法可以为不同的待分类查询实例建立不同的目标函数逼近。事实上，很多技术只建立目标函数的局部逼近，将其应用于与新查询实例邻近的实例，而从不建立在整个实例空间上都表现良好的逼近。当目标函数很复杂，但它可用不太复杂的局部逼近描述时，这样做有显著的优势。 3、基于实例方法的不足：（1）分类新实例的开销可能很大。这是因为几乎所有的计算都发生在分类时，而不是在第一次遇到训练样例时。所以，如何有效地索引训练样例，以减少查询时所需计算是一个重要的实践问题。（2）当从存储器中检索相似的训练样例时，它们一般考虑实例的所有属性。如果目标概念仅依赖于很多属性中的几个时，那么真正最“相似”的实例之间很可能相距甚远。二、k-近邻法基于实例的学习方法中最基本的是k -近邻算法。这个算法假定所有的实例对应于n 维欧氏空间?n 中的点。一个实例的最近邻是根据标准欧氏距离定义的。更精确地讲，把任意的实例x 表示为下面的特征向量：其中a r (x ) 表示实例x 的第r 个属性值。那么两个实例x i 和x j 间的距离定义为d (x i , x j ) ，其中：说明： 1、在最近邻学习中，目标函数值可以为离散值也可以为实值。 2、我们先考虑学习以下形式的离散目标函数。其中V 是有限集合 {v 1，... v s }。下表给出了逼近离散目标函数的k-近邻算法。 3、正如下表中所指出的，这个算法的返回值f' (x q ) 为对f (x q ) 的估计，它就是距离x q 最近的k 个训练样例中最普遍的f 值。 4、如果我们选择k =1，那么“1-近邻算法”

数据挖掘经典方法

在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统计学等。通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘出潜在的模式，可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场，并做出正确的决策。目前，在很多领域尤其是在商业领域如银行、电信、电商等，数据挖掘可以解决很多问题，包括市场营销策略制定、背景分析、企业管理危机等。大数据的挖掘常用的方法有分类、回归分析、聚类、关联规则、神经网络方法、Web 数据挖掘等。这些方法从不同的角度对数据进行挖掘。 1.分类分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。可以应用到涉及到应用分类、趋势预测中，如淘宝商铺将用户在一段时间内的购买情况划分成不同的类，根据情况向用户推荐关联类的商品，从而增加商铺的销售量。它可以应用到客户的分类、客户的属性和特征分析、客户满意度分析、客户的购买趋势预测等，如一个汽车零售商将客户按照对汽车的喜好划分成不同的类，这样营销人员就可以将新型汽车的广告手册直接邮寄到有这种喜好的客户手中，从而大大增加了商业机会。分类的方法有：决策树、贝叶斯、人工神经网络。 1.1决策树决策树是用于分类和预测的主要技术之一，决策树学习是以实例为基础的归纳学习算法，它着眼于从一组无次序、无规则的实例中推理出以决策树表示的分类规则。构造决策树的目的是找出属性和类别间的关系，用它来预测将来未知类别的记录的类别。它采用自顶向下的递归方式，在决策树的内部节点进行属性的比较，并根据不同属性值判断从该节点向下的分支，在决策树的叶节点得到结论。 1.2贝叶斯贝叶斯（Bayes）分类算法是一类利用概率统计知识进行分类的算法，如朴素贝叶斯

数据挖掘算法

数据挖掘的10大经典算法国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART. 不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。 1. C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 2) 在树构造过程中进行剪枝； 3) 能够完成对连续属性的离散化处理； 4) 能够对不完整数据进行处理。 C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。 2. The k-means algorithm 即K-Means算法 k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k < n。它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。 3. Support vector machines 支持向量机，英文为Support Vector Machine，简称SV机（论文中一般简称SVM）。它是一种監督式學習的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。一个极好的指南是C.J.C Burges的《模式识别支持向量机指南》。van der Walt 和 Barnard 将支持向量机和其他分类器进行了比较。 4. The Apriori algorithm

数据库定义表之间关系(带图)

如何定义数据库表之间的关系特别说明数据库的正规化是关系型数据库理论的基础。随着数据库的正规化工作的完成，数据库中的各个数据表中的数据关系也就建立起来了。在设计关系型数据库时，最主要的一部分工作是将数据元素如何分配到各个关系数据表中。一旦完成了对这些数据元素的分类，对于数据的操作将依赖于这些数据表之间的关系，通过这些数据表之间的关系，就可以将这些数据通过某种有意义的方式联系在一起。例如，如果你不知道哪个用户下了订单，那么单独的订单信息是没有任何用处的。但是，你没有必要在同一个数据表中同时存储顾客和订单信息。你可以在两个关系数据表中分别存储顾客信息和订单信息，然后使用两个数据表之间的关系，可以同时查看数据表中每个订单以及其相关的客户信息。如果正规化的数据表是关系型数据库的基础的话，那么这些数据表之间的关系则是建立这些基础的基石。出发点下面的数据将要用在本文的例子中，用他们来说明如何定义数据库表之间的关系。通过Boyce-Codd Normal Form（BCNF）对数据进行正规化后，产生了七个关系表： Books: {Title*, ISBN, Price} Authors: {FirstName*, LastName*} ZIPCodes: {ZIPCode*} Categories: {Category*, Description} Publishers: {Publisher*} States: {State*} Cities: {City*} 现在所需要做的工作就是说明如何在这些表之间建立关系。关系类型在家中，你与其他的成员一起存在着许多关系。例如，你和你的母亲是有关系的，你只有一位母亲，但是你母亲可能会有好几个孩子。你和你的兄弟姐妹是有关系的——你可能有很多兄弟和姐妹，同样，他们也有很多兄弟和姐妹。如果你已经结婚了，你和你的配偶都有一个配偶——这是相互的——但是一次只能有一个。在数据表这一级，数据库关系和上面所描述现象中的联系非常相似。有三种不同类型的关系：一对一：在这种关系中，关系表的每一边都只能存在一个记录。每个数据表中的关键字在对应的关系表中只能存在一个记录或者没有对应的记录。这种关系和一对配偶之间的关系非常相似——要么你已经结婚，你和你的配偶只能有一个配偶，要么你没有结婚没有配偶。大多数的一对一的关系都是某种商业规则约束的结果，而不是按照数据的自然属性来得到的。如果没有这些规则的约束，你通常可以把两个数据表合并进一个数据表，而且不会打破任何规范化的规则。

数据挖掘中十大经典算法

数据挖掘十大经典算法国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART. 不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。 1. C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 2) 在树构造过程中进行剪枝； 3) 能够完成对连续属性的离散化处理； 4) 能够对不完整数据进行处理。 C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。 2. The k-means algorithm 即K-Means算法 k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k < n。它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。 3. Support vector machines 支持向量机，英文为Support Vector Machine，简称SV机（论文中一般简称SVM）。它是一种監督式學習的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。一个极好的指南是C.J.C Burges的《模式识别支持向量机指南》。van der Walt 和Barnard 将支持向量机和其他分类器进行了比较。 4. The Apriori algorithm Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。 5. 最大期望(EM)算法在统计计算中，最大期望（EM，Expectation–Maximization）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variabl）。最大期望经常用在机器学习和计算机视觉的数据集聚（Data Clustering）领域。 6. PageRank PageRank是Google算法的重要内容。2001年9月被授予美国专利，专利人是Google创始人之一拉里?佩奇（Larry Page）。因此，PageRank里的page不是指网页，而是指佩奇，即这个