高分一号PMS相机多光谱和全色数据预处理
高分一号PMS相机多光谱和全色数据预处理
(2013-09-22 19:12:22)
转载▼
分类：ENVI
标签：
高分一号
gf-1
杂谈
高分一号（GF-1）的P/MS相机可以获取包括8米多光谱和2米的全色图像。其中8米的多光谱包括蓝、绿、红、近红外4个波段。GF-1还配置4台分辨率为16米的多光谱中分辨率宽幅相机，拥有800km幅宽。
和其他国产数据一样，如资源三号、资源一号02C等，在ENVI中完全支持利用提供的RPC文件进行正射校正等处理，处理流程和资源三号、资源一号02C基本一样。
注：本文主要在ENVI5中操作。
1. 图像打开
在ENVI5中，选择file->Open，直接选择.tiff 文件打开。可以看到ENVI自动识别了相应的RPC文件（.rpb），数据的储存顺序是BIP。
在图像显示窗口中，根据RPC文件对图像进行了几何定位。通过透视窗口对比全色和多光谱的几何位置，Y方向有一定的位置偏移，X方向位置偏移较大。
2. 正射校正
ENVI5中
(1) 启动Toolbox/Geometric Correction/Orthorectification/RPC Orthorectification Workflow。
(2) 第一步骤：选择图像文件和dem文件
(3) 第二步骤：正射校正参数设置，包括控制点选择、输出像元大小、重采样方法、输出路径等。
控制点：无
Pixel size：8
Image resample：Cubic Convolution
(4) 单击Finish，执行正射校正。
全色图像的正射校正使用相同的方法。
注：ENVI5中的正射校正工具优点是流程化操作，缺点是没法设置输出的结果的投影参数。使用ENVI Classic中的Map- > Orthorectification -> Generic RPC and RSM完成正射校正。
图1：正射校正参数设置
打开全色和多光谱正射校正结果，两个结果都是在无控制点、利用RPC文件做的正射校正，可以看到几何位置在视觉上没有偏差，叠合的非常好。说明其几何定位精度非常的好。
ENVI5 Classic或者ENVI4.8中
在ENVI中，选择file->Open Image File，直接选择.tiff 文件打开。在波段列表中可以看到ENVI自动识别了相应的RPC文件。
ENVI自动识别了RPC文件，直接选择ENVI中的正射校正菜单进行正射校正。由于缺少控制点信息这里直接使用无控制点正射校正功能。
(1) 在ENVI中，选择Map > Orthorectification > Generic RPC and RSM > Orthorectify using RPC or RSM。在文件选择对话框中选择文件。
(2) 在Orthorectify参数面板中，如下图的参数设置。输出像元大小从经纬度转换过来有一定的误差，可手动更改。
(3) 单击OK执行正射校正。
3. 图像融合
在ENVI5中，启动Toolbox/Image Sharpening/Gram-Schmidt Pan Sharpening，分别选择正射校正好的多光谱和全色图像，如下图设置参数。
图2：Pan Sharpening参数面板
融合结果在色彩上保留了多光谱的特点，纹理上保留全色图像的特点。
影像预处理
遥感影像预处理 预处理是遥感应用的第一步，也是非常重要的一步。目前的技术也非常成熟，大多数的商业化软件都具备这方面的功能。预处理的大致流程在各个行业中有点差异，而且注重点也各有不同。 本小节包括以下内容： ? ? ●数据预处理一般流程介绍 ? ? ●预处理常见名词解释 ? ? ●ENVI中的数据预处理 1、数据预处理一般流程 数据预处理的过程包括几何精校正、配准、图像镶嵌与裁剪、去云及阴影处理和光谱归一化几个环节，具体流程图如图所示。 图1数据预处理一般流程
各个行业应用会有所不同，比如在精细农业方面，在大气校正方面要求会高点，因为它需要反演；在测绘方面，对几何校正的精度要求会很高。 2、数据预处理的各个流程介绍 （一）几何精校正与影像配准 引起影像几何变形一般分为两大类：系统性和非系统性。系统性一般有传感器本身引起的，有规律可循和可预测性，可以用传感器模型来校正；非系统性几何变形是不规律的，它可以是传感器平台本身的高度、姿态等不稳定，也可以是地球曲率及空气折射的变化以及地形的变化等。 在做几何校正前，先要知道几个概念： 地理编码：把图像矫正到一种统一标准的坐标系。 地理参照：借助一组控制点，对一幅图像进行地理坐标的校正。 图像配准：同一区域里一幅图像（基准图像）对另一幅图像校准影像几何精校正，一般步骤如下， （1）GCP（地面控制点）的选取 这是几何校正中最重要的一步。可以从地形图（DRG）为参考进行控制选点，也可以野外GPS测量获得，或者从校正好的影像中获取。选取得控制点有以下特征：
1、GCP在图像上有明显的、清晰的点位标志，如道路交叉点、河流交叉点等； 2、地面控制点上的地物不随时间而变化。 GCP均匀分布在整幅影像内，且要有一定的数量保证，不同纠正模型对控制点个数的需求不相同。卫星提供的辅助数据可建立严密的物理模型，该模型只需9个控制点即可；对于有理多项式模型，一般每景要求不少于30个控制点，困难地区适当增加点位；几何多项式模型将根据地形情况确定，它要求控制点个数多于上述几种模型，通常每景要求在30-50个左右，尤其对于山区应适当增加控制点。 （2）建立几何校正模型 地面点确定之后，要在图像与图像或地图上分别读出各个控制点在图像上的像元坐标（x，y）及其参考图像或地图上的坐标（X，Y），这叫需要选择一个合理的坐标变换函数式（即数据校正模型），然后用公式计算每个地面控制点的均方根误差（RMS） 根据公式计算出每个控制点几何校正的精度，计算出累积的总体均方差误差，也叫残余误差，一般控制在一个像元之内，即RMS<1。 （3）图像重采样
全色卫星影像 多光谱卫星影像 高光谱卫星影像
北京揽宇方圆信息技术有限公司 全色卫星影像多光谱卫星影像高光谱卫星影像 随着光谱分辨率的不断提高，光学遥感的发展过程可分为：全色（Panchromatic）→彩色（Color Photography）→多光谱（Multispectral）→高光谱（hyspectral）。 注： 全色波段（Panchromatic band），因为是单波段，在图上显示是灰度图片。全色遥感影像一般空间分辨率高，但无法显示地物色彩。实际操作中，我们经常将之与波段影象融合处理，得到既有全色影象的高分辨率，又有多波段影象的彩色信息的影象。 全色波段，一般指使用0.5微米到0.75微米左右的单波段，即从绿色往后的可见光波段。全色遥感影象也就是对地物辐射中全色波段的影象摄取，因为是单波段，在图上显示是灰度图片。全色遥感影象一般空间分辨率高，但无法显示地物色彩。 多光谱遥感 多光谱遥感：将地物辐射电磁破分割成若干个较窄的光谱段，以摄影或扫描的方式，在同一时间获得同一目标不同波段信息的遥感技术。 原理：不同地物有不同的光谱特性，同一地物则具有相同的光谱特性。不同地物在不同波段的辐射能量有差别，取得的不同波段图像上有差别。 优点：多光谱遥感不仅可以根据影像的形态和结构的差异判别地物，还可以根据光谱特性的差异判别地物，扩大了遥感的信息量。 航空摄影用的多光谱摄影与陆地卫星所用的多光谱扫描均能得到不同普段的遥感资料，分普段的图像或数据可以通过摄影彩色合成或计算机图像处理，获得比常规方法更为丰富的图像，也为地物影像计算机识别与分类提供了可能。
高光谱 高光谱遥感起源于20世纪70年代初的多光谱遥感，它将成像技术与光谱技术结合在一起，在对目标的空间特征成像的同时，对每个空间像元经过色散形成几十乃至几百个窄波段以进行连续的光谱覆盖，这样形成的遥感数据可以用“图像立方体”来形象的描述。同传统遥感技术相比，其所获取的图像包含丰富的空间、辐射和光谱三重信息。 高光谱遥感技术已经成为当前遥感领域的前沿技术。 高光谱遥感具有不同于传统遥感的新特点： 1）波段多：可以为每个像元提供十几、数百甚至上千个波段； 2）光谱范围窄：波段范围一般小于10nm； 3）波段连续：有些传感器可以在350~2500nm的太阳光谱范围内提供几乎连续的地物光谱； 4）数据量大：随着波段数的增加，数据量成指数增加； 5）信息冗余增加：由于相邻波段高度相关，冗余信息也相对增加。 优点： 1）有利于利用光谱特征分析来研究地物； 2）有利于采用各种光谱匹配模型； 3）有利于地物的精细分类与识别； 异同点 国际遥感界的共识是光谱分辨率在λ/10数量级范围的称为多光谱(Multispectral)，这样的遥感器在可见光和近红外光谱区只有几个波段，如美国LandsatMSS，TM，法国的SPOT等；而光谱分辨率在λ/100的遥感信息称之为高光谱遥感(HyPerspectral)；随着遥感光谱分辨率的进一步提高，在达到λ/1000时，遥感即进入超高光谱(ultraspectral)阶段(陈述彭等，1998)。 高光谱和多光谱实质上的差别就是：高光谱的波段较多，普带较窄。（Hyperion有233~309个波段，MODIS有36个波段） 多光谱相对波段较少。（如ETM+，8个波段，分为红波段，绿波段，蓝波段，可见光，热红外（2个），近红外和全色波段） 高光谱遥感就是多比多光谱遥感的光谱分辨率更高，但光谱分辨率高的同时空间分辨率会降低。
数据中心建设必要性
“数据中心”是人类上世纪在IT组织应用推广模式方面的一大发明，标志着IT应用的规范化和组织化。今天，几乎所有大中型机构（政府部门、企业、科教院校…）都建立了自己的数据中心，全面管理本机构的IT系统。覆盖全球的Internet和无数机构的业务实际上是在大量数据中心支持下运转的。各种数据中心已经成为交通、能源一样的经济基础设施。当前的形势是，人类社会在得益于数据中心的同时、也受到利用传统技术建立起来庞大数据中心资产的种种困扰，在成本、因变速度、安全、能源消耗等方面面临着一系列严峻挑战。人们普遍的共识是：传统的数据中心已经不适应全球化时代对IT技术的许多新要求，必须进行革新，否则就会走向反面，成为阻碍 IT发展的因素。 因此，建设新一代数据中心。这成为人们普遍关心的热点问题。许多人都在问：为什么要革新现有的数据中心、建设新一代数据中心？什么是新一代数据中心？怎样建设新一代数据中心？人们从国内外许多媒体上都可以感受到对这三个问题的普遍关注。这三个问题融合在一起就成为一个关乎IT产业和应用全局的问题：“推动数据中心革命、建设新一代数据中心”。 令人欣慰的是，有关的理论和实践正在逐步成熟，惠普公司最近组织出版的《新一代数据中心建设理论和实践》一书[1]就是一个实例。我们的系列文章也将以此为范本，探讨新一代数据中心的起源、设计思想、建设规划和方法，并介绍多个帮助应对挑战的实施解决方案。 现有数据中心面临的困难和挑战 随着企业全球性竞争的加剧，传统数据中心设计理念的局限性也逐步暴露无遗，使它们面临一系列严峻挑战，在许多方面已经不适应全球化时代对IT技术的新要求，
1.降低成本的挑战 当前低迷的经济和剧烈的竞争要求企业大幅度降低成本，而许多数据中心的运行成本却反而在不断攀升。据专家分析，在今后的五年中，企业在管理和运作IT系统方面的成本将是其直接购买系统成本的三倍；使人们更加难以忍受的是许多服务器未能得到充分的利用。在很多企业的数据中心中，CPU使用率均低于25%；IT资源利用率也仅为20%左右。显然，如何降低人力成本，如何降低IT总体拥有成本，如何提高IT 的投资回报，是摆在企业CEO、CIO们面前的重要课题和当务之急。 2.加快应变速度的挑战 目前企业业务变革的速度正在日益提升，一方面变革产生的各种风险随之增加，因而IT系统以更快的响应速度和更有效的应对措施，来降低这类风险也就变得愈加重要。另一方面，变革速度的加快给企业数据中心带来时间上更大的压力，这也迫使企业IT系统提高响应速度。 3.业务连续性和灾难恢复的挑战 局部的突发性灾难事件，如地震、洪水、飓风、火灾或者恐怖活动等，都可能对企业或机构的业务产生重大影响，导致公司收入减少，利润下降甚至失去客户。而重大灾难事件则很可能导致公司一蹶不振乃至倒闭。根据权威统计，在经历突发性的重大灾害后，有大约43% 的公司倒闭，还有另外51% 的公司也会在两年之内倒闭。
高光谱数据处理基本流程
高光谱数据处理基本流 程 The document was finally revised on 2021
高光谱分辨率遥感 用很窄（10-2l）而连续的光谱通道对地物持续遥感成像的技术。在可见光到短波红外波段其光谱分辨率高达纳米(nm)数量级，通常具有波段多的特点，光谱通道数多达数十甚至数百个以上，而且各光谱通道间往往是连续的，每个像元均可提取一条连续的光谱曲线，因此高光谱遥感又通常被称为成像光谱（Imaging Spectrometry）遥感。 高光谱遥感具有不同于传统遥感的新特点： （1）波段多——可以为每个像元提供几十、数百甚至上千个波段； （2）光谱范围窄——波段范围一般小于10nm； （3）波段连续——有些传感器可以在350~2500nm的太阳光谱范围内提供几乎连续的地物光谱； （4）数据量大——随着波段数的增加，数据量成指数增加； （5）信息冗余增加——由于相邻波段高度相关，冗余信息也相对增加。 优点： （1）有利于利用光谱特征分析来研究地物； （2）有利于采用各种光谱匹配模型； （3）有利于地物的精细分类与识别。 ENVI高光谱数据处理流程： 一、图像预处理 高光谱图像的预处理主要是辐射校正，辐射校正包括传感器定标和大气纠正。辐射校正一般由数据提供商完成。 二、显示图像波谱 打开高光谱数据，显示真彩色图像，绘制波谱曲线，选择需要的光谱波段进行输出。 三、波谱库 1、标准波谱库 软件自带多种标准波谱库，单击波谱名称可以显示波谱信息。 2、自定义波谱库
ENVI提供自定义波谱库功能，允许基于不同的波谱来源创建波谱库，波谱来源包括收集任意点波谱、ASCII文件、由ASD波谱仪获取的波谱文件、感兴趣区均值、波谱破面和曲线等等。 3、波谱库交互浏览 波谱库浏览器提供很多的交互功能，包括设置波谱曲线的显示样式、添加注记、优化显示曲线等 四、端元波谱提取 端元的物理意义是指图像中具有相对固定光谱的特征地物类型，它实际上代表图像中没有发生混合的“纯点”。 端元波谱的确定有两种方式： （1）使用光谱仪在地面或实验室测量到的“参考端元”，一般从标准波谱库选择； （2）在遥感图像上得到的“图像端元”。 端元波谱获取的基本流程： （1）MNF变换 重要作用为：用于判定图像内在的维数；分离数据中的噪声；减少计算量；弥补了主成分分析在高光谱数据处理中的不足。 （2）计算纯净像元指数PPI PPI生成的结果是一副灰度的影像，DN值越大表明像元越纯。 作用及原理：
卫星全色和多光谱模式介绍
QuickBird卫星全色和多光谱模式 时间:2009-08-24 众所周知，遥感是使用各种传感器远距离探测目标所辐射、反射或散射的电磁波，经加工处理变成能够识别和分析的图像和信号，以获取目标性质和状态信息的综合技术。 遥感根据获取目标的手段不同可分为狭义遥感和广义遥感。 狭义遥感以电磁辐射为感测对象，而广义遥感还包括磁力、重力等地球物理的测量和属于地球物理测量范畴的地震波、声波等弹性波。 我们通常所说的遥感概念则专指以电磁辐射为特征的狭义遥感。不同的目标物受到太阳或其他辐射源的电磁辐射时，它们所特有的反射、发射、透射、吸收电磁辐射的性质是不同的。通过获取目标物对电磁辐射的显示特征，可识别目标的属性和状态。所以传感器谱段的设置与目标物的光谱特性有着密切的关系。 目前世界上用于卫星遥感的传感器有两大类：光学遥感和微波遥感。 光学遥感: 光学遥感指利用光学设备探测和记录被测物体辐射、反射和散射的相应谱段电磁波，并分析、研究其特性及变化的技术。 光学遥感覆盖了红外、可见光和紫外三个谱段，常用的有以下三种： 可见光遥感: 其工作波长为0.4～0.76微米，一般采用感光胶片或光电探测器作为感测元件，属于摄影成像遥感。它主要使用可见光远摄镜头照相和可变焦距电视摄像等，感测的是目标及背景反射或自身发出的可见光，记录的信息或拍摄的图像是物体反射光或发光强度的空间分布。可见光遥感是光学遥感中历史最长的一种，是对地观测和军事侦察的主要手段之一。摄影成像的分辨率(G)很高，可以近似地表示为： G=f×R/H 其中f为镜头焦距，R为镜头与底片的综合分辨率，H为高度(或距离)。 红外遥感器: 主要包括红外扫描仪、红外辐射仪等。红外遥感通过探测红外辐射获取目标和背景的辐射温度或热成像。其探测能力取决于目标、背景与周围环境的温度差。红外遥感的最大优点是可获取无光照或薄云下目标和背景的图像。 多谱段遥感： 使用几个不同的谱段同时对一目标或地区进行感测，从而获得与各谱段相对应的各种信息。将不同谱段的遥感信息加以组合，可获取目标物更多的信息。多谱段遥感是在可见光和红外遥感的基础上发展起来的，它能明显地分辨多种目标和背景特性，兼有可见光和红外遥感技术的优点。也为高光谱和超高光谱的发展提供了依据。微波遥感： 微波遥感是利用微波遥感设备，对地物目标和环境的微波辐射、反射或散射能量实施探测的技术，其波长为1～1000毫米． 微波遥感按工作模式的不同可分为两种： 有源微波遥感: 主要由成像雷达、微波散射计和微波高度计组成。在卫星遥感中应用较多的是合成孔径雷达，它是利用平台与目标的相对运动产生的多普勒频移，经二维相关处理或匹配滤波处理而获得高分辨率的图像。 无源微波遥感: 主要指各种微波辐射计，它是通过测量自然界各种物体发出的微弱微波辐射来测量目标的辐射特性和实际温度。
绿色数据中心规划设计说明书
绿色数据中心规划设计 随着近年来网络及信息化建设的不断深入和发展，各种IT设备不断增加，做为IT基础设施的数据中心机房正在承受着越来越大的压力，供电、制冷、承重、消防、网络布线、备份和管理运维等方面问题不断出现，很多原有数据中心机房无法满足需要，新一代的绿色数据中心机房已经成为近年来很多单位信息化建设中的重点任务。 新一代绿色数据中心的建设的过程中，通过虚拟化资源整合、自动化管理以及能源管理等新技术的采用，消除传统服务器资源或存储资源之间的壁垒，将物理资源整合为可统一管理的资源池，通过标准化、模块化，松耦合的模式构建虚拟化云计算数据中心，使得系统得以水平无缝扩展，使用户可以按业务需求优化配置基础设施的资源使用，实现节约资源，优化计算资源使用效率，缓解或解决目前数据中心普遍存在的资源（含机柜资源、机房空间、电力资源、制冷资源，人力资源等）浪费严重的问题。但必须注意到，建设一个或者致力于管理一个绿色数据中心的过程中，只是在局部采用绿色技术，而没有一个绿色的、整体的规划，实现数据中心的整体绿色目标还是不够的，至少是不完整的。我们还需要一个整体的绿色架构规划，并在数据中心建设的不同阶段，设计相应的架构视图，确定数据中心整体的技术目标、技术方向和选项原则等，整体架构需要涵盖从数据中心选址、建筑设计甚至建材选择的过程，数据中心的电源系统设计、制冷系统
设计、布线系统设计、消防系统设计等多个方面，都要纳入整体绿色架构的设计体系。 绿色数据中心关键效率和环境特点的度量标准进行简单描述，在规划、设计数据中心的过程中可以考虑应用这些标准。 1、电源使用效率PUE 电源使用效率应该是目前在数据中心度量标准中使用最为广泛的指标，其含义就是通过关注服务器的用电成本，策略服务器环境的用电效率，追溯下该指标的由来，其实是在2006年，美国绿色网格联盟的成员建立了电源使用效率公式： 电源使用效率（PUE）=机房总用电量/IT设备用电量 解释下： IT设备用电量包括了服务器、网络、存储和外围设备及所有在数据中心用于数据计算和处理的设备； 机房总用电量包括IT设备的用电量加上所有与数据中心有关的主要配电系统、空调、制冷、以及其他所有基础设备的用电量。 PUE的值越低，表明其电源使用效率越高。完美的电源使用效率值是1.0 （这是不可能地） 这里需要注意的是：PUE的值实际上即使在一天内，都是动态变化的，随着服务器的计算负荷，外部环境温湿度升降，都会对PUE的值产生影响。 2、数据中心基础架构效率 DCIE
遥感卫星影像预处理做哪些
北京揽宇方圆信息技术有限公司热线：4006019091 遥感影像数据预处理 影像融合不同传感器的数据具有不同的时间、空间和光谱分辨率以及不同的极 化方式。单一传感器获取的影像信息量有限，往往难以满足应用需要， 通过影像融合可以从不同的遥感影像中获得更多的有用信息，补充单一 传感器的不足。全色图影像一般具有较高空间分辨率，多光谱影像光谱 信息较丰富。为提高多光谱影像的空间分辨率，可以将全色影像融合进 多光谱图像，通过融合既提高多光谱影像空间分辨率，又保留其多光谱 特性。对卫星数据的全色及多光谱波段进行融合。包括选取最佳波段， 从多种分辨率融合方法中选取最佳方法进行全色波段和多光谱波段融 合，使得图像既有高的空间分辨率和纹理特性，又有丰富的光谱信息， 从而达到影像地图信息丰富、视觉效果好、质量高的目的。 影像匀色相邻的遥感图像，由于成像日期、季节、天气、环境等因素可能有差异， 不仅存在几何畸变问题，而且还存在辐射水平差异导致同名地物在相 邻图像上的色彩亮度值不一致。如不进行色调调整就把这种图像镶嵌起 来，即使几何配准的精度很高，重叠区复合得很好，但镶嵌后两边的影 像色调差异明显，接缝线十分突出，既不美观，也影响对地物影像与专 业信息的分析与识别，降低应用效果。要求镶嵌完的数据色调基本无差 异，美观。遥感影像匀色后保证影像整体色彩一致性。 影像镶嵌将不同的图像文件合在一起形成一幅完整的包含感兴趣区域的图像，通 过镶嵌处理，可以获得更大范围的地面图像。参与镶嵌的图像可以是不 同时间同一传感器获取的，也可以是不同时间不同传感器获取的图像， 但同时要求镶嵌的图像之间要有一定的重叠度。 影像去云雾影像数据常常有云雾覆盖，针对有云雾覆盖的影像，可以通过后期技术 处理去除薄云雾，达到影像最佳效果。 影像纠正依据控制点，利用相应软件模块对数据进行几何精校正，这一步骤包括 利用地面控制点（GCPs）找出实际地形，计算配准中控制点的误差，利 用DEM消除地形起伏引起的位移，然后对图像进行重采样等。形成符合 某种地图投影或图形表达要求的新影像。 即插即用无使用门槛，可与各类GIS软件系统无缝衔接 第 1 页
遥感数据预处理
遥感讲座——遥感影像预处理 据预处理是遥感应用的第一步，也是非常重要的一步。目前的技术也非常成熟，大多数的商业化软件都具备这方面的功能。预处理的大致流程在各个行业中有点差异，而且注重点也各有不同。下面是预处理中比较常见的流程。 1、数据预处理一般流程 数据预处理的过程包括几何精校正、配准、图像镶嵌与裁剪、去云及阴影处理和光谱归一化几个环节，具体流程图如图所示。 各个行业应用会有所不同，比如在精细农业方面，在大气校正方面要求会高点，因为它需要反演；在测绘方面，对几何校正的精度要求会很高。 2、数据预处理的各个流程介绍 （一）几何精校正与影像配准 引起影像几何变形一般分为两大类：系统性和非系统性。系统性一般有传感器本身引起的，有规律可循和可预测性，可以用传感器模型来校正；非系统性几何变形是不规律的，它可以是传感器平台本身的高度、姿态等不稳定，也可以是地球曲率及空气折射的变化以及地形的变化等。 在做几何校正前，先要知道几个概念： 地理编码：把图像矫正到一种统一标准的坐标系。 地理参照：借助一组控制点，对一幅图像进行地理坐标的校正。 图像配准：同一区域里一幅图像（基准图像）对另一幅图像校准
影像几何精校正，一般步骤如下， （1）GCP（地面控制点）的选取 这是几何校正中最重要的一步。可以从地形图（DRG）为参考进行控制选点，也可以野外GPS测量获得，或者从校正好的影像中获取。选取得控制点有以下特征： 1、GCP在图像上有明显的、清晰的点位标志，如道路交叉点、河流交叉点等； 2、地面控制点上的地物不随时间而变化。 GCP均匀分布在整幅影像内，且要有一定的数量保证，不同纠正模型对控制点个数的需求不相同。卫星提供的辅助数据可建立严密的物理模型，该模型只需9个控制点即可；对于有理多项式模型，一般每景要求不少于30个控制点，困难地区适当增加点位；几何多项式模型将根据地形情况确定，它要求控制点个数多于上述几种模型，通常每景要求在30-50个左右，尤其对于山区应适当增加控制点。 （2）建立几何校正模型 地面点确定之后，要在图像与图像或地图上分别读出各个控制点在图像上的像元坐标（x，y）及其参考图像或地图上的坐标（X，Y），这叫需要选择一个合理的坐标变换函数式（即数据校正模型），然后用公式计算每个地面控制点的均方根误差（RMS）根据公式计算出每个控制点几何校正的精度，计算出累积的总体均方差误差，也叫残余误差，一般控制在一个像元之内，即RMS<1。 （3）图像重采样 重新定位后的像元在原图像中分布是不均匀的,即输出图像像元点在输入图像中的行列号不是或不全是正数关系。因此需要根据输出图像上的各像元在输入图像中的位置，对原始图像按一定规则重新采样，进行亮度值的插值计算，建立新的图像矩阵。常用的内插方法包括： 1、最邻近法是将最邻近的像元值赋予新像元。该方法的优点是输出图像仍然保持原来的像元值，简单，处理速度快。但这种方法最大可产生半个像元的位置偏移，可能造成输出图像中某些地物的不连贯。 2、双线性内插法是使用邻近4个点的像元值，按照其距内插点的距离赋予不同的权重，进行线性内插。该方法具有平均化的滤波效果，边缘受到平滑作用，而产生一个比较连贯的输出图像，其缺点是破坏了原来的像元值。 3、三次卷积内插法较为复杂，它使用内插点周围的16个像元值，用三次卷积函数进行内插。这种方法对边缘有所增强，并具有均衡化和清晰化的效果，当它仍然破坏了原来的像元值，且计算量大。 一般认为最邻近法有利于保持原始图像中的灰级，但对图像中的几何结构损坏较大。后两种方法虽然对像元值有所近似，但也在很大程度上保留图像原有的几何结构，如道路网、水系、地物边界等。
多光谱和全色图像研究背景及意义
1、 研究背景及意义 遥感影像具有成像区域面积大（一幅图像可以包括的地表的面积可达几十*几十平方公里，甚至上百），在外太空可以不受天气影像，成像快速等特点，在工农业生产、军事侦察打击，地球资源普查等方面有着重要应用。一般遥感卫星上具有一个全色传感器，可以对大范围的光谱进行光谱响应，形成全色图像。全色图像是灰色图像，具有高的空间分辨率，但是因为只有一个光谱带，因此光谱分辨率较低，不能确定地物的类型，对地物类型识别极为不利。为了弥补全色图像的不足，卫星上一般同时搭载一个多光谱传感器（常见的有红、绿、蓝、近红外、远红外光谱带等）。由于物理器件的限制，多光谱传感器具有高的光谱分辨率，但是空间分辨率较低。多光谱和全色图像融合就是结合全色图像具有高的空间分辨率，多光谱图像具有高的光谱分辨率的优点，合成具有全色的空间分辨率和多光谱图像的光谱分辨率的融合图像。 2、 研究现状 早期多光谱和全色图像的融合方法有比率法(brovey 方法)和成分替换法（HIS 方法、PCA 方法等），后来随着多尺度分析工具的出现，出现了多尺度图像融合(高通滤波，小波变换，contourlet 变换，NSCT 等变换的多尺度图像融合方法)，最近有基于变分方程能量函数最优解的图像融合和基于稀疏表示的图像融合以及两类方法的结合(如HIS 和多尺度分析的结合)的融合方法。 比率方法图像融合的一般化模型是： i i P F MS S ↑= 其中Fi 融合图像的第i 带，P 是全色图像，S 是合成图像，MSi 是上采样后的第i 带多光谱图像。其中合成图像S 是关键，早期是通过多光谱带的平均得到合成图像S ，后来通过多光 谱图像的加权平均得到，现在是通过求最小化差异函数2min P S -P P 得到。该方法得到的
大数据采集技术和预处理技术
现如今，很多人都听说过大数据，这是一个新兴的技术，渐渐地改变了我们的生活，正是由 于这个原因，越来越多的人都开始关注大数据。在这篇文章中我们将会为大家介绍两种大数 据技术，分别是大数据采集技术和大数据预处理技术，有兴趣的小伙伴快快学起来吧。 首先我们给大家介绍一下大数据的采集技术，一般来说，数据是指通过RFID射频数据、传 感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化 及非结构化的海量数据，是大数据知识服务模型的根本。重点突破高速数据解析、转换与装 载等大数据整合技术设计质量评估模型，开发数据质量技术。当然，还需要突破分布式高速 高可靠数据爬取或采集、高速数据全映像等大数据收集技术。这就是大数据采集的来源。 通常来说，大数据的采集一般分为两种，第一就是大数据智能感知层，在这一层中，主要包 括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实 现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信 号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、 传输、接入等技术。第二就是基础支撑层。在这一层中提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻克 分布式虚拟存储技术，大数据获取、存储、组织、分析和决策操作的可视化接口技术，大数 据的网络传输与压缩技术，大数据隐私保护技术等。 下面我们给大家介绍一下大数据预处理技术。大数据预处理技术就是完成对已接收数据的辨析、抽取、清洗等操作。其中抽取就是因获取的数据可能具有多种结构和类型，数据抽取过 程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理 的目的。而清洗则是由于对于大数并不全是有价值的，有些数据并不是我们所关心的内容， 而另一些数据则是完全错误的干扰项，因此要对数据通过过滤去除噪声从而提取出有效数据。在这篇文章中我们给大家介绍了关于大数据的采集技术和预处理技术，相信大家看了这篇文 章以后已经知道了大数据的相关知识，希望这篇文章能够更好地帮助大家。
大数据中心建设方案设计a
工业产品环境适应性公共技术服务平台信息化系统建设方案
1. 平台简介 工业产品环境适应性公共技术服务平台是面向工业企业、高校、科研机构等提供产品/材料环境适应性技术服务的平台。平台服务内容主要包括两部分，一是产品环境适应性测试评价服务，一是产品环境适应性大数据服务。测试评价服务是大数据的主要数据来源和基础，大数据服务是测试评价服务的展示、延伸和增值服务。工业产品环境适应性公共技术服务平台服务行业主要包括汽车、光伏、风电、涂料、塑料、橡胶、家电、电力等。 平台的测试评价服务依据ISO 17025相关要求开展。测试评价服务涉及2个自有实验室、8个自有户外试验场和超过20个合作户外试验场。见图1 图1环境适应性测试评价服务实验室概况
平台的大数据服务，基于产品环境适应性测试评价获取的测试数据以及相关信息，利用数据分析技术，针对不同行业提供产品环境适应性大数据服务，包括但不限于： （1）产品环境适应性基础数据提供； （2）产品环境适应性调研分析报告； （3）产品环境适应性分析预测； （4）产品环境适应性技术规范制定； 2. 信息化系统概述 信息化系统由两个子系统构成，即产品环境适应性测试评价服务管理系统和产品环境适应性大数据服务数据库系统。两个系统紧密关联，大数据系统的主要数据来源于测试评价服务产生的测试数据和试验相关信息，大数据服务是测试评价服务的展示、延伸和增值服务。 信息化系统的整体框架详见图2. 3. 产品环境适应性测试评价服务管理系统 3.1建设内容 （1）测试评价业务的流程化和信息化 实现从来样登记、委托单下达、测试评价记录上传、报告审批、印发到样品试毕处理、收费管理等全流程电脑信息化管理；同时实现电子签名、分类统计、检索、自动提醒、生成报表等功能。 （2）实验室/试验场管理信息化
高光谱数据处理基本流程
高光谱分辨率遥感 用很窄（10-2l）而连续的光谱通道对地物持续遥感成像的技术。在可见光到短波红外波段其光谱分辨率高达纳米(nm)数量级，通常具有波段多的特点，光谱通道数多达数十甚至数百个以上，而且各光谱通道间往往是连续的，每个像元均可提取一条连续的光谱曲线，因此高光谱遥感又通常被称为成像光谱（ImagingSpectrometry）遥感。 高光谱遥感具有不同于传统遥感的新特点： （1）波段多——可以为每个像元提供几十、数百甚至上千个波段； （2）光谱范围窄——波段范围一般小于10nm； （3）波段连续——有些传感器可以在350~2500nm的太阳光谱范围内提供几乎连续的地物光谱； （4）数据量大——随着波段数的增加，数据量成指数增加； （5）信息冗余增加——由于相邻波段高度相关，冗余信息也相对增加。 优点： （1）有利于利用光谱特征分析来研究地物； （2）有利于采用各种光谱匹配模型； （3）有利于地物的精细分类与识别。 ENVI高光谱数据处理流程： 一、图像预处理 高光谱图像的预处理主要是辐射校正，辐射校正包括传感器定标和大气纠正。辐射校正一般由数据提供商完成。 二、显示图像波谱 打开高光谱数据，显示真彩色图像，绘制波谱曲线，选择需要的光谱波段进行输出。 三、波谱库 1、标准波谱库 软件自带多种标准波谱库，单击波谱名称可以显示波谱信息。 2、自定义波谱库 ENVI提供自定义波谱库功能，允许基于不同的波谱来源创建波谱库，波谱
来源包括收集任意点波谱、ASCII文件、由ASD波谱仪获取的波谱文件、感兴趣区均值、波谱破面和曲线等等。 3、波谱库交互浏览 波谱库浏览器提供很多的交互功能，包括设置波谱曲线的显示样式、添加注记、优化显示曲线等 四、端元波谱提取 端元的物理意义是指图像中具有相对固定光谱的特征地物类型，它实际上代表图像中没有发生混合的“纯点”。 端元波谱的确定有两种方式： （1）使用光谱仪在地面或实验室测量到的“参考端元”，一般从标准波谱库选择； （2）在遥感图像上得到的“图像端元”。 端元波谱获取的基本流程： （1）MNF变换 重要作用为：用于判定图像内在的维数；分离数据中的噪声；减少计算量；弥补了主成分分析在高光谱数据处理中的不足。 （2）计算纯净像元指数PPI PPI生成的结果是一副灰度的影像，DN值越大表明像元越纯。 作用及原理： 纯净像元指数法对图像中的像素点进行反复迭代，可以在多光谱或者高光谱影像中寻找最“纯”的像元。（通常基于MNF变换结果来进行）
金融大数据中心建设规划
金融大数据中心建设规划
目录 1、数据中心数据现状 (3) 1.1 数据中心核心信息数据情况 (3) 1.2 数据中心与外部系统信息交互情况 (4) 1.3数据中心目前的数据存储情况 (4) 2、数据中心系统现状 (5) 2.1 系统架构 (5) 2.2 功能描述 (5) 2.3面临的问题 (6) 3、项目建设目标 (6) 3.1 业务目标 (6) 3.1.1.建立数据模型分析平台，开展持卡人交易行为分析 (6) 3.1.2.建立基于大数据平台的海量数据统计平台 (7) 3.1.3.能满足对海量历史数据进行快速查询的要求 (7) 3.2 技术目标 (7)
1、数据中心数据现状 1.1 数据中心核心信息数据情况 数据中心对外展示功能主要基于业务数据查询平台，其主要功能包括：关键指标展示、多维分析、专题明细查询、常用数据浏览、静态报表下载以及部分业务参数管理和维护。 数据中心保存的数据主要包含三大类：交易流水类数据、商户档案类数据和汇总统计类数据，均为结构化数据。
1.2 数据中心与外部系统信息交互情况 1.3数据中心目前的数据存储情况 数据中心目前数据量情况为全库18T，其中流水类数据为10T包括综合流水（90亿条记录），新一代增值流水（FJNL）,清分流水。每日增量流水约1200万条记录。 商户信息数据按天保存，商户数约为300万，终端数约为480万。每天数据量约为10G。
2、数据中心系统现状 2.1 系统架构 新一代流水、清分流水、结算流水和BMS商户数据分别以文本和oracle dmp格式通过ftp方式传输到数据中心服务器上，每天定时由批处理服务器通过批量框架（C++）调用批量过程按分支机构并发地将文件或DMP包导入数据库中。并通过调用存储过程完成数据的清洗、关联、数据补齐工作。 批量过程完成元数据加工工作后，按各种业务维度按天、按月汇总交易数交易金额和收益等数据并生成关键指标数据。目前数据中有各种维度的汇总统计表80余张。 完成汇总后，批量框架服务会根据关键指标数据生成cognos cube，并刷新cognos 服务；同时报表生成程序会根据中间汇总表生成预定的报表文件。 终端用户以web访问方式通过查询平台可以查询定制的报表或者通过cognos组
高光谱预处理实验指导书
高光谱遥感图像预处理 实验指导书 指导教师：赵泉华
一、实习目的 通过高光谱遥感图像预处理的学习，使学生在课堂教学及实验课教学的基础上进一步将理论与实践相结合，消化和理解课堂所学理论知识，达到初步掌握利用ENVI等软件预处理高光谱遥感图像，并熟悉高光谱遥感图像预处理流程与方法的目的。 二、实习方式 学生自学指导书为主，指导教师讲授为辅； 利用计算机，结合相应遥感图像及ENVI软件的具体操作进行。 三、练习数据 机载高光谱AVIRIS数据。 四、实习内容与要求 掌握高光谱遥感图像预处理的理论与方法，利用ENVI中FLAASH大气校正工具和快速大气校正工具对高光谱数据进行大气校正及快速大气校正。
实验一、高光谱FLAASH数据大气校正 实验目的：通过实验操作，掌握高光谱遥感图像FLAASH数据的大气校正的基本方法和步骤，深刻理解遥感图像大气校正的意义。 实验内容：ENVI软件中高光谱图像预处理模块下的图像大气校正。 高光谱图像的预处理主要是辐射校正，辐射校正包括传感器定标和大气校正。辐射校正一般由数据提供商完成。太阳辐射通过大气以某种方式入射到物体表面然后再反射回传感器，由于大气气溶胶、地形和邻近地物等影像，使得原始影像包含物体表面，大气，以及太阳的信息等信息的综合。如果我们想要了解某一物体表面的光谱属性，我们必须将它的反射信息从大气和太阳的信息中分离出来，这就需要进行大气校正过程。 操作步骤： 1.打开文件 File→Open→CupriteAVIRISSubset.dat→打开。 2. FLAASH Atmospheric Correction Module Input Parameters设置 在Toolbox 中打开FLAASH 工具Radiometric Correction/Atmospheric Correction Module/FLAASH Atmospheric Correction→双击启动→进入FLAASH Atmospheric Correction Module Input Parameters 面板。 图1-1 FLAASH Atmospheric Correction Module Input Parameters 面板 （1）Input Radiance Image：点击Input Radiance Image→选择CupriteAVIRISSubset.dat 文件→在打开的Radiance Scale Factors 面板中，选择默认Read array of scale factors (1 per band) from ASCII file→OK→在对话框中选择AVIRIS11_gain.txt 文件→打开→在Input ASCII File 对话框中，将Scale Column改为1→OK；
数据中心建设方案
施耐德：数据中心建设方案 数据中心建设方案解决用户难题；数据中心最初被称为计算中心，在科技发展越来越大的现代社会，数据中心建设起着至关重要的地位，施耐德电气针对现下的社会提出了数据中心建设方案。 数据中心是信息化社会的IT基础设施，作为机构信息系统的运行中心、测试中心和灾备中心，承担着机构的核心业务运营、信息资源服务、关键业务计算、数据存储和备份，以及确保业务连续性等重要任务。而数据中心建设方案是一个系统工程方案； 从数据中心的六个基本要素和数据中心全生命周期的角度出发，可以分为以下组成部分： 1.数据中心发展现状及趋势； 2.数据中心可持续发展能力； 3.数据中心规划； 4.数据中心的节能； 5.数据中心建设管理； 6.数据中心专业化运维； 7.数据中心成本分析； 8.数据中心建设模式分析； 9.数据中心与信息系统灾难恢复； 10.企业级数据中心评价体系。 在现下社会中，那些缺乏可持续发展能力的数据中心建设方案已经暴露出了较多的问题，例如供电能力不足、无法实现在线扩容、机房送回风不顺畅产生局
部热点、数据中心能耗巨大等。这些问题直接影响数据中心的可用性和可靠性，大大缩短了数据中心的正常生命周期。为避免这些问题，通过对数据中心建设方案的调查可表现在以下几个方面： 1.初期资源规划考虑不周、缺乏业务可持续性资源计划考虑。 2.数据中心机房功能性差，缺乏全局规划 3.建筑层高过低、结构承载能力不足，严重制约空间不合理。 4.供电设计密度低，系统可靠性差，不能在线扩容。 5.系统设计缺乏经济性考虑，日常运行能耗大、营运成本高。 6.运维管理缺乏长期性、稳定性及适应性的考量，易出现管理混乱。 数据中心建设已经完成了标准体系，为了有效地帮助各单位数据中心建设与管理者掌握最新技术与解决方案，不断提升建设与管理水平，从而有效加强数据中心置运行支撑能力，施耐德对此作出了数据中心建设方案，解决了用户在数据中心建设中遇到的难题、最新需求，提出了数据建设中的价值建议和方案。
红外与近红外光谱常用数据处理算法
一、数据预处理 （1）中心化变换 （2）归一化处理 （3）正规化处理 （4）标准正态变量校正（标准化处理）（Standard Normal Variate,SNV）（5）数字平滑与滤波（Smooth） （6）导数处理（Derivative） （7）多元散射校正（Multiplicative Scatter Correction,MSC） （8）正交信号校正（OSC） 二、特征的提取与压缩 （1）主成分分析（PCA） （2）马氏距离 三、模式识别（定性分类） （1）基于fisher意义下的线性判别分析（LDA） （2）K-最邻近法（KNN） （3）模型分类方法（SIMCA） （4）支持向量机（SVM） （5）自适应boosting方法（Adaboost） 四、回归分析（定量分析） （1）主成分回归（PCR） （2）偏最小二乘法回归（PLS） （3）支持向量机回归（SVR）
一、数据预处理 （1） 中心化变换 中心化变换的目的是在于改变数据相对于坐标轴的位置。一般都是希望数据集的均值与坐标轴的原点重合。若x ik 表示第i 个样本的第k 个测量数据，很明显这个数据处在数据矩阵中的第i 行第k 列。中心化变换就是从数据矩阵中的每一个元素中减去该元素所在元素所在列的均值的运算： u ik k x x x =- ，其中k x 是n 个样本的均值。 (2) 归一化处理 归一化处理的目的是是数据集中各数据向量具有相同的长度，一般为单位长度。其公式为： 'ik x = 归一化处理能有效去除由于测量值大小不同所导致的数据集的方差，但是也可能会丢失重要的方差。 （3）正规化处理 正规化处理是数据点布满数据空间，常用的正规化处理为区间正规化处理。其处理方法是以原始数据集中的各元素减去所在列的最小值，再除以该列的极差。 min() 'max()min() ik ik k k x xk x x x -= - 该方法可以将量纲不同，范围不同的各种变量表达为值均在0~1范围内的数据。但这种方法对界外值很敏感，若存在界外值，则处理后的所有数据近乎相等。 （4） 标准化处理（SNV ）也称标准正态变量校正 该处理能去除由单位不同所引起的不引人注意的权重，但这种方法对界外点不像区间正规化那样的敏感。标准化处理也称方差归一化。它是将原始数据集各个元素减去该元素所在列的元素的均值再除以该列元素的标准差。 ';ik k ik k k x x x S S -==
光谱预处理方法的作用与目的
光谱预处理方法的作用与目的 光谱预处理的方法有很多，应结合实际情况合理选取最好的预处理方法。 1.均值中心化（mean centering）：增加样品光谱之间的差异，从而提高模型的 稳健性和预测能力。 2.标准化（autoscaling）：该方法给光谱中所有变量相同的权重，在对低浓度 成分建立模型时特别适用。 3.归一化（normalization）：常用于微小光程差异引起的光谱变化。 4.平滑去噪算法（smoothing）：是消除噪声最常用的一种方法。其效果与选择 的串口数有关，窗口数太大，容易失真；窗口数过小，效果不佳。 5.导数（derivative）：可有效的消除基线和其他背景的干扰，分别重叠峰，提 高分辨率和灵敏度。 6.标准正太变换（SNV）：主要用来消除固体颗粒大小、表面散射以及光程变 化对漫反射光谱的影响。去趋势算法常用在SNV处理后的光谱，用来消除南反射光谱的基线漂移。 7.多元散射校正（msc）：作用于SNV 差不多，主要是消除颗粒分布不均匀及 颗粒大小产生的散射影响，在固体漫反射和浆状物透射和反射光谱中运用比较多。 8.傅里叶变换（FT）：能够实现时域和频域之间的转换。仪器的噪声相对于信 息信号而言，其振幅更小，频率更高，故舍去高频率的部分信号可以消除大部分光谱噪声，使信号更加平滑，利用低频信号，通过傅里叶反变换，对原始光谱数据重构，达到去除噪声的目的。 9.小波变换（WT）：将信号转变成一系列的小波函数的叠加，这些小波函数都 是由一个母小波函数经过平移和尺度伸缩得到，小波变换在时域和频域同时具有良好的局部化性质，他可以对高频成分采用逐步精细化的时域或空间域取代步长，从而达到聚焦到对象的任意细节。
最常见的近红外光谱的预处理技术的综述
最常见的近红外光谱的预处理技术的综述 smund Rinnan，Frans van den Berg，S?ren Balling Engelsen 摘要：预处理在近红外(NIR)光谱数据处理化学计量学建模中已经成为不可分割的一部分。预处理的目的是消除光谱中物理现象在为了提高后续多元回归、分类模型或探索性分析。最广泛使用的预处理技术可以分为两类：散射校正方法和光谱间隔方法。综述和比较了算法的基础理论和当前的预处理方法以及定性和定量的后果的应用程序。其目的是提供更好的NIR 最终模型的建立，在此我们通过对光谱的预处理基本知识进行梳理。 关键词：乘法散射校正；近红外光谱法；标准化；诺里斯威廉姆斯推导；预处理；Savitzky-Golay 平滑；散射校正；光谱导数;标准正态变量；综述 1.引言 目前为止，没有能够优化数据来进行代替，但是经过适当的数据收集和处理将会起到优化效果，对光谱数据进行预处理是最重要的一步(例如最优化之前叠层建模)，常用的方法有主成分分析(PCA)和偏最小二乘法(PLS)。在大量的文献中，多变量光谱应用食品、饲料和医药分析，比较不同的预处理的结果研究模型的预测结果是不可分割的组成部分。近红外反射/透射率(NIR / NIT)光谱的光谱技术，到目前为止最多被使用的和最大的多样性在预处理技术，主要是由于入非线性光散射的光谱可以引起显著影响。由于类似规模的波长的电磁辐射和粒子大小的近红外光谱在生物样品，近红外光谱技术是一种不被广泛使用是由于存在散射效应(包括基线转变和非线性)，这将会影响样品光谱的结果的记录。然而，通过应用合适的预处理，可以很大程度上消除这些影响。 在应用研究中，比较了几乎完全不同的定标模型(定量描述符和相应关系)。几乎没有出现评估的差异和相似性的报道。替代技术即修正的含义(例如，谱描述符数据)在研究中很少被讨论。本文旨在讨论建立了预处理方法对近红外光谱和模型之间的关系，更具体地说，这些技术都是对应独立的响应变量，所以我们只讨论方法，不需要一个响应值。我们同时关注预处理工艺理论方面的和实际效果，这种方法适用于近红外光谱/ NIT光谱。 对固体样品，干扰系统的差异主要是因为光散射的不同和有效路径长度的不同。这些不受欢迎的变化常常构成了样本集的总变异的主要部分，可以观察到得转变基线(乘法效应)和其他现象称为非线性。一般来说，近红外光谱反射率测量的一个示例将测量普及性的反映和镜面反射辐射(镜面反射)。镜面反射通常由仪表设计和几何的采样最小化，因为它们不含任何化学信息。这个diffusively反射的光，这反映在广泛的方向，是信息的主要来源在近红外光谱。然而，diffusively反射光将包含信息的化学成分不仅示例(吸收)而且结构(散射)。主要的形式的光散射(不包括能量转移与样品)瑞利和洛伦兹米氏。两者都是过程中电磁辐射是分散的(例如，通过小粒子，泡沫，表面粗糙度，水滴，晶体缺陷，microorganelles、细胞、纤维和密度波动)。 当粒子尺寸大于波长，因为通常情况下，NIR光谱，是主要的洛仑兹米氏散射。相比之下，瑞利散射，是各向异性，洛伦兹米氏散射依赖的形状散射粒子和不强烈波长依赖性。 对生物样品，散射特性是过于复杂，所以软或自适应补偿，光谱预处理技术，正如我们近红外光谱在本文中进行讨论，要求删除散射从纯粹的、理想的吸收光谱。 显然，预处理不能纠正镜面反射率(直接散射)，自谱不包含任何精细结构。光谱主要由镜面反射率应该总是被移除之前为离群值多元数据分析，因为他们仍将是局外人，甚至在预处理。图1显示了一组13好蔗糖和样品不同粒径加一坏蔗糖的例子展示如何(极端)镜面反射率表现比正常的光谱。 图1还演示了总体布局的大多数数据在本文中。上部的图，一个条形图显示了主成分得分值第一主成分(PC)后的样本集数据意味着定心[1]。下面部分显示预处理效果的数据集(或