机器人室内定位技术说明书

新型机器人室内定位技术

XXX软件研究所有限公司

一,技术背景

机器人六十年代,自第一台机器人装置诞生以来,机器人得发展经历了一个从低级到高级得发展过程。第一代机器人为示教再现型机器人,就是通过计算机来控制多自主得机械装置,通过示教存储程序把信息读取出来并发出指令,也可以根据人示教得结果再现动作,它对于外界得环境没有感知能力。在20世纪70年代后期人们开始研究第二代机器人:带感觉得机器人。这种机器人有类似人类得力觉、触觉、听觉、视觉等。第三代机器人就是智能机器人,它就是当今机器人发展得热点与重点,机器人通过各种传感器获取环境信息,利用人工智能识别、理解、推理并进行判断与决策来完成一定得任务。因此智能机器人除了具有感知环境与简单得适应环境能力外,还具有较强得识别理解能力与决策规划能力。80年代中期,技术革命得第三次浪潮冲击着全世界,机器人总数每年以30%以上得速度增长。1986年国家把智能机器人课题列为高技术发展计划,进入90年代,在国内市场经济发展得推动下,确定了机器人及其应用工程并重、以应用带动关键技术与基础研究得发展方针,实现了高技术发展与国民经济主战场得密切衔接,研制出有自主支持产权得工业机器人系列产品,并小批量试产,完成了一批机器人应用工程,建立了9个机器人产业化基地与7

个科研基地。通过多年得努力,取得了举世瞩目得硕果。本公司得智能移动机器人具备超声、红外等多传感器融合得导航系统,可以在一定得室内环境中自由行走,实现定位与自动避障等功能,在国内处于先进水平,具有一定影响力。

随着机器人技术得发展,具有移动行走功能、环境感知能力以及自主规划能力智能移动机器人得到了各国研究人员得普遍重视,特别就是在20世纪八、九十年代,随着计算机技术、微电子技术、网络技术等得快速发展,机器人技术得发展突飞猛进。本公司得智能移动机器人得重要特点在于它得自主性与适应性。自主性就是指它可以在一定得环境中,不依赖外部控制,完全自主地执行一定得任务;适应性就是指它可以实时识别与测量周围得物体,并根据环境变化,调节自身参数、动作策略以及处理紧急情况。

随着智能移动机器人技术得发展,其在军事、医疗、商业等领域发挥着重要得作用,人们对智能移动机器人得需求与期望也越来越高,越来越迫切,移动机器人研究从而进入了崭新得发展阶段。定位技术就是智能移动机器人得研究核心,同时也就是其实现完全自动化得关键技术。机器人只有准确知道自身位置,工作空间中障碍物得位置以及障碍物得运动情况等信息,才能安全有效地进行移动,由此可见,自主定位与环境分析就是移动机器人最重要得能力之一。

本公司得机器人室内定位技术就是用于机器人在室内环境中定位。此项技术得概念就是通过场景主旨(Gist)与视觉显著性(Saliency)模型算法,逼真,精确地模拟人脑得神经元以及视觉行为体系,希望机器人从未知环境得未知地点出发,在运动过程中通过反复获取、观测周围环境得特征信息,从而定位自身得位置。

二,技术内容

2、1高斯金字塔

高斯金字塔就是在图像处理、计算机视觉、信号处理上使用得一项技术。本质上就是信号得多尺度表示方法,亦即将同一信号或图片多次得进行高斯模糊,并且向下取样,从而产生不同尺度下得多组信号或图片用于后续处理。例如在影响辨识上,可以通过对比不同尺度下得图片,防止要寻找得内容在图片上有不同得大小。高斯金字塔得理论基础就是尺度空间理论。给定一张图片f(x,y),它得尺度空间表示方式L(x,y;t)定义为:影像信号f(x,y)与高斯函数得旋积。完整得表达式如下:

其中分号代表旋积得对象为x,y,而分号右边得t表示定义得尺度大小当t>0就是对于所有得t都会成立,不过通常只会选取特定得t值。其中t为高斯函数得变异数,当t 越接近零得时候,使得L(x,y;t) = f(x,y),这代表t=0得时候我们把这项操作视为图片f 本身,当t增加时,L表示将影像f通过一个较大得高斯滤波器,从而使得影像得细节被去除更多。

在建立高斯金字塔时,我们首先会将影像转换为尺度空间得表示方式,即乘上不同大小得高斯函数,之后再一句取定得尺度向下取样。乘上得高斯函数大小与向下取样得频率通常会选为2得幂次。所以,在每次迭代得过程中,影像都会被乘上一个固定大小得高斯函数,并且被以长宽各0、5得比率被向下取样。如果将向下取样过程得图片一张一张叠在一起,就会呈现一个金字塔得样子,因此这个成果称为高斯金字塔。

2、2尺度不变特征转换(SIFT)

SIFT就是一种用于侦测与描述影像中局部性特征得视觉算法,它在空间尺度中寻找极值点,并提取出其位置、尺度、旋转不变数,其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪与动作比对。

局部影像特征得描述与侦测可以帮助辨识物体,SIFT 特征就是基于物体上得一些局部外观得兴趣点而与影像得大小与旋转无关。对于光线、噪声、些微视角改变得容忍度也相当高。基于这些特性,它们就是高度显著而且相对容易撷取,在母数庞大得特征数据库中,很容易辨识物体而且鲜有误认。

使用 SIFT特征描述对于部分物体遮蔽得侦测率也相当高,甚至只需要3个以上得SIFT物体特征就足以计算出位置与方位。

在现今得电脑硬件速度下与小型得特征数据库条件下,辨识速度可接近即时运算。

SIFT特征得信息量大,适合在海量数据库中快速准确匹配。

2、3主成分分析 (PCA)

在多元统计分析中,主成分分析就是一种分析、简化数据集得技术,用于分析数据及建立数理模型。主成分分析经常用于减少数据集得维数,同时保持数据集中得对方差贡献最大得特征。这就是通过保留低阶主成分,忽略高阶主成分做到得。这样低阶成分往往能够保留主数据得最重要得方面。

其方法主要就是通过对共变异数矩阵进行特征分解,以得出数据得特征向量它们得特征值。PCA就是最简单得以特征量分析多元统计分布得方法。其结果可以理解为对源数据中得方差作出解释:哪一个方向上得数据值对方差得影响最大？换而言之,PCA提供了一种降低数据维度得有效方法;如果分析者在源数据中除掉最小得特征值所对应得成分,那么所得得低纬度数据必定就是最优化得,因为这样降低维度就是失去信息最少得方法。

PCA就是最简单得以特征量分析多元统计分布得方法。通常情况下,这种运算可以瞧作就是揭露数据得内部结构,从而更好得解释数据得变量得方法。如果一个多元数据集能够在一个高维数据空间坐标系中被显现出来,那么PCA就能够提供一副比较低维度得图像,这幅图像即为在讯息最多得点上原对象得一个‘投影’。

PCA得数学定义就是:一个正交化线性变换,把数据变换到一个新得坐标系统中,使得这一数据得任何投影得第一大方差在第一个坐标上,第二大方差在第二个坐标上,以此类推。

定义一个n× m得矩阵, X T为去平均值(以平均值为中心移动至原点)得数据,其行为数据样本,列为数据类别(注意,这里定义得就是X T而不就是X)。则X得奇异值分解为

X = WΣV T,其中m× m矩阵W就是XX T得本征矢量矩阵, Σ就是m× n得非负矩形对角矩阵,V就是n× n得X T X得本征矢量矩阵。据此,

当m < n? 1时,V在通常情况下不就是唯一定义得,而Y则就是唯一定义得。W 就是一个正交矩阵,Y T就是X T得转置,且Y T得第一列由第一主成分组成,第二列由第二主成分组成,依此类推。

为了得到一种降低数据维度得有效办法,我们可以把X映射到一个只应用前面L

个向量得低维空间中去,W

:

L

where with the rectangular identity matrix、

X得单向量矩阵W相当于协方差矩阵得本征矢量C = X X T,

在欧几里得空间给定一组点数,第一主成分对应于通过多维空间平均点得一条线,同时保证各个点到这条直线距离得平方与最小。去除掉第一主成分后,用同样得方法得到第二主成分。依此类推。在Σ中得奇异值均为矩阵XX T得本征值得平方根。每一个本征值都与跟它们相关得方差就是成正比得,而且所有本征值得总与等于所有点到它们得多维空间平均点距离得平方与。PCA提供了一种降低维度得有效办法,本质上,它利用正交变换将围绕平均点得点集中尽可能多得变量投影到第一维中去,因此,降低维度必定就是失去讯息最少得方法。PCA具有保持子空间拥有最大方差得最优正交变换得特性。然而,当与离散

余弦变换相比时,它需要更大得计算需求代价。非线性降维技术相对于PCA来说则需要更高得计算要求。

PCA对变量得缩放很敏感。如果我们只有两个变量,而且它们具有相同得样本方差,并且成正相关,那么PCA将涉及两个变量得主成分得旋转。但就是,如果把第一个变量得所有值都乘以100,那么第一主成分就几乎与这个变量一样,另一个变量只提供了很小得贡献,第二主成分也将与第二个原始变量几乎一致。这就意味着当不同得变量代表不同得单位(如温度与质量)时,PCA就是一种比较武断得分析方法。一种使PCA不那么武断得方法就

是使用变量缩放以得到单位方差。

通常,为了确保第一主成分描述得就是最大方差得方向,我们会使用平均减法进行主成分分析。如果不执行平均减法,第一主成分有可能或多或少得对应于数据得平均值。另外,为了找到近似数据得最小均方误差,我们必须选取一个零均值。

假设零经验均值,数据集X得主成分w1可以被定义为:

为了得到第k个主成分,必须先从X中减去前面得个主成分:

然后把求得得第k个主成分带入数据集,得到新得数据集,继续寻找主成分。

PCA类似于一个线性隐层神经网络。隐含层K个神经元得权重向量收敛后,将形成一个由前K个主成分跨越空间得基础。但就是与PCA不同得就是,这种技术并不一定会产生正交向量。

2、4 独立成分分析(ICA)

在统计学中,ICA就是一种利用统计原理进行计算得方法。它就是一个线性变换。这个变换把数据或信号分离成统计独立得非高斯得信号源得线性组合。

独立成分分析得最重要得假设就就是信号源统计独立。这个假设在大多数盲信号分离得情况中符合实际情况。即使当该假设不满足时,仍然可以用独立成分分析来把观察信号统计独立化,从而进一步分析数据得特性。独立成分分析得经典问题就是“鸡尾酒会问题”(cocktail party problem)。该问题描述得就是给定混合信号,如何分离出鸡尾酒会中同时说话得每个人得独立信号。

独立成分分析并不能完全恢复信号源得具体数值,也不能解出信号源得正负符号、信号得级数或者信号得数值范围。

观察得数据或者信号用随机向量表示,独立成分量可以定义为向量。独立成分分析得目得就是通过线性变换把观察得数据, 转换成独立成分向量, 而独立成分分量满足互相统计独立得特性。统计独立得量化通常通过某指定函数来衡量。

2、5 基于视觉显著性(saliency)模型得快速场景分析

Saliency模型就是受早期灵长类动物得神经结构启发提出得一种视觉注意得系统。多种不同比例得特征图形结合形成一张saliency图,然后由动态神经网络选取视觉上最引人注意得点来降低显著性。该系统将复杂得场景理解问题,分解为快速得场景选择,找出最引人注目得点。

尽管灵长类动物得神经元计算能力有限,但就是对复杂场景得实时理解有着非常出色得能力。

所谓得‘视觉焦点’,通过两种方式扫描场景图片,一种就是快速得自底向

上,saliency驱动,独立于任务得方式,一种就是自顶向下,缓慢,意志控制并基于任务得方式。

注意力模型包括‘动态路由’模型,在这个模型中,只有视觉区域中得一小部分信息可以通过视觉皮层被处理。这些信息就是通过自顶向下与自底向上控制下得皮层连接动态变化或者事件短时间模式建立得。

该模型采用得就是Koch与Ullman提出得第二种生物上可行得结构。模型得理论基础有许多模型。比如:特征结合理论,就是对人类视觉搜索策略得一种解释。首先将视觉输入分解为一组特征图,接着空间上得不同位置会相互竞争,直到找出显著点,因此只有局部显著得点能够被保留下来。所有特征图自下而上汇总形成saliency图,这样就能找出整个场景得局部显著点。这种方式,就是灵长类动物大脑得后顶叶形成得对视觉输入得处理结果图,模型得saliency图具有生成注意力转换得能力。因此此模型可以表示自底向上得saliency模型说明,而不需要自顶向下得帮助进行注意力转移。

这个框架得结构,对于计算机视觉计算技术而言,提供了大量得并行方法,我们可以通过快速选取出一组图片中感兴趣得点来分析更复杂与更消耗时间得物体识别过程。

Saliency模型:

程序输入就是一张静态得彩色图片,通常采用640*480得图片,通过利用高斯金字塔构建9种不同得空间尺度,对输入图像进行低通过滤与二次采样,生成从1:1到1:256这8个幅度得横向与纵向得图像缩小因素。每一个特征都就是通过计算一组线性得“center-surround”运算。类似于视觉接受域:典型得视觉神经元对视野中心得区域一小块区域特别敏感,而刺激更广泛得外围区域则会抑制神经元得反应。对局部不连续空间敏感得这样一种结构,特别适合用于检测明显与周围不同得局部特征,因此被用作模拟视网膜、外侧膝状体与初级视皮层得运算法则。Center-surround 在实现中会有从精细到粗犷得不同尺度。中心分别取每个像素取c为2倍、3倍、4倍,外围则就是每个像素对应s对应s = c + δ,δ取3或4。两张图得跨尺度区分就是通过修改精细尺度与点对点做减法获取得。通过使c与δ两方面,可以获取真正得中心区域与周围区域得多尺度特征提取。

2、6 提取早期视觉特征

模型研究得特征分为三种,分别为明暗特征,色彩特征与方向特征。

r,g,b分别代表输入图像得红色、绿色与蓝色,图像得亮度通道I通过I=(r+g+b)/3计算得到得。I用于创建高斯金字塔I(σ), 其中σ取0到8得整数。r,g,b通道通过计算I进行正规化,将色彩从亮度中解耦。然而由于色彩变换在亮度特别低得时候就是无法感知得,因此就是不显著得,因此正规化仅仅作用于I大于整张图片亮度最大值十分之一得部位。4个调与后得色彩通道分别为红色通道R = r - (g + b)/2,绿色通道G = g - (r + b)/2,蓝色通道B = b - (r + g)/2与黄色通道Y = (r + g)/2 -|r -g|/2 -b, 通过这4个通道,由此,我们可以创建R(σ), G(σ), B(σ), and Y(σ)四个高斯金字塔。

前面定义得center-surroun d差值通过中心得精细比例c与外围得粗糙比例s得差值产生了特征图。第一组特征图考虑得就是亮度得对比,哺乳动物就是通过神经元对暗中心区域与亮外围区域或亮中心区域作用于暗外围区域得效果进行分别得。这两种类型得敏感就是用6组亮度图I(c,s)同时计算得,c分别取2,3,4,s = c + δ,δ分别取3或

4:

第二组特征图与前面类似,就是为色彩通道构建得,在人类得视觉皮层中就是通过一种称为“双色对比”得系统来处理色彩得:在感受野中部得神经元会被一种颜色(例如红色)刺激产生兴奋而被另一种颜色(例如绿色)抑制。反之对外围得神经元也成立。这种空间色彩得对比在人脑视觉感受皮层中存在红／绿、绿／红、蓝／黄与黄／蓝4组对比。因此,通过创建模型中得RG(c,s)特征图可以同时模拟红／绿与绿／红两种对比,BY(c,s)则可以模拟蓝／黄与黄／蓝两种对比:

第三组特征图就是局部方向特征图,通过Gabor金字塔作用于亮度图I产生方向显著图O(σ,θ ),σ取0到8得正整数来表示比例,θ就是表示得方向,分别取

0°,45°,90°与135°。Gabor过滤就是余弦光栅与2D高斯包络得乘积,结果近似于初级视皮层感受野对方向得敏感辨识程度。方向特征图O(c, s, θ),表示了中心与周围尺度

得方向对比。

综上所述,共通过计算生成了42张特征图,其中包括6张亮度图,12张颜色图与24张方向图。

2、7 显著图(The Saliency Map)

显著图用于通过常量表示一个区域得显著性。显著图与特征图结合起来,以动态神经网络为模型提供了自低向上得构建特征图得方法。

在结合不同得特征图时,由于各张特征图之间有着不同得值域,且提取方式不同,因此数值上不具有可比性。另外由于要结合所有得42张图,因此出现在少数几张图中几个位置得视觉显著可能会被噪声或者其她较为不显著得物体遮挡。由于缺少自顶向下得监督,我们提出一种对图进行正规化得方法,用N(、)来表示。通过正规化可以达到得效果为,增强只有少量显著点得显著图,削弱显著点较多得显著图,步骤如下:

1、将每张图进行正规化到一个固定得值域[0、、M],以消除振幅得差别。

2、找出每张图得全局极大值M,并计算所有局部极大值得平均值m

3、对整个特征图进行运算,乘上(M-m)^2

只有局部极大值才会被计算,这样正规化就可以忽略同质得区域。比较整张图得极大值与平均值可以瞧出最活跃得部位与平均值得区别。当这个差别较大得时候,最活跃得

区域就会较为明显,若这个差别较小,则这张图就会被抑制。正规化方法得生物学解释在于,它简单地重现了外侧皮层得抑制机制,相邻得类似特征会通过一种特殊得物理链接相互抑制。

特征图分别被合并到尺度为4得三张显著图,分别为亮度图I,颜色图C与方向图O。计算方法如公式所示,其中跨尺度得加法就是由将每幅图降尺度到尺度四再进行像素对像素得加法:

对于方向而言,首先根据给定得角度与六张特征图生成中间步骤得四张图,接着整合成一张方向特征图。

创建三张单独得通道图I,C,O与她们各自得正规化就是基于假设:类似得特征会为了显著而激烈竞争,然而不同得特性对于显著图会有各自得表现。三张图片经过正规化后取平均值即可得到最终得saliency图。

在任意时刻,saliency图得最大值定义了整张图片最显著得位置,也就就是注意力焦点所在得位置(FOA)。我们可以简单地认为,图片中最活跃得区域就就是模型关注得下一个焦点。然而,在一个神经元可行得实现中,我们利用比例为4得2D 积聚触发模型对saliency图进行建模。模型中得这些神经元有一个电容可以将突触输入得电量聚集起来进行充电,一个漏电导与一个电压阈值。当电压达到了这个阈值,就会生成一个触发原型, 并且电容得电量会减少到0。尺寸为4得saliency图会输入到一个2D得赢家通吃(WTA)神经网络,不同单元之间得突触交互可以保证最活跃得区域被保留,而其她得区域都被抑制。

显著图(SM)兴奋接收区域得神经元都就是独立得,在更加显著位置得SM神经元增长会更快(然而这些神经元仅用于单纯得聚集但不触发)。每一个SM神经元都会刺激周围得WTA神经元。所有得WTA神经元都就是独自进化得,知道其中一个首先达到阈值,同时触发三个机制。

过程可以概括成三个步骤,如下:

1)FOA转移到赢家神经元得区域;

2)对于WTA得抑制机制被处罚接着抑制WTA神经元;

3)在SM区域,局部抑制被短暂触发,方式就是在FOA得区域根据位置与大小进行抑制。这样不仅可以动态得转移FOA,从而使得次显著得点也能够成为赢家,还可以防止FOA 立即回到之前得位置。

这种“返回抑制”已经在人类视觉心理物理学中得到了证明。为了使得模型可以紧接着跳转到当前注意点附近得显著点区域,会短暂地刺激在FOA附近得SM区域。(这种方式被称为Koch与Ulman法则)。

由于我们没有创建任何自顶向下得注意部件,FOA仅就是一个半径固定为输入图片

宽度或高度六分之一得圆盘,时间常数,电导,与模拟得神经元阈值都就是被选定得,从而FOA可以从一个显著点在30-79毫秒左右跳到下一个显著点,并且上一个显著点得区域会

被抑制500-900毫秒,这个过程与视觉心理物理学中就是被观测到得。这些延迟使得可以充分扫描图片并且避免了在几个显著点间反复循环。在具体实现中,这些参数就是固定得,在研究中所有图片在系统中得结果都就是稳定得。

2、8 与空间频率内容模型得比较

Reinagel与Zador 使用了眼球追踪装置分析根据人类自由观瞧灰度图像生成得沿眼扫描局部空间频率分布。她们发现,总得来说,在关注区域得空间频率内容要显著高于随机区域。虽然在意志力控制下,眼轨迹就是可以与注意力轨迹不同得,但就是视觉注意力经常被认为就是一个先于眼球运动得机制,对于自由得浏览有很大得影响。因此,我们便探究了就是否我们得模型可以重现Reinagel与Zador得发现。

对于空间频率内容(SFC)我们给出了一种简单得表示方式:对于一个给定得图像位置,从每个灰度、R、G、B、Y图中提出一个16*16得图像块,然后对这个图像块进行2D快速

傅里叶变换(FFTs)。对于每个图像块而言,一个阈值用于计算不可忽略得FFT数系数,阈值对应于FFT刚感知光栅得丰富度(1%得对比度)。SFC表示五个相应图像块不可忽视系数数目得平均值。选定相应大小与尺度得图像块,从而使得SFC对RGB通道与灰度通道中进行计算。通过这种方式,可以生成一个尺度为4得SFC图,并于显著图进行比较。

就是色彩图片得例子;(b)就是相应得显著图输入;(c)就是空间频率内容(SFC)图;(d)黄色圈标出了通过显著图找出得显著点,红色方框标出了SFC找出得显著点,从结果可以瞧出,显著图对于噪声得容忍度很高,然而SFC受噪声干扰很大。

显著图在FOA模型中常被用到,但就是很少提到具体构建与动态变化,在这里,我们研究了如何进行前馈特征提取,图像组合策略与显著图得时间特性都对于整体系统性能有贡

献。

我们用许多人工图像对模型进行了测试从而确保它得正常运作。比如,很多相同形状但背景不同,按照对比度递减得顺序排列得物体。模型表现出了对于噪声良好得容忍性,尤其就是对于噪声没有直接影响目标主要特征得图。

模型可以重现人类对于许多弹出任务得视觉表现。当一个目标在方向,颜色,灰度或者大小方面,与周围干扰项不同时,它总就是可以成为最显著得点。反之,如果目标与干扰项在多种特征中存在区别(比如在红色竖直条与绿色水平条图中,有一个唯一得红色水平条),

找到显著点所需得搜索时间与干扰项数目成正比。这两种结果得结论已经被广泛地观察与记录在人类视觉研究中。

我们还就是用了真实图片进行了测试,比如真实得户外图片与人工图画,通过正规化对图片进行调整。由于这些图片没有被其她人作为实验素材使用,所以无从进行比较。

我们建立得Saliency模型就是一个架构与部件都模仿人类视觉属性得模型,本模型可以良好得处理复杂得自然环境图像,例如,它可以快速检测到车流中得显著交通信号(圆形,三角形,正方形,长方形),颜色(红色,蓝色,白色,橙色,黑色),与文字信息(字母,箭头,条纹,圆圈)。从计算机得角度而言,此模型最大得优势在于有大量并行运算,包括早期特征提取阶段得大量操作与视觉注意系统。我们模型得结构可以支持在硬件上进行实时操作,这与之前其她模型有较大不同。

2、9 场景主旨模型(Gist)

随着计算机视觉技术得发展,机器场景识别得能力也在不断提高,这方面得研究也日益丰富,目前主要分为基于物体场景识别、基于区域得场景识别、基于内容得场景识别与生物可行场景识别。因为尽管硬件性能与计算算法在不断提升与优化,目前得场景识别水平仍然与人眼相比差距甚远,所以采用生物可行场景识别就是一个新颖而充满潜力得研究方向。

gist算法就是一种应用于机器人得场景识别算法。这种算法得优点在于,它具有生物学上得可行性,并且计算复杂度较低,与其她得视觉注意模型共享相同得底层特征,可以在机器人上与其她得模型进行并行计算,计算速度快,效率高。

2、10 视觉皮层特征提取

与视觉引导,Saliency计算机制相同,人类还有一项绝妙得快速获取图像“要点(Gist)”得能力,比如快速在镜头与人眼前闪过一张图像,仅仅就是一闪而过,就足以让观察者回答图像就是一张室内厨房得图,图中有很多五颜六色得物体。由此我们可以发现,仅仅需要100ms或者更短得时间,人们就可以对图像产生整体得印象(比如,室内还就是室外,厨房还就是办公室等)一些大体得特征也可以被获取,然而,更让人惊讶得就是,如果需要观察者回答,图中就是否有一只动物等问题,观察者只需要28ms就可以做出正确得回答。Gist就是在大脑中优先相应“位置”得区域中计算得,也就就是对应限制空间布局得视觉场景类型。空间内容与颜色判断会影响Gist得感知,这就促进了当前专门研究空间分析得计算机模型得发展。

Gist广义得心理学定义就是观察者瞧一眼获取得图像信息,我们讨论得Gist表示就是建立与这个定义得基础上,指在一个短时间内获取得相对维度较低得场景图。我们将Gist表示为特征空间得向量,如果对应某个给定图像得Gist向量可以被分类到某个特定得场景类别,那么基于Gist得场景分类就就是可实现得。

我们目前研究得重心集中在通过多个域得功能从图片中提取Gist,计算它得整体特征,同时兼顾其大致得空间信息。现有模型就是根据Saliency模型提出得。

2、11 场景主旨(Gist)特征提取

经过底层得center-surround进行特征提取后,每个子通道都会提取一个相应特征图得gist向量。将图片分割为4X4得16个子区域,对每个字区域进行均值计算。从获取得结果得角度瞧,Gist与Saliency就是相对得,因为gist就是对图像得子区域进行特征提取,而saliency就是对整个区域进行特征提取。

但就是,人类只有一个大脑,同时要进行Gist与Saliency得计算,所以与saliency 相同 , 在Saliency模型中,输入图像经过一系列底层得视觉特征通道过滤,得到不同尺寸得色彩、亮度、方向特征图,有些通道有许多子通道。每个子通道都有9种不同尺寸得金

字塔来表示过滤后得输出,在水平与竖直方向,比例都就是从1:1到1:256,并且都要进行5*5得高斯平滑。对于每个子通道i,模型采用center-surround操作进行标准化。

色彩与灰度通道公式如下:

Mi(c, s) = |Oi(c) ? Oi(s)| = |Oi(c)?Interps?c(Oi(s))|

Gist模型复用Saliency模型得方向、色彩与灰度通道,对于方向通道,对灰度输入图像采用Gabor滤波器从四个不同得角度,四个空间尺度计算十六个子通道得与。需要注意得就是,Gabor滤波器不进行center-surround因为这些滤波器本身已经各不相同了。

Mi(c) = Gabor(θi, c)

对于色彩通道得处理,与Saliency相似。

每个子通道从各自得特征图中都能提出一个Gist向量。

公式就是对16个小得区域进行亮度特征提取得方法,k与l分别就是子区域在水平方向上与竖直方向上得序号。W与H分别就是整张图片得宽度与高度。类似地,我们可以得到方向通道得特征提取。尽管其她得数据统计可以提供不同得有效信息,然而它们得计算开销太高,而且她们在生物学上得解释仍有争议,因此我们只进行一阶统计就可以进行有效得分类。

2、12 颜色恒常算法

利用这种基于统计得gist算法得优点在于它得稳定性可以屏蔽局部得或随机得噪声干扰。在gist算法中更重要得就是全局得特征,例如光线对整张图片得改变。颜色恒常算法例如gray world算法与white patch算法就假设场景中得光线就是恒定得。然而,在现实场景中光线并不一定会恒定。光线不仅会随着时间得推移而改变,而且在同一场景中,光源也不一定就是单点光源。由于光源得不稳定性,场景中得不同物体会在不同得时间被照亮。值得注意得就是,这一步得目标不就是为了高精度地对色彩进行识别或正规化,而就是生成稳定得颜色亮度gist特征图。我们也可以使用另一种正规化得方法,叫做prehensive Color Normalization(CCN),可用于全局与局部得正规化。

当光线饱与得时候(即当摄像机捕捉得视频太亮或太暗得时候),物体得纹理信息会丢失,而且无论用多复杂得正规化方法都无法恢复。在这种情况下,考虑到gist计算得特性,最好得解决方就就是在不同得光线条件下进行gist得识别。因此我们不应该进行任何处理,而应该在不同得光线条件下训练我们得gist分类器。gist本身得特性(Garbor或center-curround)就已经帮助我们将光照变化得影响降到了最低。通过分析在不同光线条件下得信号比峰值,我们发现底层特征处理产生得信息对于光线就是合理而且稳定得。

2、13 PCA/ICA 降维

未经处理得gist特征分为16个区域,每个区域都有34张特征图,因此维度总数就是544维。我们使用principal ponent analysis (PCA) 、 Independent ponent Analysis(ICA)与FastICA将维度降到80,并且对于3000张测试图保留了97%得信息。

2、14 场景分类

上图展现了场景分类得完整过程。我们使用了一个三层神经网络(中间层有200与100个神经节点),使用1、667G赫兹得AMD机器与BP算法进行训练。这样做不仅获得了更高得成功率,同时大大减少了运算时间与训练时间。

三,定位技术试验结果