研究生开题报告

硕士学位研究生选题报告及文献综述

课题名称：

基于kinect的文本检测跟踪

指导教师：

单位：

学号：

作者：

专业名称：

入学时间：

目录

1.选题的背景和意义 (1)

1.1选题的背景 (1)

1.2选题的意义 (1)

2.国内外研究现状 (4)

3.研究内容 (5)

3.1 基于kinect的文本检测 (5)

3.2 基于kinect的文本跟踪 (6)

4.研究方法 (7)

4.1研究kinect的深度信息检测文本载体 (7)

4.2 研究kinect的RGB-D信息检测文本 (9)

4.3 研究kinect的文本跟踪 (14)

5.课题难点和创新点 (13)

6.研究工作进度安排 (15)

参考文献 (16)

1.选题的背景和意义

1.1选题的背景

计算机视觉是基于计算机和相机对生物视觉系统的一种模拟。它主要是通过设备采集图像或视频，然后对这些图像或视频进行处理，最终能够对目标进行识别、跟踪或测量等等。

在计算机视觉中的视频检测跟踪领域，现今大部分的检测跟踪，使用的传感器所录制的视频信息基本都是不包含深度信息的，一个主要的原因是目前可以录制深度信息的传感器价格高昂，所导致的高成本，不利于大面积推广应用。而近年来一种新的传感设备--Kinect由于自身的各种优势收到了国内外学者的研究与关注。

2010年微软发布Kinect,Kinect是一款结合彩色相机和深度相机于一体的传感器，它集动态捕捉、影音辨识、影像辨识、语音辨识等功能于一体，且不需要任何其他的辅助设备，只需要镜头和麦克风就可以完成动作和声音的捕捉。除此之外，Kinect 作为消费类电子产品，其价格也容易让人接受。kinect传感器与一般传感器的不同在于，它不仅仅是综合彩色相机还结合了深度相机于一体，而相比普通图像，深度图像具有一些明显优点，比如困扰彩色图像的阴影和光照问题对深度图像影响不大，可以说，Kinect的成功也在于其能廉价而有效地捕捉到深度图像。然而2010年微软发布的这第一代kinect传感器也有一些技术上的不足，比如采集到的深度信息噪声过大、视频信息精准度不高、视野不够宽广等等。在两年以后，2014年微软又发布了第二代的kinect传感器Kinect for Windows V2.0。相比之前的一代传感器在深度传感方面有了改进：通过更高的深度保真和大幅改进的噪声基底，第二代传感器打造空前的3D 视觉效果，通过功能改进，能够看到清晰更小的物体以及提高骨骼追踪的稳定性。如下图1.1为第二代Kinect传感器的硬件结构示意图。

图1.1

视频中的文本是图像的最重要信息，文本检测（定位）和提取技术更是图像理解的核心内容。两年一届的国际文档分析大会（ICDAR）在2011年、2013年和2015 年连续三年举办的“鲁棒阅读竞赛”（包括自然场景文本和视频的检测、提取和识别等任务），及其每届递增的参赛队伍说明了人们对于这项技术的关注度越来越高。加之近年来iOS 和Android 等移动平台的兴起，对自然场景下图像和视频中的文本进行“实时”提取和识别，也成为人们关注的焦点。

1.2选题的意义

利用深度图像进行模式识别是近年来兴起的技术，这主要得益于深度图摄像机的成本降低。特别是微软推出 Kinect 设备，极大地激发了研究者们的兴趣。与飞行时

间技术( time of flight，TOF)、结构光、三维激光扫描等深度相机相比，Kinect 深

度相机的优势在于拍摄的深度图分辨率高，成本低。以往的利用可见光图像的单目识别常常遭遇光照变化、阴影、物体遮挡以及环境变化等因素的干扰。利用深度图像进行模式识别可以很好地克服以上可见光图像模式识别常遇到的困难。深度图像中像素的灰度值仅与视场窗口平面到物体表面的距离有关。因此，深度图像首先具有空间颜色无关性，不会遇到光照、阴影等因素的影响。

在视频中的文本检测和追踪方面，kinect的功能将会更好的提高文本检测和追踪的效率。而其价格低廉，体积小等优点又有利于把现有的kinect传感器直接运用到实际的机器人项目当中去时，把kinect传感器作为机器人的视频信息传感器，通过kinect采集到的视频信息，包括深度信息和彩色RGB信息，传回给机器人的处理模块，经过相关算法的处理，再将处理结果传回给机器人，机器人做出相应的动作。把kinect 传感器应用的机器人项目中，为机器人项目的开发提升了很大的空间，kinect传感器高度集成了视频音频的功能，机器人作出决策需要的多个数据，都能通过一个传感器来采集到。

基于kinect的文本检测跟踪的研究。在文本检测方面，提出了一种新的文本检测方法，添加深度视频信息到文本检测方法中，来提高文本检测准确度。在以往常规的文本检测方法中，文本检测的数据大都利用视频图像的RGB信息或灰度信息，来对视频中的文本进行检测，本课题中加入了Kinect传感器采集的深度信息，主要对以下两种文本的检测起到关键作用。一种是直接作用于具有深度信息的文本上面，利用其RGB-D信息来对文本进行检测，另一种是作用于带有深度信息的文本载体上，深度信息主要作用于载体上，载体上的文字仍用常规的RGB文本检测方法。视频跟踪是机器视觉领域的基础问题之一，它是目标识别、行为识别等后续应用的基础，在社会安全、航空航天等重大项目中有着广阔的应用前景。课题中基于kinect的文本检测跟踪，跟踪部分的研究，是在kinect文本检测的基础上进行的的，所以，一个完整的检测跟踪研究，跟踪部分的研究也是必不可少的。

2.国内外研究现状

在视频文本检测中，利用上下帧之间的关系，可以帮助提高检测效果[36]-[39]，文献[22]称这种技术为“ Tracking based Detection”，即基于跟踪技术的检测方法。这类方法大概从2000年之后兴起，也取得了颇为丰硕的成果。

最初的方法比较单一，多是利用时空信息（Temporal-Spatial Information）分析各帧之间元素的关系，从而达到跟踪文本进而提高检测率的功能。一个目标在视频中会出现在连续几帧中，这是时间信息；在连续几帧当中，目标出现的位置是有规律的，这是空间信息。例如，很多研究工作会把连续几帧都发现目标时，认为一个目标轨迹的开始[36]-[40]；而连续几帧都找不到目标时，认为一个目标轨迹的结束[41]。

近几年，随着检测和跟踪技术的发展，视频文本检测的方法也有了进步，出现了多方法融合的跟踪检测技术（Fusion based Methods）[22]。Wang 等人[42]利用连续帧的边缘和轮廓特征的差异，成功消除噪声区域，提高了检测的准确率。Minetto等人[43]以位置、大小、颜色直方图等信息为特征，使用匈牙利算法（Hungarian Algorithm）进行模板匹配，保留得分为正的文本区域。Gomez 等人利用MSERs 检测器提取文本区域，由于MSER的稳定性保证了每帧图像文本区域检测的查全率，然后使用跟踪的方法找回检测丢失的文本区域。Zuo等人[39]将tracking-by-detection、spatial-temporal context learning、linear prediction 等方法综合在一起，提出了一个多跟踪策略融合的检测系统，取得了较好的效果。

关于kinect的相关研究，University of Aizu 的 Tomoya Murata 等人[7]利用Kinect 传感器，通过记录人手运动轨迹从而识别字母和数字。University of Brescia 的 Fabrizio Pedersoli 等[8]使用 Kinect 作为输入设备，提出了一套名为“XKin”的开源框架，可以对一只手的静态动作进行识别并对动态运动轨迹进行判断，从而识别26个英文字母。Kwangwoon University 的 Pyo Junghwan等[9]提出了一套使用Kinect 作为输入设备，通过决策树方式识别韩文笔画的系统。

总的来说国内外主流关于kinect的研究课题，都是利用Kinect传感器的深度信息研究关于动态人体检测跟踪的，本课题的研究刚好可以弥补利用kinect深度信息研究文本检测跟踪方面的空缺。

3.研究内容

3.1 基于kinect的文本检测

基于kinect的文本检测和跟踪课题中，文本检测是整个研究过程的前一部分，文本只有被准确的检测到后，才能继续对文本进行跟踪。在课题中，文本检测的类型主要分为两种。一种是场景中载体上的文本，这里的载体主要指带有深度信息的标牌，文本信息则在标牌载体上。如下图3.1

图3.1

图中楼层索引的标牌即为文本的载体，该标牌由于其凹凸的外形，使其本身带有深度信息，因此，可以利用标牌的深度信息来对标牌上的文本进行一个预处理的圈定，

通过标牌的深度信息，检测到大致的文本位置，然后再利用RGB的文本检测方法进行检测。这种类型文本的检测过程大致为：先利用kinect传感器采集深度信息，处理具有深度信息的载体，把载体标牌检测出来，检测出来以后再利用常规彩色RGB文本信息的检测方法，把标牌上的文本信息检测出来，检测任务结束后再进行下一步的文本跟踪。在这里，之所以检测的目标为标牌，而不是标牌上的文本主要原因是带有深度信息的目标是标牌，标牌上的文本是平面上的，不具有深度信息，没法利用平面文本的深度信息。在这第一种情况下，深度信息起到一个文本载体检测预处理的作用。

第二种情形如下图 3.2。图中的文本是凹凸的，直接带有深度信息，此时深度信息作为原始数据可以直接参与检测文本，把深度信息这一维数据加入到现有的RGB文本检测方法中去，检测出文本，下一步对检测出的文本进行跟踪。相比较传统RGB视频检测方法加入深度信息，预期达到更精准的检测效果。

图3.2

3.2基于kinect的文本跟踪

前近年来，视频跟踪研究与机器学习理论的结合越来越紧密，其发展主要经历了2个阶段：第1阶段，跟踪研究提前设定目标运动状态和场景条件，很多固定外观模型的跟踪算法被提出[1-2]，算法主要围绕精确定位方法和优化匹配策略等问题，在短期跟踪和可控场景情况下取得好的效果。然而，实际中跟踪目标的运动状态往往会随时间的变化呈现很强的不确定性，因此第2阶段跟踪技术的研究重点转向如何设计能够自适应目标和场景变化的外观模型方法．目前，依据模型设计机制的不同跟踪方法可以分为3类：1）产生式外观模型学习跟踪方法，它通过学习目标在视频中的各种运动变化，建立自适应性外观模型实现跟踪[3-11]．2）判别式外观模型学习跟踪方法，它将跟踪问题转换成二分类问题，依据目标和背景的分离边界建立自适应性外观模型实现跟踪[12-19]。3）混合产生－判别式外观模型学习跟踪方法，它结合了产生式模型能够描述广义变化和判别式模型能够描述差异性变化的优点建立自适应性外观模型实现跟踪[20-21]。

在基于kinect的文本检测跟踪中，文本的跟踪不仅仅是视频中文本的跟踪，还涉及到实体目标的跟踪，在检测部分提到的第一种载体上文本的检测，文本检测结果是最终依据RGB信息检测出的文本，此时跟踪的目标即为视频中的文本。在检测部分提到的第二种文本检测，文本本身具有深度信息，这时文本不仅仅平面的是文本，还是一个具有深度信息的实体目标，此时跟踪的目标即为视频中的实体文本。在本课题中，跟踪部分为文本跟踪和目标跟踪融合在一起的跟踪方法。

4.研究方法

4.1研究kinect的深度信息检测文本载体

在利用深度信息预处理检测文本载体这个目标中，主要研究内容可分为两部分。第一部分就是kinect传感器深度信息的原理研究，对kinect传感器的初步学习已经

了解到了其深度信息的采集原理：第1步，标定。首先在目标区域距光源的多个不同位置分别用 CMOS 感光元件采集散斑图案，然后存储这些不同位置的图案作为参考图像。此时标定完成。图4.1中，参考图像的位置分别记为 Z1，Z2，Z3，Z4。第 2 步，取样。当不透明物体放入场景，或者物体在场景中运动时，在物体表面形成新的散斑得到测试图像，此时的散斑图样发生变化，与所有参考图像均不同。在图4.1中，物体 A 和物体 B 表面形成散斑的位置是 ZA， ZB。第 3 步，定位。将测试图像与所有参考图像分别计算相关系数，选取产生相关系数最大的参考图像，即物体在该参考图像所在位置的可能性最大。在图4.1中，场景放入 A 物体所拍摄的 ZA 位置散斑测试图与 Z2 处参考图像相关系数最大，即认为 A 物体在 Z2 距离处。同理， B 物体认为在 Z3 距离处。第 4 步，重建。根据所选取的参考图像与光源间的标定关系，通过几何变换，计算得出物体到光源的距离，构建 3D 图像。并对距离数据归一化，转换成图像灰度值，最后将所生成的深度图像输出给外部处理设备。此时即完成对场景某一时刻的深度图像拍摄，向外部处理系统输出。然后返回执行第 2 步，得到连续不断的深度图像视频流。

图4.1

了解了采集原理以后，就是对深度视频流信息采集代码的学习，学习深度视频流的相关代码，微软官方已经发布深度信息的应用和代码。如下图 4.2。

图4.2

第二部分是利用目标文本载体深度信息，运用算法对其进行检测。Kinect 获取的深度图像有不带ID和带ID两种格式，不带ID的数据是未经处理的原始像素深度数据，带 ID 的数据则是使用Kinect 自身关于人体检测算法，给检测出的像素点加上ID，最多可支持识别6个ID。基于人体特征匹配的方法主要是提取描述人体轮廓信息的特征在图像中进行人体匹配检测。在本课题研究中，可以借用这种思想，在目标载体特征匹配的方法上，提取描述载体轮廓信息的特征在图像中进行载体的匹配检测。Spinello 等人基于统计学习的方法，把基于彩色图像方向梯度直方图( histogram of orientedgradients， HOG) 特征的人体检测算法应用在深度图像上，提出了方向深度直方图( histogram of oriented depths，HOD)的检测算法，在整个传感器的测量范围内都获得了较好的检测结果。同样的，可以把基于彩色图像方向梯度直方图( histogram of orientedgradients， HOG) 特征的目标载体检测算法应用在深度图像上，利用方向深度直方图( histogram of oriented depths，HOD)的检测算法，对文本载体进行检测预处理。载体预处理的结果再使用USTB TexStar，对载体上的文本进行检测。

4.2 研究kinect的RGB-D信息检测文本

文本检测包括候选文本区域检测和候选文本区域验证。候选文本区域检测指将视

频帧分为文本候选区域和非文本区域。候选文本区域验证即采用文本的时域信息排除误检到的非文本区域。文本区域具有丰富的边缘、纹理、角点和颜色特征，并且满足一定的规律。文本区域检测主要是利用文本区域的特征和规律等先验知识定位文本区域。

对kinect采集到的深度视频信息进行分析，对于深度信息文本的检测运用基于边缘检测的方法比较适合。利用深度细信息录制的效果如下图4.1。文本和背景区域通常有较高的对比度，便于阅读，图中“12”的数字就是带有深度信息的凹凸文本，反而下面的“发现火情禁止乘电梯”这些字样在深度信息中没有体现。文本的边缘信息有强度和密度两个特征。当文本位于简单背景下时，文本的密度特征较为明显；当文本位于复杂背景下时，边缘的强度特征较明显。所以可以根据视频帧中的边缘密度和强度特征来检测文本区域。针对图中的两种文本，具有深度信息的可以利用其RGB-D 信息来进行检测，主要的方法为在原始的USTB TexStar方法上加入一维深度信息，来提高混合后的检测器检测效果，这样图中两种文本在改进后的USTB TexStar检测器中，都可以顺利检测出，并提高具有深度信息这一类文本的检测效率。图4.2和图4.3为彩色RGB效果。利用深度信息和RGB信息可以完整的检测出视频中的文本。

图4.1

楼层标识“12”的彩色RGB信息示例图4.2

图4.2

楼层标识“12”的彩色RGB信息示例图4.3

图4.3

4.3 研究kinect的文本跟踪

在视频跟踪领域首先考虑的是如何初始化跟踪。一般来说，初始化是通过手动选择目标或者通过别的系统检测模块来完成，而前景检测经常用到识别目标。

动态背景下的多目标跟踪技术是视频目标跟踪中难度很大的一个课题,但由于现实场景中,动态背景和多目标是很普遍的,因此越来越多的科研工作者投入大量精力来进行这方面的研究。动态多目标跟踪技术涉在诸多领域有着广泛的应用,例如智能视频监控系统、智能交通监控系统、军事武器精确瞄准以及视觉制导和跟踪等都有多目标跟踪的影子。结合本课题的研究内容基于kinect的文本检测跟踪，准备使用一种动态背景跟踪检测多个目标的算法框架。首先将图像转出灰度图像,然后进行图像的灰度均衡化,再通过训练过的梯度直方图特征的分类器来进行分类,找到图像中的候选目标,并将候选目标通过样本库进行目标的匹配。为了增加整个跟踪算法的鲁棒性,还打算加入稀疏光流跟踪的方法,多个特征可以使模版更好的表述目标特性,因此稀疏光流中不用前面用到的特征,而是均匀选取100个点,通过向前与向后光流,剔除误差大的点,最后得到光流跟踪结果。通过与前面匹配的结果融合,得到最终结果。在文本目标追踪方面，打算运用Snoopertrack[44]中文本追踪的方法。把目标追踪和文本追踪的这两种方法融合在一起，找出应用深度信息以后的文本检测结果，跟踪效果最好的一种方法。

5.课题难点和创新点

难点一：怎样把深度信息精度较小，深度信息不够明显的文本更精准的检测出来。

难点二：怎样把深度信息和RGB信息结合起来，形成一个新的四维数据源，利用这一新的四维源数据来提高常规RGB检测算法的效率

难点三：怎样找出一种合适的方法，来跟踪使用深度信息检测出的文本。

创新点：

1、利用kinect传感器价格低廉体积小并可以同时采集彩色深度信息这一优点，对采集到的视频信息进行处理，利用新增的深度视频信息来改进现有的RGB视频信息检测跟踪算法来提高检测的效率和跟踪的效果。

2、kinect的设计初衷是面向游戏玩家的一个体感外设，其主要检测跟踪方法都是基于人体相关的，本课题的研究刚好可以弥补kinect关于文本检测跟踪方面研究的空缺。

6.研究工作进度安排

2016年8月——2016年9月

收集各种资料，学习Kinect基本功能，并且对课题中用得到的功能进行挑选。

2016年10月——2016年12月

深入学习Kinect深度信息采集原理源代码和了解相关检测追踪算法，实现深度信息的初步利用。

2017年1月——2017年5月

实现对Kinect采集到的深度视频信息进行目标文本检测，完成检测功能。

2017年6月——2017年7月

实现对Kinect采集到的深度视频信息进行文本跟踪，完成课题功能。

2017年8月——2017年11月

完成论文，并且准备答辩

参考文献

[1] Konolige K, Mihelich P. Technical description of Kinect calibration[N/OL]. [2011-11-03].

[2] Henry P, Krainin M, Herbst E, et al. RGB-D mapping: Using Kinect-style depth cameras for dense 3D

modeling of indoor environments[J]. International Journal of Robotics Research,2012, 31(5):647-663.

[3] Dryanovski I, Valenti R G, Xiao J Z. Fast visual odometry andmapping from RGB-D data[C]//IEEE

International Conference on Robotics and Automation. Piscataway, USA: IEEE, 2013:2305-2310. [4] Calonder M, Lepetit V, Strecha C, et al. BRIEF binary robust independent

elementaryfeature[C]//European Conferenceon Computer Vision. Berlin, Germany: Springer,

[5] Herrera C D, Kannala J, Heikkila J. Joint depth and color camera calibration with distortion

correction[J].IEEE Transactionson Pattern Analysis and Machine Intelligence, 2012,

[6] Khoshelham K, Elberink S O. Accuracy and resolution of Kinect depth data for indoor mapping

applications[J]. Sensors, 2012, 12(2): 1437-1454.

[7] MURATA T，SHIN J．Hand gesture and character recognition based on Kinect sensor［J

/OL］．International Journal of Distributed Sensor Networks，2014，Article ID 278460．

[8] FABＲIZIO P，SEＲGIO B，NICOLA A．XKin: An open source framework for hand pose and

gesture recognition using Kinect［J］．Visual Computer，2014( 30) : 1107－1122．

[9] PYO J，KANG N，BANG J．Hand language translation using Kinect

［J］．Journal of IEEE，2014，18: 291－297.

[10] Wijesoma W S, Kodagoda K R S, Balasuriya A P. A laser and a camera for mobile robot

navigation[C]//7th International Conference on Control, Automation, Robotics and Vision. Piscataway, NJ, USA: IEEE, 2002: 740-745

[11] Dedieu D, Cadenat V, Soueres P. Mixed camera-laser based control for mobile robot

navigation[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway, NJ, USA: IEEE, 2000: 1081-1086

[12] Vandapel N, Moorehead S J, Whittaker W, et al. Preliminary results on the use of stereo, color

cameras and laser sensors in Antarctica[C]//6th International Symposium on Experimental Robotics.

Berlin, Germany: Springer-Verlag, 1999: 1-6.

[13] Reina G, Underwood J, Brooker G, et al. Radar-based perception for autonomous outdoor vehicles[J].

Journal of Field Robotics, 2011, 28(6): 894-913

[14] Morales Y, Carballo A, Takeuchi E, et al. Autonomous robot navigation in outdoor cluttered

pedestrian walkways[J]. Journal of Field Robotics, 2009, 26(8): 609-633.

[15] Koku B. Comparison of Kinect and Bumblebee2 in indoor environments[C/OL]//12th International

Workshop on Research and Education in Mechatronics. [2011-10-16].

[16] Kamel Boulos M N, Blanchard B J, Walker C, et al. Web GIS in practice X: A Microsoft Kinect

natural user interface for Google Earth navigation[J]. International Journal of Health Geographics,

[17] Microsoft Kinect Teardown (iFixit, 4 November 2010). [2011- 11-29].

[18] Michal T, Peter H. The Kinect sensor in robotics education [Z/OL]. [2012-02-16].

[19] Um D, Ryu D, Kal M, et al. Multiple intensity differentiation for 3-D surface reconstruction with

mono-vision infrared proximity array sensor[J]. IEEE Sensors Journal, 2011, 11(12)

[20] Noel R R, Salekin A, Islam R. A natural user interface classroom based on Kinect[J]. IEEE Learning

Technology, 2011, 13(4): 59-61

[21] Stowers J, Hayes M, Bainbridge-Smith A. Altitude control of a quadrotor helicopter using depth map

from Microsoft Kinect sensor[C]//IEEE International Conference on Mechatronics. Piscataway, NJ, USA: IEEE, 2011: 358-362.

[22] Cunha J, Pedrosa E, Cruz C. Using a depth camera for indoorrobot localization and

navigation[Z/OL]. [2011-12-10].

[23] 王晓光，苏群星.虚拟维修通用仿真软件系统的设计［J］．计算机仿真，2006， 23( 8) : 266-

268．

[24] 周瑾,潘建江,童晶,刘利刚.使用 Kinect 快速重建三维人体.计算机辅助设计与图形学学

报,2013,25(6):873?879

[25] 朱杰杰,潘志庚.用视觉计算实现视频增强现实遮挡处理.计算机辅助设计与图形学学

报,2007,19(12):1624?1628.

[26] 刘鑫, 许华荣, 胡占义. 基于 GPU 和 Kinect 的快速物体重建. 自动化学报, 2012, 38(8):

1288-1297.

[27] 朱蓉，基于语义信息的图像理解关键问题研究，计算机应用研究，2009，第 26 卷第 4 期

[28] 赵健，张冬泉．基于 OpenCV 的数字手势识别算法［ J］．计算机应用，2013，33( S2) :

193－196．

[29] 管业鹏．基于多模态视觉特征的自然人机交互［J］．电子学报，2013，41（11）：2223－2229

[30] 黄剑华,唐降龙,刘家锋,徐莉莉.一种基于Homogeneity的文本检测新方法. 智能系统学

报,2007:2

[31] 晋瑾,平西建,张涛,陈明贵.图像中的文本定位技术研究综述.计算机应用研究, 2007:24.

[32] 庄越挺,刘俊伟,吴飞等.基于支持向量机的视频字幕自动定位于提取.计算机辅助设计与学

报.2002, 14(8).

[33] 黄高波,吴潇,张兆扬,朱宁波.基于过度像素的视频图像文本检测与定位. 湖南大学学

报,2011: 38(6)

[34] 余涛 .Kinect 应用开发实战:用最自然的方式与机器对话[M].北京:机械工业出版社,2012

[35] 王森.Kinect 体感程序设计入门:使用 C# 或 C++[M].北京:科学出版社,2014．

[36] H. Shiratori, H. Goto, and H. Kobayashi, “An efficient text cap ture method for moving robots using

dct feature and text tracking,” in Proceedings of the 18th International Conference on Pattern

Recognition (ICPR’06), vol. 2, 2006, pp. 1050–1053.

[37] R. Lienhart and A. Wernicke, “Localizing and segmenting text in images and videos,” IEEE Trans.

Circuits and Systems for Video Technology, vol. 12, no. 4, pp. 256–268, 2002.

[38] W. Huang, P. Shivakumara, and C. L. Tan, “Detecting moving text in video using temporal

information,” in Proceedings of the 19th International Co nference on Pattern Recognition

(ICPR’08)2008, pp. 1–4.

[39] Z.-Y. Zuo, S. Tian, and X.-C. Yin, “Multi-strategy tracking based text detection in scene videos,” in

Proceedings of the 10th International Conference on Document Analysis and Recognition

(ICDAR’15), 2015.

[40] Z. Wang and Z. Wei, “An efficient video text recognition system,” in Proceedings of the 2nd

International Conference on Intelligent Human-Machine Systems and Cybernetics (IHMSC’10), vol.

1, 2010, pp. 174–177.

[41] R. Lienhart and W. Effelsb erg, “Automatic text segmentation and text recognition for video

indexing,”Multimedia systems, vol. 8, no. 1, pp. 69–81, 2000.

[42] B. Wang, C. Liu, and X. Ding, “A research on video text tracking and recognition,” in Proceedings

of IS&T/SPIE Electronic Imaging, 2013, pp. 86 640G–86 640G.

[43] R. Minetto, N. Thome, M. Cord, N. J. Leite, and J. Stolfi, “ Snoopertrack: Text detection and

tracking for outdoor videos,” in Proceedings of the 18th IEEE International Conference on Image Processing (ICIP’11), 2011, pp. 505–508.

[44] SNOOPERTRACK: TEXT DETECTION AND TRACKING FOR OUTDOOR VIDEOSR. Minetto

(1,2), N. Thome (1), M. Cord (1), N.J Leite (2), J. Stolfi (2) (1) Universite Pierre et Marie

Curie,UPMC-Sorbonne Universities, LIP 6, 4 place Jussieu, 75005, Paris, France(2) University of Campinas, UNICAMP, Av. Albert Einstein, 1251, Campinas, Brazil