多目标检测的顺序蒙特卡罗和分层检测网

多目标检测的顺序蒙特卡罗和分层检测网

纲要

在本文中，我们提出了一个新的框架检测，二维和三维图像中的多个对象。由于一个联合的多对象模型难以获得在大多数实际情况下，我们在这里关注的物体的检测顺序，一个一个的。对象之间的相互依存关系的姿态和强大的现有信息嵌入在我们的医学图像的结果优于单独检测对象域。我们的方法是基于序列估计技术，经常应用到的视觉跟踪。不像在跟踪，其中顺序自然是确定的时间序列，多个对象的检测的顺序必须被选择，导致分层检测网络（HDN）。我们提出了一个算法优化选择基于概率的状态的顺序（对象构成的地面区域内）。对象构成的近似的后验分布在每一步的顺序蒙特卡罗。样品在多个对象和层级序列内的传播。在左心房的二维超声图像显示我们，是自动选择的顺序产量低的平均检测误差。我们还定量评价胎面分层检测和三胎儿的大脑结构的三维超声图像。

1 介绍

多目标检测是计算机视觉系统中的许多应用，例如在视觉跟踪[ 15 ]，初始化分割[ 20 ]，或在医疗成像[ 2 ]。图1说明了多目标检测的两个例子，我们有兴趣。多－目标检测[ 5，19，国家的最先进的方法，9 ]依靠每个对象类的一个单独的探测器后处理修剪杂散检测内和类之间。联合检测多个对象而不是单独的优点是物体间的空间关系可以被利用。由于获得的多个对象连接模型的困难在大多数实际应用中，多目标检测任务由多个单独的对象检测器的空间模型[ 4 ]连接解决。的物体的相对位置提供约束，使系统具有更强的鲁棒性通过聚焦搜索区域中的对象是基于其他对象的位置的期望。在这些算法的最具挑战性的方面是设计的探测器，快速和强大的，建模对象之间的空间关系，并确定检测顺序。在本文中，我们提出了一种多目标检测系统，解决了这些难题。

图1 多目标检测的例子：左心房（LA）所标志的心尖二腔（A2C）视图（左）和三解剖脑胎儿三维超声体积（右）。

我们的计算速度和提高系统的鲁棒性的分层处理。在检测中，一个主要的问题是如何有效地传播对象可以在层次结构的级别者。这通常涉及定义搜索范围在NE的水平，可以从粗的水平是影响者。搜索范围的不正确的选择导致更高的计算速度，精度低，或漂移的粗考生对正确renements。在我们的技术的搜索范围的模型是从训练数据中学习的一部分。我们的多目标检测系统的性能是通过从更容易检测和利用对象的配置限制其他的物体检测对象的进一步改进。这一战略的困难是选择检测，整体性能达到最大化的顺序。我们的检测计划是去签署了减少检测的不确定性。使用相同的算法，我们也得到了最优调度的层次尺度。

我们的做法是出于序列估计技术[ 8 ]，经常应用到的视觉跟踪。在跟踪，我们的目标是估计在时间t的对象的状态下（例如，位置和大小）使用观察Y0：T （视频帧中的对象的外观）。计算需要的可能性的假设状态产生的观察和转换模型，描述状态之间的传播框架的方式。由于在实际情况中可能导致顽固性推理模型，用Monte Carl o方法近似，也被称为粒子滤波，已广泛采用。在每一个时间步t，估计涉及的建议分布采样（xtjx0：T1；y0：T）的当前状态下空调的状态X0史：T1到时间t 1和观测的历史y0：T到时间t。

我们还使用序贯Monte Carl o方法在多目标检测。我们的样品从一个序列的概率分布，但序列物种的空间秩序而不是一个时间顺序（图2）。后验分布的每个对象构成了（状态）是基于所有的观察到目前为止估计。观察社区周围的物体从图像特征计算。一个虚拟的国家可能产生的观测是基于确定性模型，通过使用一个大的注释的图像数据库。德-文士的对象的姿势有关的方法是高斯过渡模型大多数的目标检测算法都集中在一个固定的目标姿态参数，在一个二进制类型sication系统[ 17测试，19 ]。采用序贯山姆采样模型允许我们使用对象构成的样本较少的正式推广这类算法对多重的物体。这节省了计算时间和增加交流由于样品从后验分布的概率高精度的区域。从序贯抽样文献对视觉跟踪的许多想法可能扩展到多目标检测。在4节中，我们将演示贝内的采样设计时，多个地标检测左心房的二维图像。不像在跟踪，其中顺序自然是确定的时间发展顺序，多目标检测必须选择。在我们的算法中，顺序是这样选择的，检测的不确定性最小化。因此，而不是使用直接前体，在马尔可夫过程的过渡模式，可以基于任何前兆，这是最佳选择。这导致了一个分层检测网络（HDN）3。一个假设的姿态可能是

使用一个受过训练的检测指标计算。检测规模作为另一个参数的似然模型和分层调度是以同样的方式确定为空间计划。

本文的组织如下。我们将在2节的背景概述。在3节中提出了时序多目标检测算法。一套4节中的实验验证了算法的有效性。我们得出结论：本文5节。

2 背景

对象是一组离散的测试和多目标检测算法[17]二进制分类器的物体存在，19 ]。这些算法的不同，通常样本参数空间均匀的样品，我们从建议分布[ 14 ]，以高概率的区域。这节省了计算时间少的样品需要增加密钥的鲁棒性的情况相比，在相同数量的样品将被均匀地。

多目标检测技术主要集中在模型共享的特点[ 16 ]或对象的部分[ 9 ]。这种共享具有更强的模型，但在最近的文献中，一直有一个争论如何以有效的方式[ 7 ]对象上下文模型。它已经表明，本地检测器可以通过使用对象的上下文[ 6，13的相互依存关系建模的改进，12 ]和[ 11 ]的语义信息。在我们的抽样框架，这种相互依存关系是通过一个过渡分布模型，这种构成的一个对象到另一个对象的姿态的转变。这样，我们利用在人体医学图像的先验信息，提出了强。重要的问题是如何确定背景区域的大小（检测量表）和物体检测RST以最佳的方式。

多尺度算法通常指定一个固定的组的检测区域的预定参数表[ 1，9 ]。选择自动缩放的优点由于对象具有不同的大小和上下文邻域的大小也不同。我们提出了一个多尺度的调度算法，制定了以同样的方式作为检测顺序调度。

检测顺序被指定的最大信息增益的计算之前和之后的检测是测量[ 21 ]和最小的观测[ 1后验概率分布的熵]。我们的调度准则是基于概率的状态（目标是）真实的区域内。其他措施也可以使用在序贯抽样框架的灵活性。

3 序列蒙特卡罗

状态（姿态）的建模对象T表示为并且多目标检测的序列为0：T = 。在我们的例子中，表示位置P，R和方向，从图像邻域得到对象观察组，附近的Vt指定的边界框的坐标在一个d维图像V，。的观察序

列，记为。这是由于POS可能确定图像邻域V0存在的先验知识；；观察VT与边际分布F（V）描述每个对象TT的出现并假设条件独立给定的状态和状态的动态关系，即对象构成，是一个初始分布模型（0）和过渡分布。注意，这里我们不使用马尔可夫转移

。

图 2 在多目标的检测，观察组是一个系列的图像补丁程序。序列的物种的空间秩序而不是一个时间顺序。后者通常是利用在跟踪应用程序。

多目标检测问题的解决，借助全面应用预测和更新步骤获得的后验分布。预测步骤计算的概率密度的状态的对象使用的对象，状态1，和以前的观测点的所有对象t－1：

当检测对象，观察VT是用来计算估计的更新步骤中：

其中f（VT jv0：T1）是归一化常数。

这些表达式的看起来的那样的简单，一般没有解析解。解决这个问题是通过来自贡献的权重样本，其中是状态在重量方面的实现。

在多数情况下，样本直接来自于时是非常不灵活的。重要性采样的思想是引入一个建议分布，其包含了。

为了能够正确的[ 14 ]的样本权重，定义权重为：

由于目前的状态不依赖于其他对象，然后观察：

状态的计算为：

替代（4）和（5）到（3），我们有

在本文中，我们采用了之前的过渡作为建议分布。因此，权重计算：

在未来，我们计划设计更复杂的建议分布在多个对象之间的关系在检测杠杆。

当检测到每个对象，顺序采样产生的后验分布使用样品从预检测明显的对象如下：

1．从建议分布得到M个样本，

2．重新过磅每个样品根据重要性比:

3.重采样粒子的重要性权重得到未加权逼近：

3.1.观察和过度模式

现在让我们定义一个随机变量，其中Y = + 1表示和Y = 1的对象不存在。利用大功率的带注释的数据集，我们使用歧视性的分类器（例如PBT [ 17 ]）在观测模型：

在跟踪中，往往是一个马尔可夫过程的转移核F假定，随着时间的前进。然而，这是多目标检测的限制太多了。最好的过渡内核可能来自于一个不同的直接前体物，根据解剖上下文。在本文中，我们使用成对的依赖

我们的模型作为一个高斯分布从训练数据估计。我们将展示如何选择最佳的j下。

3.2.选择阶的检测

不像视频，在观测中出现的自然反弹顺序的方式，在多目标检测的空间秩序必须选择。我们的目标是选择的顺序，后验概率最大化。因为确定此订单中的对象的数目的指数复杂度，我们采用贪婪的方法。我们首先将训练数据分成两组。使用第一组，我们培训对象检测器分别得到后验分布

。第二集用于顺序选择如下。

我们的目标是建立一个分层检测网络（HDN）的顺序选择。如图3所示，HDN 是成对的，前馈神经网络。需要注意的是，级联的HDN的特殊情况。

假设我们和有序的探测器上的。我们的目标是增加网

络的最佳配对（或前馈路径），最大限度地提高以下分[的期望值；（J）]在S和（j）从二训练集计算：

其中期望值近似为所有第二训练数据集的例子的计算成本的样本均值。

图3 分层检测网络图（HDN）和顺序的选择。看到文本的细节。

3.3.检测尺度选择

许多以前的目标检测算法[ 17，19 ]使用一个单一的图像大小的街区FVIG。通常情况下，这个尺寸和相应的检索步骤需要选择先验的NAL检测结果和计算速度[ 1 ]的平衡精度。我们建议采用分层检测解决这个问题。在检测过程中，更大的上下文对象是在粗糙的图像分辨率导致对噪声的鲁棒性，闭塞，和丢失的数据。通过搜索在一个较小的邻域在NER分辨率达到较高的检测精度。表示尺度参数为HDN，我们把尺度参数为使用顺序的选择以及一个额外的参数。

4 实验过程

我们的实验是对左心房及胎儿三维超声图像的二维超声图像。在这两种情况下，我们测试的自动检测顺序/规模的选择（3.2节）提供的分层检测定量评估（3.3节）。

4.1.样本策略

在第一组实验中，我们检测了左心房的地标的左心房（LA）在心尖两腔心内膜壁（A2C）视图（图1）。洛杉矶AP的出现是由于在成像过程中的噪声是在超声波探头的远端。专家注释已经地标共417张图片。图像的大小是120的120像素的平均。

三位置检测器进行训练独立美国281图片。本试验的检测顺序是固定的：09！01！05（见图6的地标编号）。我们测试的两个不同的采样策略在检测136

看不见的图像内。在第一个战略，我们获得的最重的样品数。第二策略，我们获得了M = 2000的样品具有最强的重量和执行k-均值聚类得到的模态数。每一个里程碑式的检测后，这些样品的传播到下一个阶段。去保护的位置是由平均N 的每一个地标样本。

样品的数量，N，1和50之间变化。每个设置，检测算法运行所获得的三个地标位置。最小的95%个错误是通过手动标记检测位置计算。图4显示，通过使用k-均值采样策略，错误的是所有的样本数较低。通过我们的表现在分布模式，我们避免在样品，否则将需要数量的爆炸[ 3，18 ]。

图4 通过获得的N个最有重量的样品或通过使用N个最强k-均值采样。以分布的方式，我们可以使用小样本。平均检测误差较小。

4.2.阶选择检测

在接下来的实验中，我们评估自动检测顺序的策略3.2节中描述的。我们的目标是自动确定所检测顺序左心房的地标（图1）。像之前一样，具有里程碑意义的探测器进行培训，独立使用281注明我的年龄。46注释图像从测试数据集总方法获得的检测顺序。其余90例用于检测和评价的比较。

图5显示了评分值（归一化后的每一步）绘制的随机100例各期和自动选择的顺序。贪心策略选择的每一步，与得分最高的价值秩序。最终的选择顺序或HDN 如图6所示。

自动选择的顺序相比，100随机生成的订单。对每一个订单，我们记录的

NAL检测误差的所有测试图像和检测到的地标平均年龄。我们也计算得分为真实

的区域的状态的概率（公式15）的最终选择阶段的所有阶段的概率最大化。图

7中的图显示，自动选择的顺序，具有较低的平均误差（与最低相比，100随机

订单）和高概率（最高）。具有最高概率的秩序没有选择因贪心策略。这是因为近地面真实状态的概率是很低的早期选择。由于在实际检测情况下的地面真理是不可用的，低概率抽样区域是不可靠的，这些顺序或贷方不是首选。例如检测图10。

图5选定的值在每个阶分数阶选择实习。the selected阶（网络）你的高得分值在所有的阶段。两个高分values in the NAL阶段（参见图压力7）有低分数在较早的阶段

图6 NAL自动选择检测顺序。首先，它似乎标志01和17将是首选的标志5和13由于该区域的显著性。然而，这些标志物的外观变化的原因05和13偏好的地标。

图7 比较自动选择的顺序（红色）100跑随机选中的订单。NAL检测误差在所有的测试图像和检测到的地标平均。评分说明卡特特定顺序偏好。自动选择的顺序有一个较低的平均检测误差和高分。

4.3.大脑解剖结构的三维超声

我们的下一个实验是检测胎儿的大脑结构的三维超声数据三。系统的输出是一个可视化的方向正确和cenering以及解剖生物测量平面。共有589个专家注释的图像被用于训练和295进行测试。成交量平均尺寸250 200 150毫米。我们使用三的分辨率在一个分层的系统如图8所示。

定量评价是在表1和图11中的几个考试检测到的结构参数。新生儿溶血病的平均检测误差2.2毫米，低于4.8毫米的误差对系统没有溶血。

4.4.胎儿面部三维超声

我们最后的实验是在胎儿面部三维超声体积的检测。共962张图片进行测试培训和48。的超声胎龄21～40周。的体积平均粒径为157 154 104毫米。这组数据的主要挑战包括不同外观的结构由于不同发育阶段中的四肢和脐带运动引起的面部变化。脸是通过手动指定网格点上的人脸区域[注释] 10。包围盒的网格的物种的检测算法自动确定的姿态。

该系统由三个层次的决议，4毫米，2毫米，1毫米。最终的训练误差为5.48毫米和10.67毫米的测试误差。以前的版本，本系统只运行在一个单一的1毫米的水平，导致更高的训练和测试误差（分别为6.90毫米和14.10毫米）。定性检测结果图9。

图8 检测顺序和三个大脑结构的层次：小脑（CER），小脑延髓池（CM），和侧脑室（LV）。应用规模选择。

表 1 的分层检测系统的测量误差（桌面的部分）相比，早期的系统没有层次[ 2 ]。平均误差，标准偏差，平均误差，最大误差计算。该系统使用的卷级第六列和测试卷上规定的第七列的数的训练。采用层次结构的平均检测误差为2.2毫米，1毫米的巢资源数据的方法。没有层次结构的系统的平均误差为4.8毫米。

图9 胎儿的结果，例如人脸检测三个决议人类干预。后的初始位姿下的体积（第一排）后，自动检测，在巢的水平（中一），和体积的雕刻后的前区（底面层）。