焊接机器人计算机视觉软件的快速开发方法

智能工程

焊接机器人计算机视觉软件的快速开发方法

翟因虎

(广东工业大学,广东广州510640)

A Fast Development Method on Software of Computer Vision System of Weld Robot

ZHAI Yin hu

(Guangdong University of Technology,Guangzhou510640,China)

摘要:在研究VC++与Matlab混合编程的基础上,采用了VC++调用Matlab引擎的方法对焊接机器人计算机视觉系统数字图像处理的快速开发方法的进行了研究。本方法避免了VC++开发环境中编制图像处理函数过于复杂、效率很低的缺点,直接应用Matlab开发环境中的图像处理工具箱中的图像处理函数,大大提高编程效率,缩短图像处理方法的开发时间。

关键词:焊接机器人;焊缝识别;图像处理;VC ++;Matlab

中图分类号:TP24

文献标识码:A

文章编号:10012257(2004)04005904

Abstract:Adopt a image processing method of VC++called a Matlab engine session to recognize the weld seam after the researches of the mixed pro2 gramming between VC++and Matlab.The method avoided the difficult programming of the functions for image processing in the development environment on VC++and used the easier and higher efficiency pro2 gramming in the development environment on Matlab for programming in Matlab is based on matrix and there are a lots of functions can be called directly in image processing toolbox.The results of experimenta2 tion showed that the method used is appropriate.

K ey w ords:weld robot;weld seam recognition; image processing;VC++;Matlab

收稿日期:20031110

基金项目:国家自然科学基金项目(50075037);国家“八六三"计划资助项目(2001AA422220)0　引言

随着社会经济的发展,对非结构化环境下的焊接需求越来越多,开发适合于特殊非结构化工作环境的全位置弧焊机器人成为机器人工业应用研究的重要发展方向。全位置弧焊机器人能够自主规划作业方案、监控作业质量,实现作业过程的自动化。由于视觉传感器获得的信息量大,结合计算机视觉和图像处理的最新技术,可增强弧焊机器人的外部适应能力。尤其是结构光法,它不仅能够检测出焊缝的中心位置,而且还能获得焊缝截面形状和尺寸等参数,并且适用于不同形状的焊缝和各种焊接方法。

机器人计算机视觉系统的硬件部分主要由视觉传感系统和图像采集系统组成。视觉传感系统采集到模拟焊缝图像后变换为标准视频信号,通过信号电缆传输到图像采集系统,经过图像采集后,得到数字焊缝图像供图像处理。视觉传感系统采用了CCD 摄像机。CCD摄像机的光轴与激光器的光平面夹角为30°,当激光条纹投影在有焊缝的工件上时,就可以拍摄到变形的激光条纹图像,即得到包含焊缝信息的图像[1]。

多层多道焊时,受电焊机功率有限的影响,不能够一次焊接完成比较厚的钢板,只好采用分几层、每层又分几道来完成焊接。焊接机器人的计算机视觉系统自动识别多层多道焊缝尚未取得突破性的进展。作者认为,只要找出焊缝图像中钢板工件表面的直线与细化的激光条纹曲线的包围部分就可以识别焊缝[2]。而可以采用的焊缝轨迹识别的图像处理方法的有2种:第1种方法是图像域值法;第2种方法图像边缘法。图像域值法的缺点是域值选取困难,太大则使激光条纹中断使其拓扑结构不完整,太小则使激光条纹太宽细化后的激光位置不很精确。图像边缘法的缺点同样是易导致激光条纹太宽,使激光

条纹取中间值后的激光位置不很精确。这些图像处理方法中包括时域滤波、频域滤波、LO G滤波、域值分割、HOU GH变换、Flood Fill、数学形态学图像处理等。

计算机视觉系统中采用VC++开发环境的MFC类库从图像采集卡采集焊缝图像,但是在VC ++开发环境中编制图像处理函数过于复杂、效率很低。而在Matlab开发环境中的图像处理工具箱中有大量的图像处理函数可以直接应用,可以大大提高编程效率,缩短图像处理方法的开发时间,但是Matlab又不能够有效地对计算机底层硬件进行控制。下面分别详细讨论VC++和Matlab的特点,并在研究VC++与Matlab混合编程的主要方式及其特点的基础上,提出了一种实用、有效的VC++与Matlab混合编程的方式来快速开发机器人计算机视觉系统软件,并给出了一个多层多道焊缝识别的例子和结论。

1　VC++的特点分析

1.1　VC++的优点

Visual C++是美国Microsoft公司推出的基于Windows操作平台的功能强大的编程工具,它具有友好的图形用户界面,面向对象的程序开发,完善而丰富的库函数以及Internet网络应用等诸多功能,用Visual C++可以开发从底层直到用户的各种软件,并且Visual C++强大的调试功能也为大型复杂软件的开发提供了有效的排错手段。同时用Visu2 al C++开发的系统具有容易维护和升级、界面友好、代码效率高、执行速度快一系列优点。

1.2　VC++的缺点

Visual C++在工程计算方面,和Matlab相比,编程复杂很多。考虑2个矩阵A和B的乘积问题,在C语言中要实现2个矩阵的乘积并不仅仅是一组双重循环的问题,除此之外要考虑的问题很多,如复数矩阵还是实数矩阵;判断这2个矩阵是否可乘等等,需要很长的时间编程和调试。有了Matlab这样的工具,A和B矩阵的乘积用A3B这样简单的算式就能表示了。

因此,本课题中若用Visual C++把图像处理方法中的时域滤波、频域滤波、LO G滤波、域值分割、HOU GH变换、Flood Fill、数学形态学图像处理方法等都编程调试好远非一日之功。2　Matlab特点分析

2.1　Matlab的优点

Matlab是Math Works公司推出的一套高性能的数值计算和可视化软件。它集数值分析、矩阵运算、信号处理和图形显示于一体,命令语句功能非常强大,包含了大量高度集成的函数可供直接调用。用户毋需具有高深的数学知识和程序设计能力,也不必深入了解算法及编程技巧,但又允许用户自行建立指定功能的M文件,极易扩展。

Matlab带有一系列的工具箱,包括图像处理、信号处理、控制系统、神经网络、鲁棒控制、非线性系统控制设计、系统辩识、最优化、模糊逻辑、小波和样条等,可以最大限度地满足科学实验数据分析处理的需要。

所以,Matlab编程非常简单,可以大大缩短应用程序开发周期,提高编程效率和缩短理论方案研制周期,适合系统工程人员编程的需要。这是因为大量数学工具包的直接调用避免了程序设计中的重复性劳动,使研究开发的周期和成本得到了控制;并且其提供的数学工具包都针对运算过程和结果进行了专门的优化,减少了开发人员实现算法的困难。这将有效地提高应用系统的精确度和稳定性,在实践中有着很高的应用价值。

本课题中如果能够充分利用这些优点,必将大大提高研究的效率。

2.2　Matlab的缺点

Matlab是一种解释性语言,执行效率很低,不利于工业实时控制;源代码的公开不利于算法与数据的保密;对底层硬件的控制能力较差,不适于半实物仿真和偏工程化的产品。

在本课题中就有这个困难:无法直接从图像采集卡获得图像数据、无法直接控制机器人的运动。3　VC++与Matlab混合编程的主要方式及其特点分析[3]

比较Matlab和Visual C++,它们互有长处,互有短处。Matlab与Visual C++相结合,取长补短,无疑是一种科学有效的编程方法,将给应用程序系统本身及其开发带来很好的改善,值得本课题采用。为了实现混合编程,Matlab5.0以后版本自带了C语言编译器,可以将M文件转换为C M EX或

C/C++程序。根据Matlab是否运行,一般将Mat2 lab与VC混合编程分为2大类:Matlab在后台运行和可以脱离Matlab环境运行。

3.1　独立于Matlab环境之外的混合编程

一般有以下几种方法:利用M IDEVA生成不需要Matlab后台支持的程序、调用Matlab C++ Math Library(数学函数库)生成不需要Matlab后台支持的程序和通过Matlab6.0Add-in实现Matlab 与VC的混合编程。

M IDEVA是Mathtools公司推出的一种Matlab 集成编译开发平台,提供对Matlab程序文件(M文件)的解释执行和开发环境支持。利用M IDEVA生成不需要Matlab后台支持的程序,可以经过简单设置后M IDEVA可以将M源文件转换为C/C++,然后添加到MSVC、C++Builder的工程中。也可以先利用M IDEVA直接生成EXE文件(方法是启动M IDEVA,在菜单"File->Compile to exe"中,选出需要转换的M文件),然后在VC中通过Shell 调用,常见的外部函数有shellexec()或winexec()。这种方法简单方便,但运行时出现一个控制台窗口,而且由于VC和Matlab之间不能交互,通用性差,仅适用于VC中调用Matlab实现图形显示的场合。

基于Matlab C++数学函数库编写的应用程序非常适合应用于需要进行大规模计算并且没有图形输出的场合。通过Add-in实现Matlab与VC的混合编程也有一定的不足:如目前并不支持所有的Matlab的函数;生成的程序代码有些繁杂等。但是,独立于Matlab环境之外的混合编程都不能够很好地支持工具箱函数的正常调用。

3.2　在VC++中使用Matlab引擎

Matlab引擎(Engine)采用客户机/服务器(Client/Server)的计算方式,通过Windows的Ac2 tivcX通道和Matlab接口。在具体的应用中,VC的程序作为前端客户机,通过调用Matlab Engine在后台与Matlab服务器建立连接,实现动态通信。这种方法实现较为简单,不要求连接整个Matlab,只需要嵌入必要的Matlab Engine库,尽管Matlab在后台运行,运行效率低下,但是可以调用所有Matlab 函数和工具箱,可大大地节省系统资源,完全符合本课题的要求。4　机器人计算机视觉系统中采用的方法及示例

本课题采用了在VC++中使用Matlab引擎的方法来完成焊缝识别图像处理方法的快速开发工作,下面是一些相关的步骤。

a.生成几个连接库文件:在目录c:Matlabex2 terninclude下找这几个文件:libeng.def、libmx.def 和libmat.def,在DOS行命令下生成3个库文件: c:msdevbinlib/def:libmat.def/out:libmat.lib

c:msdevbinlib/def:libeng.def/out:libeng.lib

c:msdevbinlib/def:libmx.def/out:libmx.lib

再把生成的3个L IB文件libeng.lib、libmx.lib 和libmat.lib加入L IN K项。

b.设置编译选项:

在ImageProcessing.cpp的开头加入2行:

#include"stdafx.h"

#include"engine.h"

PreProcessor加上:Matlab-M EX-FIL E,IN2 CL UDE加上:c:Matlabexterninclude,L IB加上:c: Matlabexterninclude

c.编写调用engine的函数:

//打开Matlab,位于ImageProcessing.cpp中

Engine3ep;

if(!(ep=engOpen("0")))

{　MessageBox((HWND)NULL,(L PSTR)" Can’t start Matlab engine",

(L PSTR)"Imageprocessing.cpp",MB-O K);

exit(-1);

}

//获得焊缝图像数据:略

//输出数据到Matlab的Workspace,数据指针为data:

engPutArray(ep,data);

//在Matlab中执行焊缝识别图像处理算法,程序名为“WeldIdentification":

engEvalString(ep,"WeldIdentification");

//识别结果数据输送到VC++环境:略

//关闭Matlab:

engClose (ep );

本课题对多层多道焊缝的识别结果如图1所示。图1a 是焊缝源图像,图1b 是焊缝识别结果[2],最低点即为识别特征点

。

图1　焊缝识别图像处理结果

5　结束语

实验证明,这种方法不但能够大大提高焊缝识

别图像处理方法开发效率,而且能够取得很好的效

果。该方法的缺点是不能够实时处理图像,所以不能够实时控制机器人进行跟踪。显然,下一步的研究重点是把相关的函数都用VC ++实现,达到对焊缝的实时识别和对机器人的实时控制。

参考文献:

[1]　陈茂华,张　华,王慧琴,等.智能移动弧焊机器人的实

验研究[J ].南昌航空工业学院学报,2001,(7).

[2]　翟因虎.基于数学形态学的焊缝轨迹识别的研究[D

].

南昌大学,2003,7.

[3]　刘志俭

,等.Matlab 应用程序接口用户指南[M ].北京:

科学出版社,2000.

作者简介:翟因虎　(1974-),男,江西奉新人,广东工业大学信

息学院,研究方向为机器人计算机视觉、数字图像处理和信号处理。

(上接第55页)

存储区组成,并通过元数据控制文档的存取,如图4

所示。工作流上的执行者对项目文档的操作将受其角色权限、任务权限以及被操作文档的状态所控制,如图5所示。从而保证了在工作流的执行过程中,各文档可在适当的时候,到达适当的位置,并被适当的处理[5\〗。

图4　电子仓库结构示意图图5　文档管理示意图

3　结束语

基于工作流管理的ERP 系统不仅有助于企业核心业务流程再造(BPR ),也有助于企业动态建模。它可以集成企业内各业务应用程序,实现各应用系统的柔性配置,从而帮助企业实现经营管理的柔性。该技术已被应用于面向模具企业的ERP 系统的开发之中,取得了良好的效果。参考文献:

[1]　陈启申.供需链管理与企业资源计划[M ].企业管理出

版社,2001.

[2]　孔建寿.协同开发环境中项目管理与工作流管理的集

成[J ].中国机械工程,2003,14(13):1124-1125.

[3]　陈欣欣.ERP 在我国企业的应用研究[J ].商业经济与

管理,2003,(1):33-36.

[4]　庞士宗.产品数据管理(PDM ):现代企业信息化管理

与集成的理想平台[M ].北京:机械工业出版社,2001.

[5]　童秉枢,李建明,等.产品数据管理(PDM )技术[M ].北

京:清华大学出版社,2000.

作者简介:李长青　(1976-),男,湖北武汉人,华中科技大学

模具技术国家重点实验室硕士研究生,研究方向为模具企业生产信息化管理;李建军(1964-),男,江西九江人,华中科技大学模具技术

国家重点实验室副主任、教授、博士研究生导师。