agx 安装ros opencv_ROS入门学习五机器人感知-程序员宅基地

技术标签： agx 安装ros opencv  

2ad25899102a754464dba0ba0e117312.png

第五讲 机器人感知

1.机器视觉(图像校准、图像识别等)

ROS中的图像数据(二维图像)

显示图像类型

   roslaunch usb_cam usb_cam-test.launch 		
   rostopic info /usb_cam/image_raw

查看图像消息

    rosmsg show sensor_msgs/Image

2c9bed08799dc29f75fcd78b84018d28.png
  • Header:消息头，包含消息序号，时间戳和绑定坐标系
  • height:图像的纵向分辨率
  • width:图像的横向分辨率
  • encoding:图像的编码格式，包含RGB、YUV等常用格式，不涉及图像压缩编码
  • is_bigendian:图像数据的大小端存储模式
  • step:一行图像数据的字节数量，作为数据的步长参数
  • data:存储图像数据的数组，大小为step*height个字节

bca4cd076781278824810f6443873c31.png

1080*720分辨率的摄像头产生一帧图像的数据大小是 3*1080*720=2764800字节，即2.7648MB

压缩图像消息

 rosmsg show sensor_msgs/CompressedImage

a2422a5709a52ebd5e7319cee3e8678d.png
  • format:图像的压缩编码格式(jpeg,png,bmp)
  • data:存储图像数据数组

显示点云类型

roslaunch freenet_launch freenect.launch 	
rostopic info /camera/depth_registered/points

查看点云消息

	rosmsg show sensor_msgs/PointCloud2

0a6a7a7687ff502362330752507ad2e6.png
  • height:点云图像的纵向分辨率
  • width:点云图像的横向分辨率
  • fields:每个点的数据类型
  • is_bigendian:数据的大小端存储模式
  • point_step:单点的数据字节步长
  • row_step:一列数据的字节步长
  • data:点云数据的存储数组，总字节大小为row_step*height
  • is_dense:是否有无效点

点云单帧数据量也很大，如果使用分布式网络传输，需要考虑能否满足数据的传输要求，或者针对数据进行压缩

摄像头标定

摄像头为什么要标定

摄像头这种精密仪器对光学器件的要求较高，由于摄像头内部与外部的一些原因，生成的物体图像往往会发生畸变，为避免数据源造成的误差，需要针对摄像头的参数进行标定

安装标定功能包

	sudo apt-get install ros-kinetic-camera-calibration

8a7b0338317c938962da183b88df52a5.png

摄像头标定流程

1.启动摄像头

	roslaunch robot_vision usb_cam.launch

2.启动标定包

rosrun camera_calibration cameracalibrator.py --size 8x6 --square 0.024 image:=/usb_cam/image_raw camera:=/usb_cam
  • 1.size:标定棋盘格的内部角点个数，这里使用的棋盘一共有六行，每行有8个内部角点
  • 2.square:这个参数对应每个棋盘格的边长，单位是米
  • 3.image和camera:设置摄像头发布的图像话题

7a31e93edf0f7454fd7f26bf1f292d59.png
  • X:标定靶在摄像头视野中的左右移动
  • Y:标定靶在摄像头视野中的上下移动
  • Size:标定靶在摄像头视野中的前后移动
  • Skew:标定靶在摄像头视野中的倾斜转动

终端中的标定结果

a9b92bc1525df5a161811e56383044c9.png

31a9c4f9029298b8791920f51e96b729.png

标定结果保存路径 /tmp/calibrationdata.tar.gz

Kinect标定流程

1).启动Kinect

roslaunch robot_vision freenect.launch

2).启动彩色摄像头

rosrun

3).标定红外摄像头

rosrun camera_calibration cameracalibrator.py image:=/camera/ir/image_raw camera:=/camera/ir --size 8x6 --square 0.024

摄像头如何使用标定文件

864f1d8c4fbd1b6691fdd554f565182c.png

Kinect如何使用标定文件

cef03080dd281efe966329e25100fefa.png

使用标定文件时可能产生的错误

8ba636145f6ff9d8b0eaad1348563d7b.png

原因：标定文件中camera_name参数与实际传感器名称不匹配

解决方法：按照警告提示的信息进行修改即可。

ROS+OpenCV应用实例(人脸识别、物体跟踪)

OpenCV:Open Source Computer Vision Library

实现了图像处理和计算机视觉方面的很多通用算法，而且对非商业应用和商业应用都是免费的

安装OpenCV

sudo apt-get install ros-kinetic-vision-opencv libopencv-dev python-opencv

26addf0686a7df03bcbe73fc481c4026.png

测试例程

	roslaunch robot_vision usb_cam.launch
	rosrun robot_vision cv_bridge_test.py
	rqt_image_view

imgmsg_to_cv2()；将ROS图像消息转换成OpenCV图像数据

cv2_to_imgmsg()：将OpenCV格式的图像数据转换成ROS图像消息

输入参数：1).图像消息流 2).转换的图像数据格式

人脸识别流程

图像输入 输出结果

0814709f97153ec902645d4c4df2349c.png
基于Haar特征的级联分类器对象检测算法

启动人脸识别实例

roslaunch

初始化部分：完成ROS节点、图像、识别参数的设置。

ROS图像回调函数：将图像转化成OpenCV的数据格式，然后预处理之后开始调用人脸识别的功能函数，最后把识别的结果发布。

人脸识别：调用OpenCV提供的人脸识别接口，与数据库中的人脸特征进行匹配。

503d865c54bfdeecbcea6566aadad1bd.png
跟踪物体的特征点

启动物体跟踪实例

roslaunch robot_vision usb_cam.launch
roslaunch robot_vision motion_detector.launch
rqt_image_view

初始化部分：完成ROS节点、图像、识别参数的设置

图像处理：将图像转换成OpenCV格式；完成图像预处理之后开始针对两帧图像进行比较，基于图像差异识别到运动的物体，最后标识识别结果并发布

二维码识别

安装二维码识别功能包

	sudo apt-get install ros-kinect-ar-track-alvar

创建二维码

	rosrun ar_track_alvar createMarker
	rosrun ar_track_alvar createMarker 0
	
	roscd robot_vision/config
	rosrun ar_track_alvar createMarker -s 5 0
	rosrun ar_track_alvar createMarker -s 5 1
	rosrun ar_track_alvar createMarker -s 5 2

二维码识别(摄像头)

d4f561e9a0dbe590569b153b42d21b64.png

启动摄像头二维码识别示例

	roslaunch robot_vision usb_cam_with_calibration.launch
	roslaunch robot_vision ar_track_camera.launch

启动摄像头时，需要加载标定文件，否则可能无法识别二维码

查看识别到的二维码位姿

	rostopic echo /ar_pose_marker

02d06ba52a51954c925e67ca70ae4f4b.png

二维码识别(Kinect)

9a2f895f15d4f32bd80832a9a0614186.png

启动Kinect二维码识别示例

	roslaunch robot_vision freenect.launch
	roslaunch robot_vision ar_track_kinect.launch

2ba29a0a404c7ded25cd86b1b540d9ea.png

扩展内容：物体识别与机器学习

Object Recognition Kitchen(ORK)

2.机器语音

61cb9aded4b5438a7c406eebf3bb219f.png
语言识别理论模型

常用语音功能包

  • pocketsphinx:集成CMU Sphinx和Festival开源项目中的代码，实现语音识别的功能
  • audio-common:提供了文本转语音的功能实现完成"机器人说话"的想法
  • AIML:人工智能标记语音，Artificial Intelligence Markup Language是一种创建自然语音软件代理的XML语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39731107/article/details/109991043

智能推荐

oracle 12c 集群安装后的检查_12c查看crs状态-程序员宅基地

文章浏览阅读1.6k次。安装配置gi、安装数据库软件、dbca建库见下：http://blog.csdn.net/kadwf123/article/details/784299611、检查集群节点及状态：[root@rac2 ~]# olsnodes -srac1 Activerac2 Activerac3 Activerac4 Active[root@rac2 ~]_12c查看crs状态

解决jupyter notebook无法找到虚拟环境的问题_jupyter没有pytorch环境-程序员宅基地

文章浏览阅读1.3w次，点赞45次，收藏99次。我个人用的是anaconda3的一个python集成环境，自带jupyter notebook，但在我打开jupyter notebook界面后，却找不到对应的虚拟环境，原来是jupyter notebook只是通用于下载anaconda时自带的环境，其他环境要想使用必须手动下载一些库：1.首先进入到自己创建的虚拟环境(pytorch是虚拟环境的名字)activate pytorch2.在该环境下下载这个库conda install ipykernelconda install nb__jupyter没有pytorch环境

国内安装scoop的保姆教程_scoop-cn-程序员宅基地

文章浏览阅读5.2k次，点赞19次，收藏28次。选择scoop纯属意外，也是无奈，因为电脑用户被锁了管理员权限，所有exe安装程序都无法安装，只可以用绿色软件，最后被我发现scoop，省去了到处下载XXX绿色版的烦恼，当然scoop里需要管理员权限的软件也跟我无缘了（譬如everything）。推荐添加dorado这个bucket镜像，里面很多中文软件，但是部分国外的软件下载地址在github，可能无法下载。以上两个是官方bucket的国内镜像，所有软件建议优先从这里下载。上面可以看到很多bucket以及软件数。如果官网登陆不了可以试一下以下方式。_scoop-cn

Element ui colorpicker在Vue中的使用_vue el-color-picker-程序员宅基地

文章浏览阅读4.5k次，点赞2次，收藏3次。首先要有一个color-picker组件 <el-color-picker v-model="headcolor"></el-color-picker>在data里面data() { return {headcolor: ’ #278add ’ //这里可以选择一个默认的颜色} }然后在你想要改变颜色的地方用v-bind绑定就好了，例如：这里的:sty..._vue el-color-picker

迅为iTOP-4412精英版之烧写内核移植后的镜像_exynos 4412 刷机-程序员宅基地

文章浏览阅读640次。基于芯片日益增长的问题，所以内核开发者们引入了新的方法，就是在内核中只保留函数，而数据则不包含，由用户（应用程序员）自己把数据按照规定的格式编写，并放在约定的地方，为了不占用过多的内存，还要求数据以根精简的方式编写。boot启动时，传参给内核，告诉内核设备树文件和kernel的位置，内核启动时根据地址去找到设备树文件，再利用专用的编译器去反编译dtb文件，将dtb还原成数据结构，以供驱动的函数去调用。firmware是三星的一个固件的设备信息，因为找不到固件，所以内核启动不成功。_exynos 4412 刷机

Linux系统配置jdk_linux配置jdk-程序员宅基地

文章浏览阅读2w次，点赞24次，收藏42次。Linux系统配置jdkLinux学习教程，Linux入门教程（超详细）_linux配置jdk

随便推点

matlab(4)：特殊符号的输入_matlab微米怎么输入-程序员宅基地

文章浏览阅读3.3k次，点赞5次，收藏19次。xlabel('\delta');ylabel('AUC');具体符号的对照表参照下图：_matlab微米怎么输入

C语言程序设计-文件(打开与关闭、顺序、二进制读写)-程序员宅基地

文章浏览阅读119次。顺序读写指的是按照文件中数据的顺序进行读取或写入。对于文本文件，可以使用fgets、fputs、fscanf、fprintf等函数进行顺序读写。在C语言中，对文件的操作通常涉及文件的打开、读写以及关闭。文件的打开使用fopen函数，而关闭则使用fclose函数。在C语言中，可以使用fread和fwrite函数进行二进制读写。‍ Biaoge 于2024-03-09 23:51发布 阅读量：7 ️文章类型：【 C语言程序设计 】在C语言中，用于打开文件的函数是____，用于关闭文件的函数是____。

Touchdesigner自学笔记之三_touchdesigner怎么让一个模型跟着鼠标移动-程序员宅基地

文章浏览阅读3.4k次，点赞2次，收藏13次。跟随鼠标移动的粒子以grid（SOP）为partical（SOP）的资源模板，调整后连接【Geo组合+point spirit（MAT)】，在连接【feedback组合】适当调整。影响粒子动态的节点【metaball(SOP)+force(SOP)】添加mouse in（CHOP)鼠标位置到metaball的坐标，实现鼠标影响。..._touchdesigner怎么让一个模型跟着鼠标移动

【附源码】基于java的校园停车场管理系统的设计与实现61m0e9计算机毕设SSM_基于java技术的停车场管理系统实现与设计-程序员宅基地

文章浏览阅读178次。项目运行环境配置：Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX（Webstorm也行）+ Eclispe（IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：Springboot + mybatis + Maven +mysql5.7或8.0+html+css+js等等组成，B/S模式 + Maven管理等等。环境需要1.运行环境：最好是java jdk 1.8，我们在这个平台上运行的。其他版本理论上也可以。_基于java技术的停车场管理系统实现与设计

Android系统播放器MediaPlayer源码分析_android多媒体播放源码分析 时序图-程序员宅基地

文章浏览阅读3.5k次。前言对于MediaPlayer播放器的源码分析内容相对来说比较多，会从Java-&amp;amp;gt;Jni-&amp;amp;gt;C/C++慢慢分析，后面会慢慢更新。另外，博客只作为自己学习记录的一种方式，对于其他的不过多的评论。MediaPlayerDemopublic class MainActivity extends AppCompatActivity implements SurfaceHolder.Cal..._android多媒体播放源码分析 时序图

java 数据结构与算法 ——快速排序法-程序员宅基地

文章浏览阅读2.4k次，点赞41次，收藏13次。java 数据结构与算法 ——快速排序法_快速排序法

推荐文章

热门文章

相关标签