工业机器人的那双“慧眼”并不是无缺

　　【中国智能制造网 名家论坛】过去的工业机器人，在我们眼中一直是一些冷冰冰的自动化设备，但随着计算机视觉的应用，它慢慢变成了一个有感官，有思维，有情感的新一代工业机器人，并推动着现在珠三角、长三角、东北三省那边轰轰烈烈的机器换人运动。但是工业机器人中的计算机视觉和我们常见的计算机视觉应用有啥不一样呢？　　为此，我们请来了李群自动化创始人&CEO石金博，以他们创新工业机器人两年多的体验，为我们阐述工业机器人的计算机视觉是怎样的，它对于帮助现在提倡的柔性自动化有何意义，以及现在在应用中遇到的问题。
　　
　　CV在工业机器人上和服务机器人上的区别
　　
　　CV在工业机器人上的应用和服务机器人上的应用的主要区别是什么？
　　
　　其实CV在机器人的应用是从2011年开始，大家逐步在一些电子产品的装配上会用到机器视觉。像我所知的海康，原来这些公司用的主要的是视频采集，并没有加入视觉的算法。
　　
　　如果说差别，应该从下面几个方面来说。
　　
　　个是应用场景。在工业机器人的环境里，计算机视觉看到的场景是相对单一，比如工业元器件或者材料，或者监控一些操作过程。服务机器人应用场景就要变化很多，比如生活中的场景，比如辨识人的首饰，表情啊。
　　
　　在服务机器人里面，比如家用机器人，无人机，视觉其实是一个非常重要的导航的工具，利用CV完成对周边环境的测算和空间建模，还有一个领域是比较典型的，就是监控领域。
　　
　　第二个是它所起的作用。计算机视觉对机器人来讲无非是解决几个事情，在工业机器人里面，可以通过视觉的导引完成轨迹或者定位的作用。
　　
　　第三个是精度方面。在工业机器人里面，计算机视觉的辨识精度一定是在毫米级以下的，这里面包括一个静态的辨识精度，一个动态的辨识精度，静态指的是相机或者观测物品相对处在一个静止的状态，它这个时候的辨识精度取决于相机的分辨率，包括物品的边缘是否清晰，差异化是否很明确，这个时候精度甚至可以达到微米级以下，服务机器人据我所知，大部分的精度并不会很高，可能会在厘米级以上。
　　
　　第四个是在工作空间上的范围。工业机器人的视觉辨识的空间，一种是把相机固定，视觉（相机）的大小是根据我的安装空间导致视觉的分辨率有所限制；但服务机器人的工作空间，我的理解它的工作空间限于电池能持续多久。
　　
　　第五个是安全性。工业机器人上的视觉部分是要求不太会被人所干扰的，尽量避免人和设备的不必要交互，但在服务机器人上，人和设备的地方非常多，这是视觉是人和服务机器人交互的一个很重要的途径。另外一个是生命周期，这里面涉及到我视觉系统里的光源，相机安装的可靠性。
　　
　　那总的来讲，计算机视觉在工业机器人和服务机器人重要的差异，我觉得主要是在精度和可靠性方面。然后剩下的就是应用场景的专门的功能需求。
　　
　　工业机器人机器视觉传感器近有什么新进展？
　　
　　先简单地列举一些视觉在工业机器人里的应用：用的多的是辨识物体的位置，方向，然后配合机器人进行抓取，一般精度要到0.01毫米左右。
　　
　　我认为工业机器人的视觉传感器就是工业机器人的整个视觉传感系统，这里面考虑的大部分都是可靠性和维护性，在真正的使用中，新的硬件方案或者新的产品并不是很快就会进行导入的，它都会需要一个长期的检测过程，我们说的视觉系统一般包含相机，镜头，光源还有一些视觉的处理器，近几年smartcamera这种传感器算是用的比较多的。
　　
　　smartcamera大部分的用法都会选用一些PCbase的用法，典型的是基恩士，康耐视或者欧姆龙，他们的视觉开始都是在PC上，利用对数字相机图像的采集处理，然后利用一些视觉算法输出数据，近几年，基恩士首先把它的smartcamera把它大量应用在苹果公司相关的一些检测设备中。
　　
　　这种smartcamera比较好的地方是：它的封装会会非常紧凑，整个镜头非常便于安装，然后是在算法上进行了大量的简化，和设备相连的时候，整个设备的安装和相连非常的便捷。
　　
　　现在多的是基于2D的工业相机，但3D的导入会是一个非常明显的趋势，3D视觉技术现在达到的精度以及对于机器人配合的这种要求，目前来说还没到一个相对成熟的阶段，可能还需要一定的时间进行导入。
　　
　　针对2D的相机，我们在选取的时候主要会考虑基于怎样的应用场景，比如被测物体的大小，需要达到的辨识精度，这个部分主要是一些规格上的选取。如果说谁家的相机会更好，我们现在主要是选择德国和日本的一些相机，比如说德国的IDS，日本的欧姆龙；镜头的话主要选择computar的镜头，在这种品质保证的情况下，其实产品大同小异，不会差别太多，可能无非就是在使用和安装习惯上的差异，以及价格包括货期都是很重要的衡量标准。
　　
　　工业机器人与自己，与人，与环境的交互
　　
　　工业机器人讲究机器和机器的交互，机器和人的交互以及机器和环境的交互，您能举个例子为我们讲讲他们是怎样实现的？
　　
　　这个其实是我们比较擅长的部分。因为我们李群自动化从2013年开始正式做机器人，到现在我们做的多的事就是考虑机器人和设备、机器人和视觉或者和人如何交互。回答这个问题之前，我们需要有一个前提：解决交互问题前应该是交互双方有个协议，即交互双方都可以懂的语言。
　　
　　这种语言可以简单可以复杂，可以是一种或几种，就像即使是两个语言不通、文化背景不同的人还是可以通过眼神或者肢体语言去交流。
　　
　　如果按照机器、人、和环境，我们分析一下他们所能发出的信息的形式和接收的信息的形式，以这样的思路来进行。我们以机器人为例，机器可以以什么样的形式来表达出他想要表达的信息呢？
　　
　　我们一般可以分两种。
　　
　　一种是机器主动想表达的信息，这时候可能是机器的一个状态，机器需要告诉别人的一些信息，我们认为这是一种可控的信息，一般可以通过网络、串口、I/O、或者是它可以操作的一些动作来表达出来。
　　
　　还有一类信息是异常信息，这一类的信息其实可能不是机器想要发出的，而是一种被动输出。什么叫被动输出呢？比如，一个机器突然输出的产品大量产生异常，或者一个机器跑跑跑，某一个环节、电机要运动，然后发现怎么都运动不到。还有一种情况是机器做了一种行为，这种行为是不可理解的，或者不是预设的，那我们都认为这确实是机器要发出的信息，但不是机器主动发出的。
　　
　　从人的角度来说，人是的生物，可以通过工具发出他想要发出的信息，比如说他可以通过用户界面，甚至是一些按钮的操作，准确的发出他的指令，人也可以通过触碰产生一些信息，比如触碰一些光栅。在协作型机器人里，人和机器触碰甚至可能代表人让机器人停下来这种指令。
　　
　　环境的信息其实是被动的，因为环境是无法主动表达信息的，它可能是通过来料、出料的异常，甚至是温度、湿度的变化、甚至突然断电了，大家也不知道发生了什么。这些信息，你做一个简单的分析，会发现在这种交互过程中，异常信息是需要提前做好准备和响应方案的。
　　
　　而且同时，人和机器作为两个可以主动交互的对象，人比较，可以辨识、响应几乎一切信息，但是人大的问题在于人会疲劳，人可能会有情绪干扰，导致对信息判断的及时性和准确性进行干扰，没有机器判断那么稳定。
　　
　　机器由于不够聪明，一定没有人聪明，这时就会变成机器能把信息表达得多准确多全面，其实取决于设计机器的人希望机械可以做到什么样。
　　
　　回到现在这个问题来说，我想重要的就是异常的信息，我认为在自动化环节，三方的交互中，如果一切都是没有意外的，大家都按照预定的节奏和行为来进行操作，那么交互大可不必，每个人都按照既定要求来做，这其实是和谐的，实际上意外一定会产生，交互的意义就在于如何处理意外。
　　
　　这时候就变成了，我们如何感知异常，同时协商出来面对异常的机制，大家交互的协商，后达到异常的处理，回到原始的轨道。
　　
　　这里给大家举个例子，这里给家看个我们做的方案：
　　
　　这是一个非常简单的生产线上下料工艺的需求，大家可以看到，在图片左手边模拟的是一个隧道炉，这实际上是一个手机盖板非常典型的加工工艺，玻璃在进行前端丝印之后，它需要经过隧道炉完成印刷油墨的工艺要求，达到油墨的固定。
　　
　　前端，是人把丝印好的玻璃放在传送带上，上料的速度我们得到的信息一般是在1300片/h，有个重要的工艺要求，由于隧道炉中有烘烤的工艺，所以传送带是一定不可以停的。
　　
　　那么我们现在做的自动化是要干嘛呢，是要把从隧道炉里出来得刚刚烘烤过的玻璃安全的下到料盘里面。
　　
　　由于当时当时给我们的空间限制，隧道炉末端的空间非常有限，就是图中两个人所在的位置，那么自动化设备要快速的把每小时一千三百片的来料下到料盘里，这就是自动化的工艺要求，大家可以想想，对于机器人来说，在这样的工作空间里每小时可以做两千次，那以这样的速度，这个自动化方案的难点和异常点在哪里？
　　
　　我们做了一个工作站，这里包含了绿色的传送带，用来承接前端烘干机的传送带。在前端有一个视觉框架来动态识别玻璃的位置和转向，末端有一些机构来保证下料料盘如何周转。现在我列举几个实际操作中我们需要思考、处理的部分：
　　
　　1.瞬时uph。刚才提到烘干机前端是人工上料。人工上料有什么问题呢？比如，这个人的早中晚生产状态不同，在精神状态好的时候，可能连续的一段时间内生产效率非常高。可能在很累的时候生产效率就会很低，那么按照客户给的数据1300uph。这时就遇到了一个问题，假设五分钟之内，工人的状态很好，他的瞬时效率高于2000时，机器人怎么办？按照设定条件，机器人是来不及抓的。
　　
　　2.由于我们的视觉是用来判断传送带上的玻璃，我在辨识的时候，有些在上料的时候，混了一些一些料或者其他什么误差，导致玻璃没有辨识出来。或者说两个玻璃挨在一起了，视觉无法辨识两个玻璃的相对位置。这时候，这两片玻璃是抓不起来的。
　　
　　3.我在下料的时候，当我要把玻璃放在料盘里，恰巧料盘满料，下一个料盘还没过来。这时传送线上的玻璃如何处理？
　　
　　4.料盘和玻璃也有放置精度的问题，如果说传送带像我们现在看到的部分，宽度是一米二，如果我们用一个视觉相机来说，在一米二宽的视场范围内，在视场边缘会产生严重畸变，这时我在吸取玻璃时，比如吸取5.7寸的玻璃它在边缘的偏差可能就要大于两毫米。这时吸取的玻璃可能放不进料盘。
　　
　　5.假设吸盘变形，机器人看得很准，机器人到位也很准，但是吸盘坏了，吸起后玻璃偏了，还是放不进料盘。