目前，机器人视觉伺服控制系统有以下几种分类方式：按照摄像机的数目的不同，可分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统。
单目视觉系统只能得到二维平面图像，无法直接得到目标的深度信息;多目视觉伺服系统可以获取目标多方向的图像，得到的信息丰富，但图像的信息处理量大，且摄像机越多越难以保证系统的稳定性。当前的视觉伺服系统主要采用双目视觉。按照摄像机放置位置的不同，可以分为手眼系统（eye in hand）和固定摄像机系统（eye to hand或stand alone）
在理论上手眼系统能够实现精确控制，但对系统的标定误差和机器人运动误差敏感;固定摄像机系统对机器人的运动学误差不敏感，但同等情况下得到的目标位姿信息的精度不如手眼系统，所以控制精度相对也低。
按照机器人的空间位置或图像特征，视觉伺服系统分为基于位置的视觉伺服系统和基于图像的视觉伺服系统在基于位置的视觉伺服系统中，对图像进行处理后计算出目标相对于摄像机和机器人的位姿，所以这就要求对摄像机、目标和机器人的模型进行校准，校准精度影响控制精度，这是这种方法的难点。控制时将需要变化的位姿转化成机器人关节转动的角度，由关节控制器来控制机器人关节转动。
在基于图像的视觉伺服系统中，控制误差信息来自于目标图像特征与期望图像特征之间的差异。对于这种控制方法，关键的问题是如何建立反映图像差异变化与机器手位姿速度变化之间关系的图像雅可比矩阵；另外一个问题是，图像是二维的，计算图像雅可比矩阵需要估计目标深度（三维信息），而深度估计一直是计算机视觉中的难点。
雅可比矩阵的计算方法有公式推导法、标定法、估计方法以及学习方法等，前者可以根据模型推导或标定得到，后者可以在线估计，学习方法主要利用神经网络方法。按照采用闭环关节控制器的机器人，视觉伺服系统分为动态观察-移动系统和直接视觉伺服
前者采用机器人关节反馈内环稳定机械臂，由图像处理模块计算出摄像机应具有的速度或位置增量，反馈至机器人关节控制器；后者则由图像处理模块直接计算机器人手臂各关节运动的控制量。
视觉伺服所面临的主要问题。视觉伺服的研究到目前已有近20年的历史，但是由于视觉伺服所涉及的学科众多，所以其发展有赖于这些学科的发展，目前在视觉伺服的研究中仍然有很多问题没有很好地解决。图像处理的方法在理论和实际计算处理速度上都是图像伺服最大的难点；在图像处理完成后，图像特征与机器人关节运动之间模型的建立是图像伺服的另一难点；目前的许多控制方法都不能保证系统在工作时是大范围稳定的，所以对有关控制方法的研究也是必要的。
