機器視覺使機器人具有視覺感知功能的系統，是機器人系統組成的重要部分之一。目前，廣泛應用于電子、汽車、機械等工業部門和醫學、軍事領域。對于機器人視覺技術的設計，存在以下幾個難點：
一、打光的穩定性
工業視覺應用一般分成四大類：定位、測量、檢測和識別，其中測量對光照的穩定性要求最高，因為光照只要發生10-20%的變化，測量結果將可能偏差出1-2個像素，這不是軟件的問題，這是光照變化，導致了圖像上邊緣位置發生了變化，即使再厲害的軟件也解決不了問題，必須從系統設計的角度，排除環境光的干擾，同時要保證主動照明光源的發光穩定性。當然通過硬件相機分辨率的提升也是提高精度，抗環境干擾的一種辦法了。比如之前的相機對應物空間尺寸是1個像素10um，而通過提升分辨率后變成1個像素5um，精度近似可以認為提升1倍，對環境的干擾自然增強了。
二、工件位置的不一致性
一般做測量的項目，無論是離線檢測，還是在線檢測，只要是全自動化的檢測設備，首先做的第一步工作都是要能找到待測目標物。每次待測目標物出現在拍攝視場中時，要能精確知道待測目標物在哪里，即使你使用一些機械夾具等，也不能特別高精度保證待測目標物每次都出現在同一位置的，這就需要用到定位功能，如果定位不準確，可能測量工具出現的位置就不準確，測量結果有時會有較大偏差。
三、標定
一般在高精度測量時需要做以下幾個標定：第一，光學畸變標定(如果您不是用的軟件鏡頭，一般都必須標定);第二，投影畸變的標定，也就是因為您安裝位置誤差代表的圖像畸變校正，三物像空間的標定，也就是具體算出每個像素對應物空間的尺寸。
不過目前的標定算法都是基于平面的標定，如果待測量的物理不是平面的，標定就會需要作一些特種算法來處理，通常的標定算法是解決不了的。
此外有些標定，因為不方面使用標定板，也必須設計特殊的標定方法，因此標定不一定能通過軟件中已有的標定算法全部解決。
四、物體的運動速度
如果被測量的物體不是靜止的，而是在運動狀態，那么一定要考慮運動模糊對圖像精度(模糊像素=物體運動速度*相機曝光時間)，這也不是軟件能夠解決的。
五、軟件的測量精度
在機器視覺測量應用中軟件的精度只能按照1/2—1/4個像素考慮，最好按照1/2，而不能向定位應用一樣達到1/10-1/30個像素精度，因為測量應用中軟件能夠從圖像上提取的特征點非常少。
