Interacción entre OpenCV y Arduino con pySerial

Si eres alguno de nuestros lectores habituales habrás notado que últimamente se me ha dado por escribir tutoriales y guías de OpenCV. Hoy voy a explicar cómo se puede comunicar una placa Arduino y controlarla mediante OpenCV. Más concretamente, voy a reciclar el código de mi tutorial de detección de colores y, cada vez que la cámara vea un objeto verde, se encenderá el led 13 de la placa Arduino.

Para ello utilizaremos la librería Pyserial para poder enviar comandos por serial con python a Arduino.

Y pondremos un poco de música, por supuesto.

Supondré que tienes instalado OpenCV y conoces algunas de sus funciones básicas. Además, necesitarás saber cómo funciona la IDE de Arduino y como programarla.

¿Por qué utilizar Arduino para controlar actuadores?

Si planeamos construir un robot que deba realizar cálculos complejos (como es el caso de la visión por computador) Arduino se nos queda corta.

Por esa razón, es mejor delegar el grueso de nuestros cálculos a una SBC como puede ser Raspberry Pi u otras más potentes (Wandboard, Odroid, etc). Muchas de estas placas disponen de pines GPIO para controlar actuadores, pero mi experiencia me dice que en muchas ocasiones son difíciles de configurar (si habéis intentado controlar un servo con Raspberry Pi ya sabéis de qué hablo). Sin embargo, Arduino nos permite controlar estos actuadores muy fácilmente, de forma que es una buena idea conectarla a nuestra SBC para que reciba instrucciones vía USB.

Hay muchas SBCs diferentes

Acerca de Pyserial

pySerial es una librería que permite enviar comandos, strings y información variada por Serial. Utilizar esta librería es la forma más sencilla que tenemos para enviar los datos de OpenCV a la placa Arduino.

pySerial viene por defecto con la última versión de Python, pero si por alguna extraña razón no la tienes y estás en Linux (Ubuntu, Debian o una distribución con sistema de paquetes .deb), abre la Terminal y escribe:

sudo apt-get install python-serial

Tutorial

Necesitamos:

1. Ordenador con OpenCV y Arduino IDE instalados
2. Placa Arduino y Cable USB. Cualquier modelo de Arduino valdrá.
3. Webcam configurada y funcional

Comenzamos escribiendo el código para Arduino. Es muy sencillo: si recibe ‘h’ por serial se enciende el pin 13, si no, se apaga. Puedes conectar un LED exterior al pin 13 si lo prefieres.

/*
Interaccion entre Arduino y OpenCV
Codigo para Arduino

Por Glar3
*/

#define LED 13
char lectura; //Variable para guardar la lectura del Serial

void setup()
{
   //Iniciamos el Serial:
   Serial.begin(9600);

   //Inicializamos el pin 13
   pinMode(LED, OUTPUT);
}

void loop()
{
   //Si recibimos algo por serial, lo guardamos
   if(Serial.available() >= 1)
   {
      lectura = Serial.read();

      //-Si recibiste 'h' -> enciende LED
      //-Si recibiste otro caracter -> apaga el LED
      if(lectura == 'h')
      {
         digitalWrite(LED, HIGH);
      }
      else
      {
         digitalWrite(LED, LOW);
      }
   }
}

El código de OpenCV, como ya he dicho, es una variación del que escribí en el tutorial de detección de colores. Buscará un objeto verde y si este tiene un cierto tamaño, se envía el carácter ‘h’ por Serial. Si no, se envía ‘n’.

Si quieres entender cómo funciona el código de detección de colores deberías leer el tutorial original.

#Codigo de interaccion entre Arduino y OpenCV
#Por Glar3

import cv2
import numpy as np
import serial #cargamos la libreria serial

#Iniciamos la camara
captura = cv2.VideoCapture(0)

#Iniciamos la comunicacion serial
ser = serial.Serial('/dev/ttyUSB0', 9600)

while(1):

   #Capturamos una imagen y la convertimos de RGB -> HSV
   _, imagen = captura.read()
   hsv = cv2.cvtColor(imagen, cv2.COLOR_BGR2HSV)

   #Establecemos el rango de colores que vamos a detectar
   #En este caso de verde oscuro a verde-azulado claro
   verde_bajos = np.array([49,50,50], dtype=np.uint8)
   verde_altos = np.array([80, 255, 255], dtype=np.uint8)

   #Crear una mascara con solo los pixeles dentro del rango de verdes
   mask = cv2.inRange(hsv, verde_bajos, verde_altos)

   #Encontrar el area de los objetos que detecta la camara
   moments = cv2.moments(mask)
   area = moments['m00']

   #Descomentar para ver el area por pantalla
   #print area

   #Si el objeto tiene un area determinada, escribimos 'h'
   #Si no, escribimos un caracter erroneo
   if(area > 2000000):
      ser.write('h')

   else:
      ser.write('n')

   #Mostramos la imagen original y
   #la mascara
   cv2.imshow('mask', mask)
   cv2.imshow('Camara', imagen)
   tecla = cv2.waitKey(5) & 0xFF
   if tecla == 27:
      break

cv2.destroyAllWindows()

¡Recuerda cambiar la dirección ‘/dev/ttyUSB0’ de la línea 12 por la dirección de tu Arduino! Si estás en linux seguramente no tendrás que cambiarla, y si estás en Windows será ‘COM3’ o un nombre parecido.

Y esto es todo por hoy. Si has seguido todos los pasos debería encenderse el LED 13 de Arduino cada vez que la cámara detecta un objeto de color verde. Si no te funciona, revisa el código. También puedes dejarme tus dudas en los comentarios y te responderé en cuánto pueda.

Por otra parte, si te sirvió este tutorial también puedes agradecérmelo. ¡Estaré contenta!