Interacción entre OpenCV y Arduino con pySerial

Posted on July 17, 2014 by Gl4r3

(Última actualización 21/7/2019)

¡Hola, humano! Hoy voy a explicar cómo se puede comunicar una placa Arduino y controlarla mediante OpenCV. Más concretamente, voy a reciclar el código de mi tutorial de detección de colores: cada vez que la cámara vea un objeto verde de un cierto tamaño, se encenderá el led 13 de la placa Arduino.

Para ello utilizaremos la librería pySerial para poder enviar comandos por serial con python a Arduino.

Y como siempre, pondremos un poco de música mientras trabajamos por supuesto.

¿Por qué utilizar Arduino para controlar actuadores?

Si planeamos construir un robot que deba realizar cálculos complejos (como es el caso de la visión por computador) Arduino se nos queda corta.

Por esa razón, es mejor delegar el grueso de nuestros cálculos a nuestro PC o a una SBC como puede ser Raspberry Pi u otras más potentes (Wandboard, Odroid, etc). Muchas de estas placas disponen de pines GPIO para controlar actuadores, pero mi experiencia me dice que en muchas ocasiones son difíciles de configurar. Sin embargo, Arduino nos permite controlar estos actuadores muy fácilmente, de forma que es una buena idea conectarla a nuestra SBC para que reciba instrucciones vía USB.

Acerca de Pyserial

pySerial es una librería que permite enviar comandos, strings e información por Serial. Utilizar esta librería es la forma más sencilla que tenemos para enviar los datos de OpenCV a la placa Arduino.

pySerial viene por defecto con la última versión de Python, pero si por alguna extraña razón no la tienes y estás en Linux (Ubuntu, Debian o una distribución con sistema de paquetes .deb), abre la Terminal y escribe:

sudo apt-get install python-serial

Tutorial

Necesitamos:

Ordenador con OpenCV y Arduino IDE instalados
Placa Arduino y Cable USB. Cualquier modelo de Arduino valdrá.
Webcam configurada y funcional

Comenzamos escribiendo el código para Arduino. Es muy sencillo: si recibe ‘h’ por serial se enciende el pin 13, si no, se apaga. Puedes conectar un LED exterior al pin 13 si lo prefieres.


/*
Interaccion entre Arduino y OpenCV
Codigo para Arduino

Por Glar3
*/

#define LED 13
char lectura; //Variable para guardar la lectura del Serial

void setup()
{
   //Iniciamos el Serial:
   Serial.begin(9600);

   //Inicializamos el pin 13
   pinMode(LED, OUTPUT);
}

void loop()
{
   //Si recibimos algo por serial, lo guardamos
   if(Serial.available() >= 1)
   {
      lectura = Serial.read();

      //-Si recibiste 'h' -> enciende LED
      //-Si recibiste otro caracter -> apaga el LED
      if(lectura == 'h')
      {
         digitalWrite(LED, HIGH);
      }
      else
      {
         digitalWrite(LED, LOW);
      }
   }
}

El código de OpenCV, como ya he dicho, es una variación del que escribí en el tutorial de detección de colores. Buscará un objeto verde y si este tiene un cierto tamaño, se envía el carácter ‘h’ por Serial. Si no, se envía ‘n’.

Si quieres entender cómo funciona el código de detección de colores deberías leer el tutorial original.

#Codigo de interaccion entre Arduino y OpenCV
#Por Glar3
 
import cv2
import numpy as np
import serial #cargamos la libreria serial
 
#Iniciamos la camara
captura = cv2.VideoCapture(0)
 
#Iniciamos la comunicacion serial
ser = serial.Serial('/dev/ttyUSB0', 9600)
 
while(1):
 
   #Capturamos una imagen y la convertimos de RGB -> HSV
   _, imagen = captura.read()
   hsv = cv2.cvtColor(imagen, cv2.COLOR_BGR2HSV)
 
   #Establecemos el rango de colores que vamos a detectar
   #En este caso de verde oscuro a verde-azulado claro
   verde_bajos = np.array([49,50,50], dtype=np.uint8)
   verde_altos = np.array([80, 255, 255], dtype=np.uint8)
 
   #Crear una mascara con solo los pixeles dentro del rango de verdes
   mask = cv2.inRange(hsv, verde_bajos, verde_altos)
 
   #Encontrar el area de los objetos que detecta la camara
   moments = cv2.moments(mask)
   area = moments['m00']
 
   #Descomentar para ver el area por pantalla
   #print(area)
 
   #Si el objeto tiene un area determinada, escribimos 'h'
   #Si no, escribimos un caracter erroneo
   if(area > 2000000):
      ser.write(str('h').encode())
 
   else:
      ser.write(str('n').encode())
 
   #Mostramos la imagen original y
   #la mascara
   cv2.imshow('mask', mask)
   cv2.imshow('Camara', imagen)
   tecla = cv2.waitKey(5) & 0xFF
   if tecla == 27:
      break
 
cv2.destroyAllWindows()

¡Recuerda cambiar la dirección ‘/dev/ttyUSB0’ de la línea 13 por la dirección de tu Arduino! Si estás en linux seguramente no tendrás que cambiarla, y si estás en Windows será ‘COM3’ o un nombre parecido.

Y esto es todo por hoy. Si has seguido todos los pasos debería encenderse el LED 13 de Arduino cada vez que la cámara detecta un objeto de color verde. Si no te funciona, revisa el código. También puedes dejarme tus dudas en los comentarios y te responderé en cuánto pueda.

Por otra parte, si te sirvió este tutorial y quieres estar al día de nuestras publicaciones, no dudes en seguirnos en nuestra página de Twitter o Facebook 😉

Gl4r3

Brillante, luminosa y cegadora a veces, Glare es tan artista como técnica. Le encanta dar rienda suelta a sus módulos de imaginación y desdibujar los ya de por si delgados límites que separan el mundo de la electrónica y el arte. Su mayor creación hasta la fecha es un instrumento capaz de convertir los colores y la luz en música. Cuándo sus circuitos no están trabajando en una nueva obra electrónica, le gusta dedicar sus ciclos a la lectura o a documentar sus invenciones para beneficio de los humanos. Sus artilugios favoritos son aquellos que combinan una funcionalidad práctica con un diseño elegante y artístico.