Lenguaje de señas & Machine Learning | TM

¡Hola, gente linda! ¿Cómo les va? 🧉 Yo acá ando muy feliz porque ayer me enteré de la existencia de una hermosa herramienta llamada “Teachable Machine”, la cual va a poder materializar y simplificar uno de los proyectos que tengo en mente desde hace rato. Les cuento un poquito para meterlos en contexto… Hace aproximadamente dos meses, vengo comiéndome la cabeza con crear un sistema de reconocimiento automático de gestos que consiga interpretar el famoso lenguaje de señas; a fin de que personas sordo-mudas puedan comunicarse con individuos poco doctos en esta forma de comunicación no-verbal 🖐️.

La cuestión principal era encontrar una herramienta que me permitiese desarrollar este sistema de manera “simple” para así poder incluir a mis alumnos dentro del proyecto. Había encontrado una especie de “Scratch” modificado por desarrolladores de la India (que aún tengo que sentarme a estudiar en profundidad), pero - en un hallazgo casual (serendipia) - me topé con la “Teachable Machine” de Google.

¡Bienvenidos a una nueva actividad!

CANVA

El "Machine Learning" (Aprendizaje Automático) es una rama de la inteligencia artificial que permite a las máquinas aprender de datos y mejorar su rendimiento sin ser programadas explícitamente. A través de algoritmos, las computadoras identifican patrones en grandes cantidades de datos y los usan para hacer predicciones o tomar decisiones frente a nuevas situaciones que se presenten. Así, por ejemplo, podríamos cargar una máquina con 100 imágenes de diferentes manos haciendo el “saludo vulcano” de Sheldon Cooper 🖖 (aclarandole a la máquina, justamente, que eso es el “saludo vulcano”) para que ella pueda estudiar patrones entre las diferentes fotos y así poder saber ante una nueva imagen - que no ha formado parte de la muestra inicial - si se está ante un “saludo vulcano” o no.

Mientras más grande y diversa sea la muestra, mayor será también la potencial precisión de nuestra máquina. Si entrenamos, por ejemplo, una máquina que va a detectar perros sólo con fotos de perros siberianos; ¿qué pasará cuando esta máquina vea la imagen de un perro chihuahua? ¿Lo detectará como “perro” o no? Yo diría en un 99,9% de las veces que no, dado que la máquina sólo ha podido identificar patrones entre perros siberianos. Por ende, lo único que habremos creado será una excelente máquina identificadora de siberianos. “Esto es un perro siberiano” vs. “Esto NO es un perro siberiano”.

Con el lenguaje de señas sucede lo mismo. Lo ideal sería que la muestra contenga manos de diferentes proporciones, tonos y edades; para que la máquina pueda identificar patrones o, en otras palabras, lo que todas ellas tienen en común ante un caso particular (por ejemplo, 4 dedos levantados con el pulgar cerrado al medio hacen referencia a la letra “b” en el abecedario de señas). "¿Me estás diciendo, entonces, que tendría que realizar una muestra significativa para cada una de las letras del abecedario?" Es lo ideal e, incluso, podríamos verlo como algo super positivo más allá de la precisión. Imagínense a todo un colegio entero participando de la creación de una máquina que detecte el lenguaje de señas. Directivos, alumnos, docentes y no-docentes tomándose fotos representando cada una de las letras del abecedario de señas. 600 personas x 27 letras = 16.200 fotos. ¿Me van a decir que no es un lindo proyecto para fortalecer indirectamente la comunidad educativa en pos de la creación de algo lindo para toda la sociedad?

Manos a la obra...

Hagamos una breve demostración de cómo utilizar la “Teachable Machine” de Google mediante la creación de un sistema de lenguaje de señas propio el cual consta de tan sólo cinco palabras:

• “AGUANTE” = ✊

• “TECNOLOGIAR” = 🖐️

• “Y” = 🤙

• “EL” = 🤏

• “MATE” = 👆

  
  

A cada una de estas cinco palabras, le adjuntaremos varias imágenes de muestra las cuales iré tomando a través de mi cámara web; para que luego el sistema - a la hora de construir el modelo - estudie y reconozca patrones entre ellas de forma tal que pueda identificar correctamente nuevas imágenes que cumplan con similares características.

¿Y? ¿Qué tal? En pocos minutos, de manera muy sencilla, pudimos crear un sistema de reconocimiento de señas automático. Me saco el sombrero por esta maravillosa herramienta de Google que además cuenta con otro tipo de modelos de aprendizaje (audio y postura), tutoriales, proyectos de ejemplo y muchísimo más.

Les mando un abrazo grande y muchos éxitos en la implementación de esta herramienta con sus alumnos.

~ Marcos.