Redes neuronales en la caracterización de señales bioeléctricas

Las señales bioeléctricas [1] representan variables fisiológicas que son relevantes para la generación de interfaces más naturales entre un ser humano y una máquina. A partir de tales variables, podemos obtener comandos que pueden controlar cualquier tipo de dispositivo tecnológico, y así se pueden diseñar interfaces hombre-máquina (HMI).

Las variables fisiológicas pueden ser un voltaje muy pequeño, como el que se obtiene en un electroencefalograma, o voltajes de mayor magnitud, como los relacionados con un electrocardiograma. El uso de señales de este tipo para el control de dispositivos electrónicos, es de sustancial relevancia social ya que todas las personas generan señales de tales magnitudes físicas, independientemente de si tienen enfermedades o están sanas, y si tienen todas sus capacidades o presentan capacidades diferentes.

Recientemente, se han dedicado muchos esfuerzos al desarrollo de interfaces amigables para generar HMI que pueden usar biometría como voz, visión, gestos y bioseñales como canales de entrada y salida. Algunas de estas HMI pueden implicar el uso de movimientos corporales, como los movimientos de las manos, que requieren un dispositivo multimedia que pueda capturarlos [2, 3, 4].

Sin embargo, la señal biométrica que presentamos en esta web son las bioseñales, por ejemplo las señales cerebrales bioeléctricas o EEG (electroencefalograma), que son muy interesantes, y también se han utilizado como elementos de control. El primer experimento que demostró la posibilidad real de utilizar señales EEG como elementos de control fue realizado por Vidal [5], quien fue director del Laboratorio de Interfaces Cerebro-Computadora de la UCLA, y desde ese momento se han creado diferentes interfaces basadas en dicho esquema. [6,7,8,9]. El análisis de las señales de EEG ayudó a desarrollar las interfaces cerebro-computadora (BCI), las BCI se han utilizado en muchas aplicaciones como robots voladores [10], sillas de ruedas robóticas [11], control de robots humanoides [12], jugar con robots [13], brazos robóticos de control [14], entre otras aplicaciones. Este tipo de interfaces también se puede utilizar para ayudar a personas con discapacidades físicas [15].

A pesar de la utilidad de señales como EEG e interfaces como BCI, vamos a centrarnos en el EMG y sus aplicaciones prácticas. Las señales EMG son variables muy importantes para el control de elementos tecnológicos, principalmente porque se pueden obtener de forma relativamente fácil y económica. A través del estudio y procesamiento de señales de este tipo, es posible hoy en día detectar emociones [16], hacer música [17] e incluso desarrollar ropa elegante [18].

Las señales EMG han permitido el control de varios tipos de dispositivos. Un ejemplo del uso de EMG como comando de control se presenta en [19], donde los autores realizaron el control en tiempo real de un brazo robótico con cuatro grados de libertad con tales señales.

En [20], las señales EMG se utilizaron para controlar teléfonos móviles. En este trabajo, los autores discuten que incluso utilizando técnicas de procesamiento sencillas, es posible detectar pequeñas contracciones musculares y, por tanto, adquirir datos.

Se ha controlado un reproductor MP3 mediante EMG en [21], lo que demuestra una posible aplicación de tales señales.

En 1997, el Laboratorio de Neuro-Ingeniería del Centro de Investigación Ames de la NASA inició un programa de investigación avanzada: la Iniciativa de Extensión de los Sentidos Humanos (EHS). EHS fue un esfuerzo para producir la próxima generación de tecnologías de interfaz de máquina y software, que incluyen herramientas de comunicación humana que utilizan EMG y EEG. Desarrollaron un control biológico de simulación de barco tipo 757 [22].

Recientemente en [23], Khanna desarrolló una red neuronal que puede clasificar los gestos con las manos. Usando Arduino, obtuvieron información relacionada con los gestos con las manos y esa información fue procesada por una red neuronal. Caracterizaron tres gestos con las manos: puño cerrado, dedo índice puntiagudo y posición de descanso natural. Demostraron la idoneidad del microcontrolador Arduino como herramienta de adquisición de datos.

Por otro lado, se han presentado algunos trabajos relacionados con el uso de la Transformada Wavelet (WT) para analizar las señales EMG, por ejemplo, [24] y [25] utilizaron la Transformada Wavelet Discreta (DWT) para extraer características de EMG señales.

Según [26], WT es una de las herramientas de procesamiento de señales más poderosas para analizar señales EMG. En tal estudio, los autores investigaron la utilidad de la extracción de las características EMG de la descomposición de ondas de múltiples niveles de la señal EMG. Utilizaron diferentes niveles de varias ondas madre para obtener los componentes de resolución útiles de la señal EMG.

Los autores en [27] dicen que la clasificación de los patrones de señales EMG ha sido objeto de un esfuerzo de investigación considerable en los últimos años. En ese estudio, se desarrollaron clasificadores basados ​​en redes neuronales artificiales de retropropagación de errores de retroalimentación (FEBANN) y redes neuronales wavelet (WNN) y se compararon en relación con su precisión en la clasificación de señales EMG.

Como experimento práctico, podemos ver [28] donde los autores analizaron las señales EMG provenientes de dos sujetos diferentes utilizando una integración novedosa de Red Neural Artificial (ANN) y wavelet. Según los autores, sus resultados muestran cómo su metodología permite obtener una buena precisión en la clasificación de las posturas de las manos y abre el camino a prótesis de mano más funcionales. Siguiendo esta idea, los autores en [29] afirman que es necesario aprovechar mejor las señales EMG para aumentar la eficacia de las prótesis de mano. Individualizaron cinco movimientos para la movilidad muñeca-mano. Luego diseñaron la electrónica básica y el software para la adquisición y el análisis de las señales EMG.

Señales bioeléctricas

Es bien sabido que cada cuerpo biológico genera impulsos eléctricos que dependen de la actividad que se esté realizando, sin importar si se trata de una actividad mental o una actividad corporal. Estos potenciales eléctricos son generados por células que se denominan células excitables y su actividad electroquímica. Todos los impulsos que genera un cuerpo biológico se denominan impulsos bioeléctricos. Según el tipo de actividad y la zona corporal que las genera, estas señales tienen un comportamiento eléctrico característico, como se puede apreciar en la Tabla 1.

Tabla 1. Características de diferentes señales bioeléctricas. Indicando su amplitud y su frecuencia.

Estos datos proporcionan información que depende de la persona. Por tanto, debido a la variación de estos datos, es posible obtener diagnósticos médicos o identificar cambios que se están produciendo en el organismo. En este caso, estos datos son importantes porque podemos caracterizar la información que nos brinda el cuerpo humano por medio de una red neuronal y, así, poder utilizar dicha información como elemento de control.

¿Cómo trabajar con señales EMG?

Actualmente, existen una gran cantidad de herramientas que pueden permitir a un usuario poder extraer señales EMG de un cuerpo humano sin procesos invasivos, así como también poderlas caracterizar de forma muy simple y económica.

Para poder extraer estas señales de forma barata y sencilla, se puede utilizar el Myoware Muscle Sensor, que vemos en la figura 1. Este sensor permite adquirir las señales del cuerpo humano, sólo colocándolo a un musculo por medio de electrodos sencillos. Estos electrodos irán colocados al musculo y a una “referencia” para de esta forma obtener una señal adecuada cuando el musculo se mueve. Cada vez que un musculo se mueve, se genera un impulso eléctrico en el cuerpo, y es precisamente este impulso el que el sensor capta.

Fig. 1.-Myoware Muscle sensor, y la forma en la que procesa la información cruda antes de enviarla a un dispositivo receptor de información.

Una característica de este sensor, es que, como podemos ver en la figura 1, procesa la señal original obtenida del cuerpo, es decir, el sensor enviará una señal no cruda al dispositivo que capte la información, que puede ser un Arduino.

Una vez dentro del dispositivo, o una computadora, esta señal puede ser caracterizada por medio del Deep learning toolbox de Matlab, que tiene las herramientas necesarias para poder caracterizar e interpretar las señales obtenidas a través del sensor.

Es importante mencionar, que para entrenar una RNA adecuadamente, es necesario tener muchas muestras (en este caso de las señales bioeléctricas de un movimiento muscular), e irle informando a la red neuronal que tipo de movimiento se está realizando en el musculo. De esta forma, la RNA ira aprendiendo a identificar cada una de las señales eléctricas correspondientes a cada uno de los movimientos musculares.

Este problema técnico y científico presenta gran relevancia a nivel global, debido a que el uso de estas señales puede ser un gran paso para la generación de interacciones más naturales entre los humanos y las máquinas, en esta forma, el humano también sería un ente activo de los nuevos esquemas de comunicaciones tales como el Internet de las Cosas o la Industria 4.0.

Existen diferentes grupos de científicos y recursos humanos híper especializados que se encargan de compilar datos de este tipo, en internet se pueden encontrar grandes cantidades de datos relacionados al tema, sin embargo, para fines del uso en esta web, nosotros recomendamos la base de datos:

https://archive.ics.uci.edu/ml/datasets/sEMG+for+Basic+Hand+movements

La cual contiene señales bioeléctricas que pueden ser utilizadas libremente para el desarrollo de propuestas científicas, estas señales pueden ser caracterizadas por diferentes tipos de redes neuronales, o cualquier algoritmo de clasificación.

Por medio de la descripción de estos elementos, alentamos a los alumnos a desarrollar sus propios sistemas controlados por medio de señales bioeléctricas.

Se propone el siguiente esquema de trabajo, en donde el sensor capta las señales bioeléctricas, estas son caracterizadas por medio de redes neuronales y por medio de protocolos de comunicación dentro del Internet de las Cosas, los movimientos musculares sirvan de elementos de control remoto.

Fig2.- Esquema de trabajo de un sistema de control remoto por medio del Internet de las cosas utilizando la caracterización de señales bioeléctricas.

Referencias

[1] Singh, Y. N., Singh, S. K., & Ray, A. K. (2012). Bioelectrical signals as emerging biometrics: Issues and challenges. International Scholarly Research Notices, 2012.

[2] Chaudhary, A.; Raheja, J.; Das, K.; Raheja, S. Intelligent Approaches to interact with Machines using Hand Gesture Recognition in Natural way: A Survey. Int. J. Comput. Sci. Eng. Surv. 2011, 2, 122–133.

[3] Pavlovic, V.I.; Sharma, R.; Huang, T.S. Visual interpretation of hand gestures for human-computer interaction: A review. IEEE Trans. Pattern Anal. Mach. Intell. 1997, 7, 677–695.

[4] Rautaray, S.S.; Agrawal, A. Vision based hand gesture recognition for human computer interaction: A survey. Artif. Intell. Rev. 2012, 43, 1–54.

[5] Vidal, J.J. Realtime Detection of Brain Events in EEG. Proc. IEEE 1977, 65, 633–641.

[6] Keirn, Z.A.; Aunon, J.I. A New Mode of Communication Between Man and his Surroundings. IEEE Trans. Biomed. Eng. 1990, 37, 1209–1214.

[7] Scherer, R.; Lee, F.; Schlögl, A.; Leeb, R.; Bischof, H.; Pfurtscheller, G. Toward self-paced brain-computer communication: Navigation through virtual worlds. IEEE Trans. Biomed. Eng. 2008, 55, 675–682.

[8] Chae, Y.; Jeong, J.; Jo, S. Toward brain-actuated humanoid robots: Asynchronous direct control using an EEG-Based BCI. IEEE Trans. Robot. 2012, 28, 1131–1144.

[9] Lotte, F.; Congedo, M.; Lécuyer, A.; Lamarche, F.; Arnaldi, B. A review of classification algorithms for EEG-based brain-computer interfaces. J. Neural Eng. 2007, 4, R1.

[10] Akce, A.; Johnson, M.; Dantsker, O.; Bretl, T. A brain-machine interface to navigate a mobile robot in a planar workspace: Enabling humans to fly simulated aircraft with EEG. IEEE Trans. Neural Syst. Rehabil. Eng. 2013, 21, 306–318.

[11] Leeb, R.; Friedman, D.; Müller-Putz, G.R.; Scherer, R.; Slater, M.; Pfurtscheller, G. Self-paced (asynchronous) BCI control of a wheelchair in virtual environments: A case study with a tetraplegic. Comput. Intell. Neurosci. 2007, 2007, 1–8.

[12] Li, W.; Li, M.; Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 2015, 8, 247.

[13] Queiroz, R.L.; de Azeredo Coutinho, I.B.; Xexéo, G.B.; Lima, P.M.V.; Sampaio, F.F. Playing with Robots Using Your Brain. In Proceedings of the 17th Brazilian Symposium on Computer Games and Digital Entertainment (SBGames), Foz do Iguaçu, Brazil, 29 October–1 November 2018.

[14] Chen, X.; Zhao, B.; Wang, Y.; Xu, S.; Gao, X. Control of a 7-DOF Robotic Arm System With an SSVEP-Based BCI. Int. J. Neural Syst. 2018, 28, 1850018.

[15] Wang, F.; Zhang, X.; Fu, R.; Sun, G. Study of the home-auxiliary robot based on BCI. Sensors 2018, 18, 1779.

[16] Wagner, J.; Kim, J.; André, E. From physiological signals to emotions: Implementing and comparing selected methods for feature extraction and classification. In Proceedings of the IEEE International Conference on Multimedia and Expo, Amsterdam, Netherlands, 6 July 2005.

[17] Dubost, G.; Tanaka, A. A wireless, networkbased biosensor interface for music. In Proceedings of the ICMC, Gothenburg, Sweden, 16–21 September 2002.

[18] Tröster, G. The Agenda of Wearable Healthcare. Yearb. Med. Inform. 2018, 14, 125–138.

[19] Beau, C.; Kai, M.; Pradeep, S.; Rao, R. Real-Time Classification of Electromyographic Signals for Robotic Control. Available online: http://aaai.org/Papers/AAAI/2005/AAAI05-082.pdf (accessed on 20 April 2019).

[20] Costanza, E.; Perdomo, A.; Inverso, S.A.; Allen, R. EMG as a Subtle Input Interface for Mobile Computing. In Proceedings of the International Conference on Mobile Human-Computer Interaction, Glasgow, UK, 13–16 September 2004.

[21] Fistre, J.; Tanaka, A. Real Time EMG Gesture Recognition for Consumer Electronics Device Control. Available online: https://www.researchgate.net/publication/247342413_Real_Time_EMG_Gesture_Recogniti on_for_Consumer_Electronics_Device_Control (accessed on 20 April 2019).

[22] Jorgensen, C.; Wheeler, K.; Stepniewski, S.; Norvig, P. Bioelectric Control of a 757 Class High Fidelity Aircraft Simulation. Available online: https://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/20010083844.pdf (accessed on 20 April 2019).

[23] Khanna, A.; Muthukumaraswamy, S.A. Cost-effective system for the classification of muscular intent using surface electromyography and artificial neural networks. In Proceedings of the International conference of Electronics, Communication and Aerospace Technology (ICECA), Coimbatore, India, 20–22 April 2017.

[24] Betancourt, G.A.; Suárez, E.G.; Franco, J.F. Reconocimiento de Patrones de Movimiento a partir de Señales Electromiográficas. Sci. Tech. 2004, 10, 53–58.

[25] García, J.A.; Mendoza, L.E. Adquisición y procesamiento de señales EMG para controlar movimiento de un brazo hidraúlico. Rev. MundoFesc 2014, 4, 49–60.

[26] Phinyomark, A.; Limsakul, C.; Phukpattaranont, P. Application of wavelet analysis in EMG feature extraction for pattern classification. Meas. Sci. Rev. 2011, 11, 45–52.

[27] Subasi, A.; Yilmaz, M.; Ozcalik, H.R. Classification of EMG signals using wavelet neural network. J. Neurosci. Methods 2006, 156, 360–367.

[28]. Arvetti, M.; Gini, G.; Folgheraiter, M. Classification of EMG signals through wavelet analysis and neural networks for controlling an active hand prosthesis. In Proceedings of the IEEE 10th International Conference on Rehabilitation Robotics, London, UK, 13–15 June 2007.

[29] Gini, G.; Arvetti, M.; Somlai, I.; Folgheraiter, M. Acquisition and analysis of EMG signals to recognize multiple hand movements for prosthetic applications. Appl. Bionics Biomech. 2012, 9, 145–155.