Por qué necesitamos Embedded Edge AI?

En un mundo donde incluso en el lugar más remoto tienen acceso a internet, Por qué necesitamos EDGE AI, IA Física o TinyML ?. Esa es la pregunta que voy a trata de responder en este artículo.

Primero comenzemos con algunas definiciones.

Embedded

Embedded systems son las computadoras que controlan la electrónica de todos los tipos de dispositivos físicos. Por ejemplo en CONAUTI LATAM usamos Nicla Vision que nos ayuda a capturar datos contextuales como video y sonido. En esa linea el Embedded Software es el software que corre dentro de estos dispositivos electrónicos.

Los embedded systems son usualmente diseñados para una tarea específica y dedicada. Por ejemplo desempeñar el proceso ETL (extracción, Transformación y Carga de datos) en un flujo de Machine Learning.

Finalmente AI Programming embedded systems es el arte o ciencia de desplegar modelos IA sean estos machine learning, deep learning o IA generatia en dispositivos electrónicos con limitaciones de memoria flash, ram y de aceleradores AI. Ejemplos de estos hardware que usamos en CONAUTI LATAM son Nicla Visión, Portenta y Raspberry Pi.

Edge Devices

Los Edge Devices son los que desempeñan calculos computacionales en el dispositivo local no en un servidor en la nube. Esto tambien se conoce como Edge Computing.

Uno de los mayores beneficios de tener una red de dispositivos edge es que la data obtenida del mundo real se mantiene local.

Edge AI

Entonces los edge devices son embedded systems que proveen el puente entre el mundo digital y el mundo físico. Recordemos que la data es la materia prima que necesitamos para que el entrenamiento e inferencia de Modelos de Machine Learning, Deep Learning o IA generativa. Un tema importante a notar es que la data no estructurada como el video y audio se diferencia de la data estrucuturada, datos que viene de sensores, esta última tiende a tener altos volumenes pero relativa poca información útil.

Por ejempo en Edgemant Conauti para el mantenimiento predictivo tipicamente los dispositivos IoT que usamos son vistos como dispositivos que solo adquieren datos a través de sus sensores y la envian a servidores para luego ser usados en el proceso de Inferencia de nuestros Trabajadores Especializados en mantenimiento (Agentes IA). El problema es que no simpre esa data es útil y almacenarla para luego hacer inferencia AI es costosa, más aún si se almacena en la nube.

La solución entonces es Edge AI. En Edgemant Conauti lo que hacemos es en vez de enviar la data hacia un servidos sea local o en la nube, llevamos los Modelos de ML, DL o Agentes IA al hardware donde se obtiene la data. Esto permite el analisis de la data on-device y solo enviar la data útil al servidor local o en la nube. Reduciendo significativemnte los costos de energía por el envío de la data y los costos por almacenamiento de la data.

En conclusión Edge AI es hacer decisiones en edge, cerca de donde se obtiene la data.

Inicio de Publicidad —–

Fin de Publicidad —–

Embedded Machine Learning

Es el arte y ciencia de desplegar Agentes IA, modelos machine learning o deep learning en embeddeds devices con restricciones de memoria ram, flash o almacenamiento y de aceleradores como gpu o tpu.

Ahora si pasemo a repsonder:

Por qué necesitamos Embedded Edge AI?

Usemos nuestro framewor BLERP:

B: Cuando no tengamos ancho de banda o buena conexión a intener.

L: Cuando el requerimiento de latencia (tiempo total que le toma al Agente IA hacer inferencia)

E: Cuando se quiera economizar. Reducir costos y energía por mover la data y almacenarla.

R: Cuando buscamos seguridad de acceso a datos y Agentes. Buscamos cumplir leyes y regulaciones de protección y tratamiento de datos.

P: Cuando buscamos privacidad de nuestros datos.

En conclusión con Embedded Edge AI la data no necesita salir del dispositivo o lugar físico para ser procesada por Agentes IA. Esto permite aumentar la relación de confianza entre el usuario y el producto, dando al usuario el control absoluto de sus datos.

Puedes leer más en nuestro blog sobre Edge AI, Ia Físicia o Tiny ML. Clic acá ( BLOG EDGE AI )

O ver este webinar

Enrique Suárez.