Un Roomba grabó a una mujer en el inodoro. ¿Cómo terminaron las capturas de pantalla en Facebook?

Las empresas de aspiradoras robóticas dicen que sus imágenes están seguras, pero una cadena de suministro global en expansión para los datos de nuestros dispositivos genera riesgos.

En el otoño de 2020, trabajadores temporales en Venezuela publicaron una serie de imágenes en foros en línea donde se reunían para hablar de negocios. Las fotos eran escenas domésticas mundanas, aunque a veces íntimas, capturadas desde ángulos bajos, incluidas algunas que realmente no querrías compartir en Internet.

En una toma particularmente reveladora, una mujer joven con una camiseta lavanda se sienta en el inodoro, con los pantalones cortos bajados hasta la mitad del muslo.

Las imágenes no fueron tomadas por una persona, sino por versiones de desarrollo del robot aspirador de la serie Roomba J7 de iRobot. Luego fueron enviados a Scale AI, una startup que contrata a trabajadores de todo el mundo para etiquetar datos de audio, fotos y videos utilizados para entrenar inteligencia artificial.

Eran el tipo de escenas que los dispositivos conectados a Internet capturan y envían regularmente a la nube, aunque generalmente con controles de acceso y almacenamiento más estrictos. Sin embargo, a principios de este año, MIT Technology Review obtuvo 15 capturas de pantalla de estas fotos privadas, que se habían publicado en grupos cerrados de redes sociales.

Las fotos varían en tipo y sensibilidad. La imagen más íntima que vimos fue la serie de imágenes fijas de video que mostraban a la joven en el inodoro, con el rostro bloqueado en la imagen principal pero sin ocultar en el desplazamiento granulado de tomas a continuación. En otra imagen, un niño que parece tener ocho o nueve años, y cuyo rostro es claramente visible, está tumbado boca abajo en el suelo de un pasillo. Un mechón triangular de cabello se derrama sobre su frente mientras mira, con aparente diversión, al objeto que lo registra justo debajo del nivel de sus ojos.

Las otras tomas muestran habitaciones de casas de todo el mundo, algunas ocupadas por humanos, una por un perro. Los muebles, la decoración y los objetos ubicados en lo alto de las paredes y los techos están delimitados por cajas rectangulares y acompañados de etiquetas como "tv", "planta_o_flor" y "luz de techo".

iRobot, el proveedor de aspiradoras robóticas más grande del mundo, que Amazon adquirió recientemente por $ 1.7 mil millones en un acuerdo pendiente, confirmó que estas imágenes fueron capturadas por sus Roombas en 2020. Todas ellas provienen de "robots de desarrollo especiales con modificaciones de hardware y software que son no y nunca estuvieron presentes en los productos de consumo de iRobot para la compra", dijo la compañía en un comunicado. Se entregaron a "recolectores y empleados pagados" que firmaron acuerdos por escrito reconociendo que estaban enviando flujos de datos, incluido video, a la empresa con fines de capacitación. Según iRobot, los dispositivos estaban etiquetados con una etiqueta verde brillante que decía "grabación de video en progreso" y dependía de los recolectores de datos pagados "eliminar cualquier cosa que consideren sensible de cualquier espacio en el que opere el robot, incluidos los niños".

¿Participaste en los esfuerzos de recopilación de datos de iRobot? Nos encantaría saber de usted. Comuníquese con[email protected].

En otras palabras, según la estimación de iRobot, cualquier persona cuyas fotos o videos aparecieran en las transmisiones había accedido a que sus Roombas los monitorearan. iRobot se negó a permitir que MIT Technology Review viera los acuerdos de consentimiento y no puso a ninguno de sus cobradores o empleados pagados a disposición para discutir su comprensión de los términos.

Si bien las imágenes compartidas con nosotros no provienen de clientes de iRobot, los consumidores aceptan regularmente que nuestros datos sean monitoreados en diversos grados en dispositivos que van desde iPhones hasta lavadoras. Es una práctica que solo se ha vuelto más común durante la última década, ya que la inteligencia artificial hambrienta de datos se ha integrado cada vez más en una gama completamente nueva de productos y servicios. Gran parte de esta tecnología se basa en el aprendizaje automático, una técnica que utiliza una gran cantidad de datos, incluidas nuestras voces, rostros, hogares y otra información personal, para entrenar algoritmos para reconocer patrones. Los conjuntos de datos más útiles son los más realistas, lo que hace que los datos provenientes de entornos reales, como hogares, sean especialmente valiosos. A menudo, optamos por simplemente usar el producto, como se indica en las políticas de privacidad con un lenguaje vago que otorga a las empresas una amplia discreción en la forma en que difunden y analizan la información del consumidor.

Los datos recopilados por los robots aspiradores pueden ser particularmente invasivos. Tienen "hardware poderoso, sensores poderosos", dice Dennis Giese, candidato a doctorado en la Universidad Northeastern que estudia las vulnerabilidades de seguridad de los dispositivos de Internet de las cosas, incluidas las aspiradoras robotizadas. "Y pueden conducir por tu casa, y no tienes forma de controlar eso". Esto es especialmente cierto, agrega, en el caso de dispositivos con cámaras avanzadas e inteligencia artificial, como la serie Roomba J7 de iRobot.

Una investigación de MIT Technology Review reveló recientemente cómo las imágenes de un menor y un probador en el inodoro terminaron en las redes sociales. iRobot dijo que tenía consentimiento para recopilar este tipo de datos desde el interior de los hogares, pero los participantes dicen lo contrario.

Estos datos luego se utilizan para construir robots más inteligentes cuyo propósito algún día puede ir mucho más allá de pasar la aspiradora. Pero para que estos conjuntos de datos sean útiles para el aprendizaje automático, los humanos individuales primero deben ver, categorizar, etiquetar y agregar contexto a cada bit de datos. Este proceso se denomina anotación de datos.

"Siempre hay un grupo de humanos sentados en algún lugar, generalmente en una habitación sin ventanas, haciendo un montón de apuntar y hacer clic: 'Sí, eso es un objeto o no es un objeto'", explica Matt Beane, profesor asistente en la tecnología. programa de administración en la Universidad de California, Santa Bárbara, que estudia el trabajo humano detrás de la robótica.

Las 15 imágenes compartidas con MIT Technology Review son solo una pequeña porción de un amplio ecosistema de datos. iRobot ha dicho que ha compartido más de 2 millones de imágenes con Scale AI y una cantidad desconocida más con otras plataformas de anotación de datos; la empresa ha confirmado que Scale es solo uno de los anotadores de datos que ha utilizado.

James Baussmann, vocero de iRobot, dijo en un correo electrónico que la compañía había "tomado todas las precauciones para garantizar que los datos personales se procesen de forma segura y de acuerdo con la ley aplicable", y que las imágenes compartidas con MIT Technology Review fueron "compartidas en violación de un acuerdo de confidencialidad entre iRobot y un proveedor de servicios de anotación de imágenes". En un comunicado enviado por correo electrónico unas semanas después de que compartiéramos las imágenes con la empresa, el CEO de iRobot, Colin Angle, dijo que "iRobot está terminando su relación con el proveedor de servicios que filtró las imágenes, está investigando activamente el asunto y [está] tomando medidas para ayudar a prevenir una fuga similar por parte de cualquier proveedor de servicios en el futuro". La empresa no respondió a preguntas adicionales sobre cuáles eran esas medidas.

Sin embargo, en última instancia, este conjunto de imágenes representa algo más grande que las acciones de cualquier empresa individual. Hablan de la práctica generalizada y creciente de compartir datos potencialmente confidenciales para entrenar algoritmos, así como del sorprendente viaje mundial que puede tomar una sola imagen, en este caso, desde hogares en América del Norte, Europa y Asia. a los servidores de iRobot con sede en Massachusetts, de allí a Scale AI con sede en San Francisco y, finalmente, a los trabajadores de datos contratados por Scale en todo el mundo (incluidos, en este caso, los trabajadores temporales venezolanos que publicaron las imágenes en grupos privados en Facebook, Discord , y en otros lugares).

Juntas, las imágenes revelan toda una cadena de suministro de datos, y nuevos puntos donde la información personal podría filtrarse, que pocos consumidores conocen.

"No se espera que los seres humanos revisen las imágenes en bruto", enfatiza Justin Brookman, director de políticas tecnológicas de Consumer Reports y exdirector de políticas de la Oficina de Investigación e Investigación Tecnológica de la Comisión Federal de Comercio. iRobot no dijo si los recolectores de datos sabían que los humanos, en particular, estarían viendo estas imágenes, aunque la compañía dijo que el formulario de consentimiento dejaba en claro que los "proveedores de servicios" lo estarían.

"No se espera que los seres humanos revisen las imágenes en bruto".

"Literalmente tratamos a las máquinas de manera diferente a como tratamos a los humanos", agrega Jessica Vitak, científica de la información y profesora del departamento de comunicación de la Universidad de Maryland y su Facultad de Estudios de la Información. "Es mucho más fácil para mí aceptar una linda y pequeña aspiradora, ya sabes, moviéndose por mi espacio [que] alguien caminando por mi casa con una cámara".

Y, sin embargo, eso es esencialmente lo que está sucediendo. No es solo un robot aspirador mirándote en el inodoro, una persona también puede estar mirándote.

Las aspiradoras robóticas no siempre fueron tan inteligentes.

El primer modelo, el Electrolux Trilobite de fabricación sueca, salió al mercado en 2001. Utilizaba sensores ultrasónicos para localizar paredes y trazar patrones de limpieza; Los sensores de impacto adicionales en los costados y los sensores de desnivel en la parte inferior lo ayudaron a evitar chocar con objetos o caerse de las escaleras. Pero estos sensores tenían fallas, lo que hacía que el robot pasara por alto ciertas áreas o repitiera otras. El resultado fueron trabajos de limpieza incompletos e insatisfactorios.

Al año siguiente, iRobot lanzó el Roomba de primera generación, que se basaba en sensores de giro y sensores de impacto básicos similares. Mucho más barato que su competidor, se convirtió en el primer robot aspirador comercialmente exitoso.

Los modelos más básicos en la actualidad todavía funcionan de manera similar, mientras que los limpiadores de gama media incorporan mejores sensores y otras técnicas de navegación como la localización y el mapeo simultáneos para encontrar su lugar en una habitación y trazar mejores rutas de limpieza.

Los dispositivos de gama alta han pasado a la visión por computadora, un subconjunto de inteligencia artificial que se aproxima a la vista humana mediante el entrenamiento de algoritmos para extraer información de imágenes y videos, y/o lidar, una técnica de detección basada en láser utilizada por la NASA y ampliamente considerada la más la tecnología de navegación más precisa, pero más cara, del mercado actual.

La visión artificial depende de cámaras de alta definición y, según nuestro recuento, alrededor de una docenacompañías han incorporado cámaras frontales en sus aspiradoras robóticas para la navegación y el reconocimiento de objetos, así como, cada vez más, para el monitoreo del hogar. Esto incluye a los tres principales fabricantes de aspiradoras robóticas por cuota de mercado: iRobot, que tiene el 30 % del mercado y ha vendido más de 40 millones de dispositivos desde 2002; Ecovacs, con alrededor del 15%; y Roborock, que tiene alrededor de otro 15%, según la firma de inteligencia de mercado Strategy Analytics. También incluye fabricantes de electrodomésticos familiares como Samsung, LG y Dyson, entre otros. En total, se vendieron unos 23,4 millones de robots aspiradores en Europa y América solo en 2021, según Strategy Analytics.

Desde el principio, iRobot apostó por la visión por computadora y su primer dispositivo con tales capacidades, el Roomba 980, debutó en 2015. También fue el primero de los dispositivos habilitados para Wi-Fi de iRobot, así como el primero que podía mapear una casa, ajuste su estrategia de limpieza en función del tamaño de la habitación e identifique los obstáculos básicos que debe evitar.

La visión por computadora "permite que el robot... vea toda la riqueza del mundo que lo rodea", dice Chris Jones, director de tecnología de iRobot. Permite que los dispositivos de iRobot "eviten los cables en el piso o entiendan que eso es un sofá".

Pero para que la visión por computadora en las aspiradoras robóticas realmente funcione según lo previsto, los fabricantes deben capacitarla en conjuntos de datos diversos y de alta calidad que reflejen la amplia gama de lo que podrían ver. "La variedad del entorno doméstico es una tarea muy difícil", dice Wu Erqi, director sénior de I+D de Roborock, con sede en Beijing. Los sistemas de carreteras "son bastante estándar", dice, por lo que los fabricantes de automóviles autónomos "sabrán cómo se ve el carril... [y] cómo se ve la señal de tránsito". Pero el interior de cada hogar es muy diferente.

“El mobiliario no está estandarizado”, añade. "No puede esperar lo que habrá en su suelo. A veces hay un calcetín allí, tal vez algunos cables", y los cables pueden verse diferentes en EE. UU. y China.

MIT Technology Review habló o envió preguntas a 12 empresas que venden aspiradoras robóticas y descubrió que responden al desafío de recopilar datos de capacitación de manera diferente.

En el caso de iRobot, más del 95 % de su conjunto de datos de imágenes proviene de hogares reales, cuyos residentes son empleados de iRobot o voluntarios reclutados por proveedores de datos externos (que iRobot se negó a identificar). Las personas que usan dispositivos de desarrollo aceptan permitir que iRobot recopile datos, incluidas transmisiones de video, mientras los dispositivos se ejecutan, a menudo a cambio de "incentivos para la participación", según un comunicado de iRobot.La compañía se negó a especificar cuáles eran estos incentivos y solo dijo que variaban "según la duración y la complejidad de la recopilación de datos".

Los datos de entrenamiento restantes provienen de lo que iRobot llama "recopilación de datos por etapas", en la que la empresa crea modelos que luego registra.

iRobot también comenzó a ofrecer a los consumidores habituales la oportunidad de optar por contribuir con datos de capacitación a través de su aplicación, donde las personas pueden optar por enviar imágenes específicas de obstáculos a los servidores de la empresa para mejorar sus algoritmos. iRobot dice que si un cliente participa en esta capacitación de "usuario en el circuito", como se le conoce, la empresa recibe solo estas imágenes específicas y ninguna otra. Baussmann, el representante de la empresa, dijo en un correo electrónico que tales imágenes aún no se han utilizado para entrenar ningún algoritmo.

A diferencia de iRobot, Roborock dijo que "produce [s] [sus] propias imágenes en [sus] laboratorios" o "trabaja [s] con proveedores externos en China a quienes se les pide específicamente que capturen y proporcionen imágenes de objetos en los pisos para nuestros propósitos de entrenamiento". Mientras tanto, Dyson, que vende dos modelos de aspiradoras robóticas de alta gama, dijo que recopila datos de dos fuentes principales: "evaluadores domésticos dentro del departamento de investigación y desarrollo de Dyson con una autorización de seguridad" y, cada vez más, capacitación sintética o generada por IA. datos.

La mayoría de las empresas de aspiradoras robóticas con las que habló MIT Technology Review dijeron explícitamente que no utilizan los datos de los clientes para entrenar sus algoritmos de aprendizaje automático. Samsung no respondió a las preguntas sobre cómo obtiene sus datos (aunque escribió que no usa Scale AI para la anotación de datos), mientras que Ecovacs llama "confidencial" a la fuente de sus datos de entrenamiento. LG y Bosch no respondieron a las solicitudes de comentarios.

"Tienes que asumir que las personas... se piden ayuda unos a otros. La política siempre dice que se supone que no debes hacerlo, pero es muy difícil de controlar".

Algunas pistas sobre otros métodos de recopilación de datos provienen de Giese, el hacker de IoT, cuya oficina en Northeastern está repleta de aspiradoras robóticas que ha diseñado mediante ingeniería inversa, lo que le da acceso a sus modelos de aprendizaje automático. Algunos son producidos por Dreame, una empresa china relativamente nueva con sede en Shenzhen que vende dispositivos asequibles con muchas funciones.

Giese descubrió que las aspiradoras Dreame tienen una carpeta etiquetada como "servidor AI", así como funciones de carga de imágenes. Las empresas suelen decir que "los datos de la cámara nunca se envían a la nube y lo que sea", dice Giese, pero "cuando tuve acceso al dispositivo, básicamente pude probar que no es cierto". Incluso si en realidad no subieron ninguna foto, agrega, "[la función] siempre está ahí".

A medida que explotó la demanda de etiquetado de datos, una catástrofe económica convirtió a Venezuela en la zona cero de un nuevo modelo de explotación laboral.

Dreame fabrica aspiradoras robóticas que también son renombradas y vendidas por otras compañías, una indicación de que esta práctica también podría ser empleada por otras marcas, dice Giese.

Dreame no respondió a las preguntas enviadas por correo electrónico sobre los datos recopilados de los dispositivos de los clientes, pero en los días posteriores al contacto inicial de MIT Technology Review, la empresa comenzó a cambiar sus políticas de privacidad, incluidas las relacionadas con la forma en que recopila información personal, y lanzó múltiples actualizaciones de firmware. .

Pero sin una explicación de las propias empresas o una forma, además de la piratería, de probar sus afirmaciones, es difícil saber con certeza qué están recolectando de los clientes con fines de capacitación.

Con los datos sin procesar necesarios para los algoritmos de aprendizaje automático, surge la necesidad de mano de obra, y mucha. Ahí es donde entra en juego la anotación de datos. Se prevé que la anotación de datos, una industria joven pero en crecimiento, alcance un valor de mercado de 13 300 millones de USD para 2030.

El campo despegó en gran medida para satisfacer la gran necesidad de datos etiquetados para entrenar los algoritmos utilizados en los vehículos autónomos. Hoy en día, los etiquetadores de datos, que a menudo son trabajadores contratados mal pagados en el mundo en desarrollo, ayudan a potenciar gran parte de lo que damos por sentado como "automatizado" en línea. Mantienen lo peor de Internet fuera de nuestras redes sociales al categorizar y marcar publicaciones manualmente, mejoran el software de reconocimiento de voz al transcribir audio de baja calidad y ayudan a los robots aspiradores a reconocer objetos en sus entornos al etiquetar fotos y videos.

Entre la miríada de empresas que han surgido en la última década, Scale AI se ha convertido en el líder del mercado. Fundada en 2016, construyó un modelo de negocios en torno a la contratación de trabajadores remotos en países menos ricos a tarifas económicas basadas en proyectos o tareas en Remotasks, su plataforma patentada de crowdsourcing.

En 2020, Scale publicó una nueva tarea allí: Project IO. Presentaba imágenes capturadas desde el suelo y en un ángulo de aproximadamente 45 grados hacia arriba, y mostraba las paredes, los techos y los pisos de las casas de todo el mundo, así como todo lo que estaba dentro o sobre ellos, incluidas las personas, cuyos rostros eran claramente visibles. a las etiquetadoras.

Los etiquetadores discutieron el Proyecto IO en Facebook, Discord y otros grupos que habían creado para compartir consejos sobre el manejo de pagos retrasados, hablar sobre las asignaciones mejor pagadas o solicitar ayuda para etiquetar objetos complicados.

iRobot confirmó que las 15 imágenes publicadas en estos grupos y enviadas posteriormente a MIT Technology Review procedían de sus dispositivos, y compartió una hoja de cálculo con las fechas específicas en que se realizaron (entre junio y noviembre de 2020), los países de los que procedían (Estados Unidos, Japón, Francia, Alemania y España), y los números de serie de los dispositivos que produjeron las imágenes, así como una columna que indica que el usuario de cada dispositivo ha firmado un formulario de consentimiento. (Scale AI confirmó que 13 de las 15 imágenes procedían de "un proyecto de I+D en el que trabajó con iRobot hace más de dos años", aunque se negó a aclarar los orígenes u ofrecer información adicional sobre las otras dos imágenes).

iRobot dice que compartir imágenes en grupos de redes sociales viola los acuerdos de Scale con él, y Scale dice que los trabajadores contratados que comparten estas imágenes violaron sus propios acuerdos.

"El problema subyacente es que tu cara es como una contraseña que no puedes cambiar. Una vez que alguien ha grabado la 'firma' de tu cara, puede usarla para siempre para encontrarte en fotos o videos".

Pero tales acciones son casi imposibles de vigilar en las plataformas de crowdsourcing.

Cuando le pregunto a Kevin Guo, director ejecutivo de Hive, un competidor de Scale que también depende de trabajadores subcontratados, si sabe que los etiquetadores de datos comparten contenido en las redes sociales, es franco. "Estos son trabajadores distribuidos", dice. "Tienes que asumir que las personas... se piden ayuda unos a otros. La política siempre dice que se supone que no debes hacerlo, pero es muy difícil de controlar".

Eso significa que depende del proveedor de servicios decidir si asumir o no cierto trabajo. Para Hive, dice Guo, "no creemos que tengamos los controles correctos establecidos dada nuestra fuerza laboral" para proteger de manera efectiva los datos confidenciales. Hive no trabaja con ninguna empresa de robots aspiradores, añade.

"Me sorprende un poco que [las imágenes] se hayan compartido en una plataforma de crowdsourcing", dice Olga Russakovsky, investigadora principal del Visual AI Lab de la Universidad de Princeton y cofundadora del grupo AI4All. Mantener el etiquetado en casa, donde "la gente está bajo NDA estrictos" y "en las computadoras de la empresa", mantendría los datos mucho más seguros, señala.

En otras palabras, confiar en anotadores de datos remotos simplemente no es una forma segura de proteger los datos. "Cuando tienes datos que has obtenido de los clientes, normalmente residen en una base de datos con protección de acceso", dice Pete Warden, investigador líder en visión por computadora y estudiante de doctorado en la Universidad de Stanford. Pero con la capacitación de aprendizaje automático, los datos de los clientes se combinan "en un gran lote", lo que amplía el "círculo de personas" que tienen acceso a ellos.

Por su parte, iRobot dice que comparte solo un subconjunto de imágenes de entrenamiento con socios de anotación de datos, marca cualquier imagen con información confidencial y notifica al director de privacidad de la empresa si se detecta información confidencial. Baussmann llama a esta situación "rara" y agrega que cuando sucede, "todo el registro de video, incluida la imagen, se elimina de los servidores de iRobot".

La compañía especificó: "Cuando se descubre una imagen en la que un usuario se encuentra en una posición comprometedora, incluida la desnudez, la desnudez parcial o la interacción sexual, se elimina, además de TODAS las demás imágenes de ese registro". No aclaró si este marcado se haría automáticamente por algoritmo o manualmente por una persona, o por qué eso no sucedió en el caso de la mujer en el baño.

La política de iRobot, sin embargo, no considera rostros sensibles, incluso si se trata de personas menores de edad.

"Para enseñar a los robots a evitar a los humanos y las imágenes de humanos", una función que ha promovido entre los clientes preocupados por la privacidad, la empresa "primero debe enseñarle al robot qué es un humano", explicó Baussmann. “En este sentido, primero es necesario recopilar datos de humanos para entrenar un modelo”. La implicación es que las caras deben ser parte de esos datos.

Pero las imágenes faciales pueden no ser realmente necesarias para que los algoritmos detecten humanos, según William Beksi, profesor de informática que dirige el Laboratorio de Visión Robótica de la Universidad de Texas en Arlington: los modelos de detectores humanos pueden reconocer a las personas basándose "solo [en] la contorno (silueta) de un ser humano".

"Si fuera una gran empresa y estuviera preocupado por la privacidad, podría preprocesar estas imágenes", dice Beksi. Por ejemplo, podría desenfocar rostros humanos incluso antes de que salgan del dispositivo y "antes de dárselos a alguien para que los anote".

"Parece un poco descuidado", concluye, "especialmente para tener menores grabados en los videos".

En el caso de la mujer en el baño, un etiquetador de datos hizo un esfuerzo por preservar su privacidad colocando un círculo negro sobre su rostro. Pero en ninguna otra imagen con personas se oscurecieron las identidades, ya sea por los mismos etiquetadores de datos, por Scale AI o por iRobot. Eso incluye la imagen del joven tendido en el suelo.

Baussmann explicó que iRobot protegió "la identidad de estos humanos" al "desacoplar toda la información de identificación de las imágenes... de modo que si un mal actor adquiere una imagen, no puede mapear hacia atrás para identificar a la persona en la imagen".

Pero capturar rostros es inherentemente una violación de la privacidad, argumenta Warden. "El problema subyacente es que tu cara es como una contraseña que no puedes cambiar", dice. "Una vez que alguien ha grabado la 'firma' de tu cara, puede usarla para siempre para encontrarte en fotos o videos".

Además, "los legisladores y los ejecutores de la privacidad verían la biometría, incluidos los rostros, como información confidencial", dice Jessica Rich, abogada de privacidad que se desempeñó como directora de la Oficina de Protección al Consumidor de la FTC entre 2013 y 2017. Este es especialmente el caso si alguno los menores son capturados por la cámara, agrega: "Obtener el consentimiento del empleado [o de los evaluadores] no es lo mismo que obtener el consentimiento del niño. El empleado no tiene la capacidad de dar su consentimiento para la recopilación de datos sobre otras personas, y mucho menos los niños que parecen estar implicados". Rich dice que no se refería a ninguna empresa específica en estos comentarios.

Al final, podría decirse que el verdadero problema no es que los etiquetadores de datos hayan compartido las imágenes en las redes sociales. Más bien, es que este tipo de conjunto de entrenamiento de IA, específicamente, uno que representa rostros, es mucho más común de lo que la mayoría de la gente entiende, señala Milagros Miceli, socióloga e informática que ha estado entrevistando a trabajadores distribuidos contratados por empresas de anotación de datos durante años. Miceli formó parte de un equipo de investigación que ha hablado con varios etiquetadores que han visto imágenes similares, tomadas desde los mismos puntos de vista bajos y que, a veces, muestran a personas en distintas etapas de desnudez.

Los etiquetadores de datos encontraron este trabajo "realmente incómodo", agrega.

Los propios fabricantes de aspiradoras robóticas reconocen los mayores riesgos de privacidad que presentan las cámaras en los dispositivos. "Cuando ha tomado la decisión de invertir en visión por computadora, debe tener mucho cuidado con la privacidad y la seguridad", dice Jones, CTO de iRobot. "Le estás dando este beneficio al producto y al consumidor, pero también debes tratar la privacidad y la seguridad como una prioridad de primer orden".

De hecho, iRobot le dice a MIT Technology Review que ha implementado muchas medidas de protección de la privacidad y la seguridad en los dispositivos de sus clientes, incluido el uso de encriptación, parches regulares de vulnerabilidades de seguridad, limitación y monitoreo del acceso interno de los empleados a la información y brindar a los clientes información detallada sobre el datos que recopila.

Pero existe una gran brecha entre la forma en que las empresas hablan sobre la privacidad y la forma en que los consumidores la entienden.

Es fácil, por ejemplo, combinar la privacidad con la seguridad, dice Jen Caltrider, investigadora principal detrás del proyecto "*Privacidad no incluida" de Mozilla, que revisa los dispositivos de los consumidores tanto para la privacidad como para la seguridad. La seguridad de los datos se refiere a la seguridad física y cibernética de un producto, o qué tan vulnerable es a un pirateo o una intrusión, mientras que la privacidad de los datos se trata de la transparencia: saber y poder controlar los datos que tienen las empresas, cómo se usan, por qué se comparten. , si se retiene y por cuánto tiempo, y cuánto está recaudando una empresa para empezar.

Combinar los dos es conveniente, agrega Caltrider, porque "la seguridad ha mejorado, mientras que la privacidad ha empeorado mucho" desde que comenzó a rastrear productos en 2017. "Los dispositivos y las aplicaciones ahora recopilan mucha más información personal", dice.

Los representantes de la compañía a veces también usan diferencias sutiles, como la distinción entre "compartir" datos y venderlos, que hacen que la forma en que manejan la privacidad sea particularmente difícil de analizar para los no expertos. Cuando una empresa dice que nunca venderá sus datos, eso no significa que no los usará ni los compartirá con otros para su análisis.

Estas definiciones expansivas de recopilación de datos a menudo son aceptables según las políticas de privacidad vagamente redactadas de las empresas, prácticamente todas las cuales contienen algún lenguaje que permite el uso de datos con el fin de "mejorar productos y servicios", lenguaje que Rich llama tan amplio como para "permitir básicamente cualquier cosa".

"Los desarrolladores no son tradicionalmente muy buenos [en] cosas de seguridad". Su actitud se convierte en "Tratar de obtener la funcionalidad, y si la funcionalidad funciona, enviar el producto. Y luego surgen los escándalos".

De hecho, MIT Technology Review revisó 12 políticas de privacidad de aspiradoras robóticas y todas ellos, incluido el de iRobot, contenían un lenguaje similar sobre "mejorar productos y servicios". La mayoría de las empresas a las que MIT Technology Review contactó para obtener comentarios no respondieron a las preguntas sobre si la "mejora del producto" incluiría algoritmos de aprendizaje automático. Pero Roborock e iRobot dicen que sí.

Y debido a que Estados Unidos carece de una ley integral de privacidad de datos, en lugar de depender de una mezcolanza de leyes estatales, sobre todo la Ley de Privacidad del Consumidor de California, estas políticas de privacidad son las que dan forma a las responsabilidades legales de las empresas, dice Brookman. "Muchas políticas de privacidad dirán, ya sabes, nos reservamos el derecho de compartir tus datos con socios seleccionados o proveedores de servicios", señala. Eso significa que es probable que los consumidores acepten que sus datos se compartan con empresas adicionales, ya sea que estén familiarizados con ellas o no.

Brookman explica que las barreras legales que las empresas deben superar para recopilar datos directamente de los consumidores son bastante bajas. La FTC, o los fiscales generales del estado, pueden intervenir si existen prácticas "injustas" o "engañosas", señala, pero estas están definidas de manera estricta: a menos que una política de privacidad diga específicamente "Oye, no vamos a permitir que los contratistas mira tus datos" y los comparten de todos modos, dice Brookman, las empresas "probablemente están de acuerdo con el engaño, que es la forma principal" en que la FTC "hace cumplir la privacidad históricamente". Mientras tanto, probar que una práctica es desleal conlleva cargas adicionales, incluida la prueba del daño. "Los tribunales nunca se han pronunciado realmente al respecto", añade.

Las políticas de privacidad de la mayoría de las empresas ni siquiera mencionan los datos audiovisuales que se capturan, con algunas excepciones. La política de privacidad de iRobot señala que recopila datos audiovisuales solo si una persona comparte imágenes a través de su aplicación móvil. La política de privacidad de LG para el Hom-Bot Turbo+ con cámara e inteligencia artificial explica que su aplicación recopila datos audiovisuales, incluida "información de audio, electrónica, visual o similar, como fotos de perfil, grabaciones de voz y grabaciones de video". Y la política de privacidad de Jet Bot AI+ Robot Vacuum de Samsung con lidar y Powerbot R7070, ambos con cámaras, recopilará "información que almacene en su dispositivo, como fotos, contactos, registros de texto, interacciones táctiles, configuraciones e información de calendario". " y "grabaciones de su voz cuando usa comandos de voz para controlar un Servicio o se comunica con nuestro equipo de Servicio al Cliente". Mientras tanto, la política de privacidad de Roborock no menciona los datos audiovisuales, aunque los representantes de la empresa le dijeron a MIT Technology Review que los consumidores en China tienen la opción de compartirlos.

La cofundadora de iRobot, Helen Greiner, que ahora dirige una startup llamada Tertill que vende un robot para desmalezar jardines, enfatiza que al recopilar todos estos datos, las empresas no intentan violar la privacidad de sus clientes. Simplemente están tratando de crear mejores productos o, en el caso de iRobot, "hacer una mejor limpieza", dice ella.

Aun así, incluso los mejores esfuerzos de empresas como iRobot claramente dejan lagunas en la protección de la privacidad. "Es menos una cuestión de malicia, sino simplemente incompetencia", dice Giese, el hacker de IoT. "Los desarrolladores no son tradicionalmente muy buenos [en] cosas de seguridad". Su actitud se convierte en "Intentar obtener la funcionalidad y, si la funcionalidad funciona, enviar el producto".

“Y luego salen los escándalos”, añade.

El apetito por los datos solo aumentará en los próximos años. Las aspiradoras son solo un pequeño subconjunto de los dispositivos conectados que proliferan en nuestras vidas, y los nombres más importantes en aspiradoras robóticas, incluidos iRobot, Samsung, Roborock y Dyson, expresan ambiciones mucho más grandes que la limpieza automática de pisos. La robótica, incluida la robótica doméstica, ha sido durante mucho tiempo el verdadero premio.

Considere cómo Mario Munich, entonces vicepresidente senior de tecnología de iRobot, explicó los objetivos de la empresa en 2018. En una presentación sobre Roomba 980, la primera aspiradora con visión artificial de la empresa, mostró imágenes desde el punto de vista del dispositivo, incluida una de una cocina con una mesa, sillas y taburetes, además de cómo serían etiquetados y percibidos por los algoritmos del robot. "El desafío no es pasar la aspiradora. El desafío es el robot", explicó Munich. "Nos gustaría conocer el entorno para poder cambiar el funcionamiento del robot".

Esta misión más grande es evidente en lo que se pidió a los anotadores de datos de Scale que etiquetaran, no elementos en el piso que deberían evitarse (una característica que promueve iRobot), sino elementos como "gabinete", "encimera de cocina" y "estante", que juntos ayudan al dispositivo de la serie Roomba J a reconocer todo el espacio en el que opera.

Las empresas que fabrican aspiradoras robóticas ya están invirtiendo en otras funciones y dispositivos que nos acercarán a un futuro basado en la robótica. Los últimos Roombas se pueden controlar por voz a través de Nest y Alexa, y reconocen más de 80 objetos diferentes en el hogar. Mientras tanto, el robot aspirador Deebot X1 de Ecovacs ha integrado la asistencia de voz patentada de la compañía, mientras que Samsung es una de varias compañías que desarrollan "robots acompañantes" para hacer compañía a los humanos. Miele, que vende el RX2 Scout Home Vision, se ha centrado en otros electrodomésticos inteligentes, como su horno inteligente con cámara.

Y si la adquisición de iRobot por $ 1.7 mil millones por parte de Amazon avanza, pendiente de la aprobación de la FTC, que está considerando el efecto de la fusión en la competencia en el mercado de hogares inteligentes, es probable que Roombas se integre aún más en la visión de Amazon para el hogar inteligente siempre activo. del futuro.

Quizás, como era de esperar, la política pública está comenzando a reflejar la creciente preocupación pública por la privacidad de los datos. De 2018 a 2022, ha habido un marcado aumento en los estados que consideran y aprueban protecciones de privacidad, como la Ley de Privacidad del Consumidor de California y la Ley de Privacidad de Información Biométrica de Illinois. A nivel federal, la FTC está considerando nuevas reglas para tomar medidas enérgicas contra la vigilancia comercial dañina y las prácticas laxas de seguridad de datos, incluidas las que se utilizan en la capacitación de datos. En dos casos, la FTC tomó medidas contra el uso no revelado de datos de clientes para entrenar inteligencia artificial, lo que finalmente obligó a las empresas, Weight Watchers International y al desarrollador de aplicaciones de fotos Everalbum, a eliminar tanto los datos recopilados como los algoritmos creados a partir de ellos.

Aún así, ninguno de estos esfuerzos fragmentarios aborda el creciente mercado de anotación de datos y su proliferación de empresas con sede en todo el mundo o que contratan trabajadores temporales globales, que operan con poca supervisión, a menudo en países con leyes de protección de datos incluso menores.

Cuando hablé este verano con Greiner, ella dijo que personalmente no estaba preocupada por las implicaciones de iRobot para la privacidad, aunque entendía por qué algunas personas podrían pensar de manera diferente. En última instancia, enmarcó la privacidad en términos de elección del consumidor: cualquier persona con preocupaciones reales simplemente no podía comprar ese dispositivo.

"Todo el mundo necesita tomar sus propias decisiones de privacidad", me dijo. "Y puedo decirles que, abrumadoramente, las personas toman la decisión de tener las funciones siempre que se entreguen a un precio rentable".

Pero no todos están de acuerdo con este marco, en parte porque es muy difícil para los consumidores tomar decisiones bien informadas. El consentimiento debe ser algo más que "una hoja de papel" para firmar o una política de privacidad para leer, dice Vitak, científico de la información de la Universidad de Maryland.

El verdadero consentimiento informado significa "que la persona comprende completamente el procedimiento, comprende completamente los riesgos... cómo se mitigarán esos riesgos y... cuáles son sus derechos", explica. Pero esto rara vez sucede de manera integral, especialmente cuando las empresas comercializan adorables robots ayudantes que prometen pisos limpios con solo hacer clic en un botón.

¿Tiene más información sobre cómo las empresas recopilan datos para entrenar la IA? ¿Participaste en los esfuerzos de recopilación de datos por parte de iRobot u otras empresas de aspiradoras robóticas? Nos encantaría saber de usted y respetaremos las solicitudes de anonimato. Comuníquese con [email protected].

Investigación adicional por Tammy Xu.

Corrección: Electrolux es una empresa sueca, no una empresa suiza como se escribió originalmente. Milagros Miceli formó parte de un equipo de investigación que habló con etiquetadores de datos que habían visto imágenes similares de aspiradoras robóticas.

"De repente cambié mi punto de vista sobre si estas cosas van a ser más inteligentes que nosotros".

Hinton hablará en EmTech Digital el miércoles.

ChatGPT ha provocado especulaciones sobre la inteligencia artificial general. Pero la próxima fase real de la IA será en dominios y contextos específicos.

Vea a Hinton hablar con Will Douglas Heaven, editor senior de IA de MIT Technology Review, en EmTech Digital.

Descubra ofertas especiales, noticias destacadas, próximos eventos y más.

¡Gracias por enviar su correo electrónico!

Parece que algo salió mal.

Estamos teniendo problemas para guardar sus preferencias. Intente actualizar esta página y actualícelas una vez más. Si continúa recibiendo este mensaje, comuníquese con nosotros en [email protected] con una lista de boletines que le gustaría recibir.