La IA de Google marcó las cuentas de los padres por posibles abusos por fotos desnudas de sus hijos enfermos

Un padre preocupado dice que después de usar su teléfono inteligente Android para tomar fotos de una infección en la ingle de su hijo pequeño, Google marcó las imágenes como material de abuso sexual infantil (CSAM), según un informe de Los New York Times. La empresa cerró sus cuentas y presentó un informe ante el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC, por sus siglas en inglés) e impulsó una investigación policial, destacando las complicaciones de tratar de diferenciar entre un abuso potencial y una foto inocente una vez que se vuelve parte de la cuenta de un usuario. biblioteca digital, ya sea en su dispositivo personal o en el almacenamiento en la nube.

Las preocupaciones sobre las consecuencias de desdibujar las líneas de lo que debería considerarse privado se ventilaron el año pasado cuando Apple anunció su plan Child Safety . Como parte del plan, Apple escanearía localmente las imágenes en los dispositivos Apple antes de que se carguen en iCloud y luego compararía las imágenes con la base de datos hash del NCMEC de CSAM conocido. Si se encontraban suficientes coincidencias, un moderador humano revisaría el contenido y bloquearía la cuenta del usuario si contenía MASI.

La Electronic Frontier Foundation (EFF), un grupo de derechos digitales sin fines de lucro, criticó a Apple plan, diciendo que podría «abrir una puerta trasera a su vida privada» y que representaba «una disminución de la privacidad para todos los usuarios de Fotos de iCloud, no una mejora». Apple finalmente colocó la parte de escaneo de imágenes almacenadas en espera , pero con el lanzamiento de iOS 15.2 , se procedió a incluir

una característica opcional para cuentas de niños incluida en un plan de intercambio familiar. Si los padres optan por participar, entonces en la cuenta de un niño, la aplicación Mensajes «analiza los archivos adjuntos de imágenes y determina si una foto contiene desnudez, mientras mantiene el cifrado de extremo a extremo de los mensajes». Si detecta desnudez, borra la imagen, muestra una advertencia para el niño y le presenta recursos destinados a ayudarlo con la seguridad en línea.

El principal incidente destacado por The New York Times tuvo lugar en febrero de 2021, cuando un médico las oficinas aún estaban cerradas debido a la pandemia de COVID-19. Según lo señalado por el Times, Mark (cuyo apellido no fue revelado) notó una hinchazón en la región genital de su hijo y, a pedido de una enfermera, envió imágenes del tema por delante. de una videoconsulta. El médico terminó recetando antibióticos que curaron la infección.

Según el NYT, Mark recibió una notificación de Google solo dos días después de tomar las fotos, indicando que sus cuentas habían sido bloqueadas debido a «contenido dañino» que era «una violación grave de las políticas de Google y podría ser ilegal». Al igual que muchas empresas de Internet, incluidas Facebook, Twitter y Reddit, Google ha utilizado la coincidencia hash con PhotoDNA de Microsoft para escanear imágenes cargadas para detectar coincidencias con CSAM conocido. En 2012, condujo al arresto de un hombre que era un delincuente sexual registrado y usaba Gmail. para enviar imágenes de una niña. En 2018,

Google anunció

el lanzamiento de su

Kit de herramientas de IA de API de seguridad de contenido que puede «identificar de manera proactiva imágenes de abuso sexual infantil nunca antes vistas para que pueda revisarse y, si se confirma que es abuso sexual infantil, eliminarse y denunciarse lo más rápido posible .” Utiliza la herramienta para sus propios servicios y, junto con una solución de coincidencia de hash CSAI Match de orientación de video desarrollada por ingenieros de YouTube, también la ofrece para que la usen otros.

Google «Luchar contra el abuso en nuestras propias plataformas y servicios»: Identificamos y denunciamos el MASNRI con equipos de especialistas capacitados y tecnología de punta, incluidos clasificadores de aprendizaje automático y tecnología de coincidencia de hash, que crea un «hash», o huella digital única, para una imagen o un video para que pueda compararse con hash de MASI conocido. Cuando encontramos MASI, lo informamos al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC, por sus siglas en inglés), que sirve de enlace con las agencias policiales de todo el mundo.

Un portavoz de Google le dijo al Times que Google solo escanea las imágenes personales de los usuarios cuando un usuario realiza una «acción afirmativa», que aparentemente puede incluir hacer una copia de seguridad de sus imágenes en Fotos de Google. Cuando Google marca imágenes explotadoras, el Times señala que Google es requerido por ley federal para denunciar al infractor potencial a CyberTipLine en el NCMEC. En 2021, Google

notificó 621.583 casos

de CSAM a CyberTipLine del NCMEC, mientras que el NCMEC

alertó a las autoridades de 4,260 víctimas potenciales, una lista que el NYT dice que incluye al hijo de Mark.

Mark terminó perdiendo el acceso a sus correos electrónicos, contactos, fotos e incluso su número de teléfono. mientras usaba el servicio móvil de Google Fi, informa el Times. Mark inmediatamente intentó apelar la decisión de Google, pero Google rechazó la solicitud de Mark. El Departamento de Policía de San Francisco, donde vive Mark, abrió una investigación sobre Mark en diciembre de 2021 y obtuvo toda la información que almacenó en Google. El investigador del caso finalmente descubrió que el incidente «no cumplía con los elementos de un delito y que no ocurrió ningún delito», señala el NYT.

“El material de abuso sexual infantil (CSAM) es abominable y estamos comprometidos a prevenir su propagación en nuestras plataformas”, dijo la portavoz de Google, Christa Muldoon, en un comunicado enviado por correo electrónico a The Verge . “Seguimos la ley de los EE. UU. al definir lo que constituye CSAM y usamos una combinación de tecnología de comparación de hash e inteligencia artificial para identificarlo y eliminarlo de nuestras plataformas. Además, nuestro equipo de expertos en seguridad infantil revisa el contenido marcado para verificar su precisión y consulta con pediatras para ayudar a garantizar que podamos identificar instancias en las que los usuarios pueden estar buscando consejo médico”.

Mientras que proteger a los niños del abuso es indudablemente importante, los críticos argumentan que la práctica de escanear las fotos de un usuario invaden injustificadamente su privacidad. Jon Callas, director de proyectos tecnológicos de la EFF, calificó las prácticas de Google de «intrusivas» en un comunicado al NYT. “Esta es precisamente la pesadilla que nos preocupa a todos”, dijo Callas al NYT . “Van a escanear mi álbum familiar y luego me voy a meter en problemas.”

Lee mas

Deja un comentario

Tu dirección de correo electrónico no será publicada.