❓ ¿Qué es el data poisoning?
Es el envenenamiento de datos que puede ser utilizado en diversas aplicaciones, como el reconocimiento de imágenes, procesamiento del lenguaje natural y sistemas de recomendación.
La finalidad es que, manipulando los datos de entrenamiento de los modelos generativos de imágenes, logren que las respuestas que devuelvan sean incorrectas. El software se llama "Nightshade".
Implementar contramedidas como técnicas de preprocesamiento de datos robustas, entrenar modelos con conjuntos de datos de alta calidad y realizar auditorías de seguridad en los datos utilizados son pasos importantes para mitigar el riesgo de envenenamiento de datos.
Es importante destacar que la seguridad en el aprendizaje automático es un área activa de investigación y desarrollo, ya que los modelos de aprendizaje automático juegan un papel cada vez más crucial en diversas aplicaciones. La comprensión y mitigación de amenazas como el envenenamiento de datos son esenciales para garantizar la confiabilidad y la seguridad de estos modelos.
Los atacantes pueden modificar deliberadamente el conjunto de datos utilizados para entrenar los modelos o algoritmos de las IAs, introduciendo sesgos y/o patrones maliciosos.
🎯 Su objetivo:
Al Introducir estos datos maliciosos se producen resultados erróneos cuando este modelo de aprendizaje se implementa.
El modelo de lenguaje podría “pensar” que la imagen de una casa es una vaca o que la de un perro es un gato.
La técnica TrojanNet Backdoor (Troyano de Puerta Trasera) es un tipo de software malicioso de los más reconocido, éste corrompe y falsifica los datos de entrenamiento de manera remota.
⚠ Consecuencias del envenenamiento de datos:
El modelo puede tomar decisiones incorrectas o producen salidas no deseadas cuando se enfrentan a datos no vistos.
🦠 Tipos de ataques de envenenamiento de datos:
-
Ataque de puerta trasera, hace que el modelo clasifique erróneamente los resultados de los datos ingresados y afecte su calidad.
-
Ataques dirigidos, son estrategias maliciosas diseñadas para manipular el funcionamiento de un modelo de aprendizaje.
-
Ataques de subpoblación, dirigido a manipular el modelo para que sea más propenso a denegar a ciertos grupos demográficos específicos, como personas de cierta etnia o género.
📌 𝗦𝗜 𝗧𝗘𝗡𝗘𝗦 𝗔𝗟𝗚𝗨𝗡𝗔 𝗗𝗨𝗗𝗔 𝗢 𝗖𝗢𝗡𝗦𝗨𝗟𝗧𝗔:
Escribinos a 📩 ciberseguridad@ba-csirt.gob.ar o por privado 💬 en nuestras redes
