Mensajes generados por IA
Los actores de amenazas están aprovechando cada vez más las tecnologías de IA generativa para elaborar correos electrónicos de phishing. Estos ataques generados por IA son más difíciles de identificar debido a la mejora de la fluidez del lenguaje y la imitación del tono. Cuando entrevistamos a los investigadores de amenazas de Mimecast para nuestro reciente informe de Threat Intelligence, se hicieron preguntas sobre la omnipresencia de la IA en los correos electrónicos de phishing, pero no se pudieron cuantificar las métricas. Nuestro equipo de ciencia de datos asumió el reto de ayudar, creando un motor de detección para determinar si un mensaje está generado por humanos o por IA basándose en una mezcla de correos electrónicos actuales e históricos, y correos electrónicos sintéticos generados por IA.
La investigación indica un momento en el que Mimecast comienza a observar una tendencia creciente en los correos electrónicos generados por IA que se correlaciona con el lanzamiento de ChatGPT. Además, también observamos correos electrónicos maliciosos BEC, de fraude y de phishing generados por IA. Se aconseja a los analistas que permanezcan atentos, ya que se espera que estos ataques aumenten tanto en volumen como en complejidad.
Los detalles completos de nuestros hallazgos se pueden explorar más a fondo en esta entrada del blog.
Señales reveladoras de correos electrónicos generados por IA
Una de las características más notables de los modelos lingüísticos de IA es el uso de palabras y estructuras de oraciones complejas. Los investigadores descubrieron que los modelos lingüísticos de IA favorecen ciertas palabras en la escritura científica. «Al analizar 14 millones de artículos de 2010 a 2024, observaron un fuerte aumento de determinadas «palabras de estilo» a partir de finales de 2022, cuando las herramientas de IA se generalizaron. Por ejemplo, «delves» (profundiza) apareció 25 veces más a menudo en 2024 que antes.
El equipo de ciencia de datos de Mimecast comenzó con la intención de entrenar un modelo con las diferencias entre los correos electrónicos escritos por humanos y por IA. En total, se utilizaron más de 20 000 correos electrónicos de los datos de Mimecast junto con datos sintéticos generados por LLM. Luego, tomamos una muestra de 1000 correos electrónicos por mes desde enero de 2022 hasta junio de 2024 para identificar cuántos fueron escritos por IA. Estas estadísticas muestran que de los 30 000 correos electrónicos analizados, se encontró que 2330 fueron escritos por IA, lo que representa el 7,8 % de todos los correos electrónicos del conjunto de datos. Los resultados de este ejercicio se pueden encontrar en la figura 1, que también destaca el aumento de los correos electrónicos escritos por IA.
Destinatarios
Global
Ejemplos de correos electrónicos generados por IA
Durante el proceso de análisis se encontraron varios ejemplos maliciosos que contenían un lenguaje distintivo indicativo de herramientas de IA.
Ejemplo 1 - mensaje de spam generado por IA
Indicadores:
- "se adentra en las complejidades de", "navegando a través de las complejidades de"
- Uso excesivo de viñetas
Ejemplo 2: mensaje BEC generado por IA
Indicadores:
- «Espero que este mensaje le llegue en buen momento»
- Repetición de las palabras «tarjetas regalo» y «sorpresa»
Ejemplo 3 - mensaje BEC generado por IA
![]()
Indicadores:
Ejemplo 4 - mensaje de phishing generado por IA
Indicadores:
- «profundizar en esto»
- «tropezar» o «tropezarse»
- El guion largo utilizado en ChatGPT
Recomendaciones
Estos hallazgos indican que las investigaciones manuales de phishing siguen siendo una capa crucial de defensa, especialmente cuando son señaladas por los usuarios finales. Es vital que los investigadores de amenazas examinen el lenguaje en busca de marcadores específicos que se alineen con nuestros hallazgos; mediante referencias cruzadas de indicadores como «profundizar en esto» o «¡hola!», especialmente entre usuarios que normalmente no utilizan ese lenguaje. Con patrones de amenazas conocidos, puede identificar amenazas de phishing de manera más efectiva, reduciendo el tiempo de remediación y mitigando el riesgo organizacional.
Cabe señalar que los equipos de seguridad deben asegurarse de que los indicadores que utilizan en sus investigaciones evolucionan junto con los grandes modelos de lenguaje, que cambian continuamente.
