Inteligencia sobre amenazas de Mimecast: Cómo ChatGPT trastornó el correo electrónico

ACTUALIZACIÓN: Este blog se publicó originalmente el 30 de septiembre de 2024 como continuación del Informe Global de Inteligencia sobre Amenazas 2024 H1 de Mimecast. Desde entonces hemos actualizado los datos aquí reflejados, ya que hemos seguido vigilando de cerca el uso de herramientas de IA generativa como ChatGPT por parte de los ciberdelincuentes en sus esfuerzos por elaborar correos electrónicos de phishing y otros contenidos maliciosos más creíbles. Tenga la seguridad de que seguiremos vigilando este método de ataque e informaremos de nuevo de los resultados actualizados cuando sea pertinente.

En la mayoría de los medios de ciberseguridad, las referencias a la IA generativa no sólo están aumentando de forma exponencial, sino que las publicaciones citan su uso por parte de actores maliciosos, lo que tiene un gran potencial para afectar negativamente a cualquier organización que se convierta en objetivo.

Al entrevistar a los investigadores de amenazas de Mimecast para nuestro Informe de Inteligencia sobre Amenazas Mundiales 2024 H1, se formularon preguntas sobre la omnipresencia de la IA en los correos electrónicos de phishing, pero no se pudo cuantificar ninguna métrica. Esto dejó preguntas sin respuesta, como ¿cuán frecuente es y puede medirse? Nuestro equipo de ciencia de datos asumió el reto de ayudar, construyendo un motor de detección para determinar si un mensaje es humano o generado por IA, basándose en una mezcla de correos electrónicos actuales e históricos, y correos electrónicos sintéticos generados por IA. 

La investigación indicó un momento en el que empezamos a observar una tendencia creciente en los correos electrónicos generados por IA que se correlacionaba con el lanzamiento de ChatGPT. También observamos correos electrónicos maliciosos BEC, de fraude y phishing generados por IA. El efecto neto de todo esto fue la necesidad de que los analistas/equipos de seguridad y los usuarios finales comprendieran los indicadores de los contenidos generados por la IA que podrían ayudarles a detectar estos ataques. 

Señales reveladoras de los correos electrónicos generados por IA 

ChatGPT puso la redacción de correos electrónicos asistida por IA al alcance de todos, incluso de los actores maliciosos, pero no es el único conjunto de herramientas a su disposición. En una entrada anterior del blog esbozamos algunas de las herramientas de IA generativa que utilizan. Anteriormente, este tipo de herramientas estaban destinadas principalmente a las empresas. Ahora, cualquiera puede utilizar la IA para escribir correos electrónicos bien elaborados y adaptados a diversas situaciones. A medida que el contenido generado por la IA se hace más frecuente, la capacidad de discernir entre el texto escrito por un ser humano y el generado por una máquina se ha vuelto cada vez más difícil. Una de las características más notables de los modelos lingüísticos de la IA es el uso de palabras y estructuras oracionales complejas, lo que puede revelar su implicación en la escritura. Investigadores de la Universidad de Cornell descubrieron que los modelos lingüísticos de la IA favorecen ciertas palabras en la escritura científica. "Analizando 14 millones de artículos entre 2010 y 2024, observaron un fuerte aumento de 'palabras de estilo' específicas después de finales de 2022, cuando las herramientas de IA empezaron a estar ampliamente disponibles. Por ejemplo, "delves" apareció 25 veces más en 2024 que antes. Otras palabras favoritas de la IA son 'exhibir', 'subrayar' y 'crucial'".

Cómo sabemos que ChatGPT cambió el correo electrónico 

El equipo de ciencia de datos de Mimecast comenzó con la intención de entrenar un modelo sobre las diferencias entre los correos electrónicos escritos por humanos y por IA. En total, se utilizaron más de 20.000 correos electrónicos de los datos de Mimecast junto con los datos sintéticos generados por LLM: GPT4o de OpenAI, Sonnet Claude 3.5 de Anthropic, Command R+ de Cohere, Jamba Instruct de AI21 y Llama3 de Meta. El modelo de aprendizaje profundo creado determinó qué características hacen que cada punto de datos relacionado con el lenguaje utilizado sea escrito por humanos o por IA. Para las pruebas, con el fin de asegurarnos de que nuestro modelo no se ajustaba en exceso a nuestro conjunto de entrenamiento, sino que podía generalizar bien, utilizamos cuatro conjuntos de datos: 

• 10.000 muestras de correos electrónicos escritos por humanos de Mimecast 
• 7.000 datos sintéticos generados por LLM  
• Conjunto de datos humanos y LLM de Kaggle(enlace)
• Conjunto de datos sobre fraude de Kaggle(enlace). Se supone que todos los correos electrónicos están escritos por humanos, ya que se recopilaron antes del auge de los LLM 

Una vez completado el entrenamiento, se mostró a nuestro modelo un correo electrónico tras otro y se le pidió que determinara si ese ejemplo había sido escrito por un humano o por una IA. Repetimos este ejercicio 200.000 veces en diferentes conjuntos de correos electrónicos. Pudimos utilizarlo para analizar un subconjunto de correos electrónicos y predecir si había sido escrito por un humano o por una IA. Los resultados de este ejercicio pueden verse en la Figura 1, que también pone de relieve el aumento de los correos electrónicos escritos con IA. Es importante señalar que el modelo no buscaba identificar correos electrónicos maliciosos escritos con IA, sino estimar la omnipresencia de la IA. Antes de emprender este estudio se sabía que se veían mensajes escritos con IA, pero desconocíamos su magnitud. 

Figura 1 - Correos electrónicos benignos y maliciosos escritos por humanos frente a los escritos por IA al mes 

Muestreamos 2.000 correos electrónicos al mes desde enero de 2022 hasta marzo de 2025. Estas estadísticas muestran que hasta 10% se escribieron con IA en un solo mes para el conjunto de datos, como se muestra en la figura 2. Pero lo más importante es que el gráfico de líneas muestra no sólo un notable aumento del uso de la IA para escribir correos electrónicos, sino la reducción de la escritura humana, que sigue encajando con lo que se observa en las publicaciones. Por el momento se desconoce si esto se atribuye a las personas que no hablan inglés o al uso de la IA como ayuda en la escritura para intentar mejorarla. 

Figura 2 - Porcentaje de correos electrónicos escritos por humanos frente a los escritos por IA al mes

A continuación, utilizamos los datos enviados por el usuario final identificados como maliciosos paracalcular la frecuencia de las palabras del tema del nombre clasificadas por frecuencia. Como puede ver en la figura 3, hay muchos puntos en común relacionados con los impuestos, la banca y otros temas de phishing. Esto también muestra cómo los temas anuales son más dominantes que cualquier otra cosa.

Figura 3 - Temas principales en los correos electrónicos escritos con MML

A continuación, analizamos las características distintivas de los correos electrónicos maliciosos generados por LLM e identificamos las 30 palabras más comunes, como se ve en la figura 4. La frecuente presencia de saludos formales como "Espero que este mensaje le encuentre bien," y la repetitiva frase de cierre "Gracias por su tiempo" nos permite validar aún más el uso de los LLM basándonos en nuestros hallazgos anteriores.

Figura 4 - Principales palabras en los correos electrónicos escritos en LLM

Ejemplos de correos electrónicos generados por IA 

Durante el proceso de revisión de los envíos, se encontraron algunos ejemplos maliciosos que contenían un lenguaje distintivo. 

Ejemplo nº 1 de mensaje de spam de Gen AI

Indicadores:  

• "se adentra en los entresijos de", "navega por las complejidades de" 
• Uso excesivo de viñetas

Ejemplo nº 2 de mensaje Gen AI BEC 

Indicadores:  

• 'Espero que este mensaje le encuentre bien'  
• Repetición de las palabras «tarjetas regalo» y «sorpresa»

Ejemplo nº 3 de mensaje Gen AI BEC 

Indicadores:  

• "¡Hola! 

Ejemplo nº 4 de mensaje de phishing Gen AI

Indicadores: 

• 'profundizar en esto' 
• 'tropezó' o 'tropezó con' 
• Se utiliza el '-' largo en ChatGPT 

Recomendaciones 

Estos hallazgos indican que las investigaciones manuales de phishing deben seguir siendo una capa crucial de defensa, especialmente cuando son señaladas por los usuarios finales. Es vital que los investigadores de amenazas escudriñen el lenguaje en busca de marcadores específicos que se alineen con nuestros hallazgos; al cruzar indicadores como "profundice en esto" o "¡hola!", particularmente entre usuarios finales que comúnmente no utilizan ese lenguaje con patrones de amenazas conocidos, usted puede identificar las amenazas de phishing con mayor eficacia, reduciendo el tiempo de remediación y mitigando el riesgo organizacional.  

Como siempre, los equipos de seguridad deben asegurarse de que sus indicadores evolucionan junto con los grandes modelos lingüísticos y los nuevos conjuntos de datos. 

Para obtener más información sobre los descubrimientos más recientes de Mimecast en materia de investigación de amenazas, no deje de leer nuestro Informe sobre Inteligencia Global de Amenazas 2024 H2 y visite nuestro Hub de Inteligencia de Amenazas.

**Este blog se publicó originalmente el 30 de septiembre de 2024.