En esta serie de Offensive AI, voy ir desarrollando articulos relacionados al uso de la IA en Cybersecurity, desde una perspectiva del Red Team y Blue team. Antes que el agente comience a alucinar, comenzare explicando los fundamentos:
Qué es un LLM (Explicando con mis propias palabras)
Un LLM (Largue Language Model), es un autocompletado gigante, recibe una cantidad de texto y predice cuál es la siguiente palabra más probable, una y otra vez, aprendió patrones de millones de documentos. Es necesario aclarar algunos aspectos que seran utilizandos a toda la serie de articulos:
- Token: La unidad con la que el modelo lee y escribe. Más o menos un pedazo de palabra. Todo se mide en tokens : costo, velocidad y memoria.
- Ventana de Contexto: cúanto texto puede "ver" el modelo a la vez. Lo que queda fuera de la ventana, para el no existe. - System prompt: las instrucciones ocultas que el desarrollador le dal al modelo antes de tu mensaje "eres un experto en bla bla bla"
- Temperatura: que tan "creativo" o "aleatorio" responde. Alta Temperatura = más ideas y mas inventos.
El prompt y tu mensaje entran en la ventna, convirtiendose en tokens, la temperatura decid que tan "creativa" sera la respuesta.
Por qué alucina.
Es cuestión de predicción, es decir lo más "probable" y no lo verdadero, cuando no sabe algo no dice "no sé" completa con algo que suena correcto, que loco no?, parecido a una parte de nuestro cerebro que completa las historias cuando no tiene la fotografia completa. Desde el punto de vista del Red Team, todo lo que diga la IA, debe ser verificado.
De Chatbot a agente : cuando la IA de hablar y comienza a hacer
Un chatbot responde. Un agente actúa. La diferencia es que el agente le das herramientas y un objetivo, y él decide que hacer en un ciclo:
1. Piensa : para encontrar subdominios necesito correr una herramienta de "recon" 2. Actúa: ejecuta la herramienta 3. Observa: lee el resultado 4. Repite: decide el siguiente paso hasta cumplir el objetivo El agente vuelve a pensar despues de cada resultado, y solo sale del ciclo cuando cumple el objetivo o se rinde. Componentes básicos:
- Cerebro : el LLM que "razona"
- Herramientas:(Tool Calling) funciones que puede invocar, como nmap, buscador de exploit, correlacionar eventos en SIEM, utilizar binarios.
- Memoria : lo que recuerda entre pasos, a veces apoyado en documentos propios.
Le damos el obejtivo al cerebro, la memoria le da contexto y las herramientas son las que tocan tus sistemas de verdad, el chatbot que alucina , da una respuesta mala, un agente que alucina, o al que engañan, ejecuta acciones malas, escritura, lectura y ejecucción en tu OS. Posiblemente la IA Ofensiva pueda utilizarse desde 2 angulos diferentes, el primero puede ser atacar a la IA con prompt injection, por ejemplo y el otro seria utilizar la IA para atacar las aplicaciones y dispositivos de Red, y la ultima seria, si sabe atacar, podria defender, agente bien entrenado, agente doble.
¿Por qué no usar simplemente el famoso ChatGPT?
Aqui te dejo algunas preguntas incomodas:
- ¿A donde van tus datos?
-¿Cumples con tus propias politicas de Sec?.
- ¿Te va ayudar a atacar?
- ¿Cuánto cuesta a escala?
Alernativa a esto, seria el uso de una LLM Local : un modelo que corre en tu propio servidor, con tus datos sin salir de la red, sin que venga ASFI a "cuestionar" y utilizar tus agentes y tus propias herramientas. No son los mas eficientes pero para la gran mayoria de tareas , digamos que son suficientes.
¿En tu organización ya estan utilizando LLM Locales o LLM Pagos?
En los siguientes articulos continuaremos con todo relacionado al uso de IA en Cybersecurity