Investigadores advierten que los modelos de IA de código abierto son vulnerables al uso indebido criminal

Los hackers y otros criminales pueden apoderarse fácilmente de computadoras que operan modelos de lenguaje grandes de código abierto fuera de las barreras de protección y restricciones de las principales plataformas de inteligencia artificial, creando riesgos de seguridad y vulnerabilidades, dijeron investigadores el jueves 29 de enero.

Los hackers podrían atacar las computadoras que ejecutan los LLMs y dirigirlas para llevar a cabo operaciones de spam, creación de contenido de phishing o campañas de desinformación, evadiendo los protocolos de seguridad de la plataforma, dijeron los investigadores.

La investigación, realizada conjuntamente por las compañías de ciberseguridad SentinelOne y Censys durante 293 días y compartida exclusivamente con Reuters, ofrece una nueva perspectiva sobre la escala de casos de uso potencialmente ilícitos para miles de implementaciones de LLM de código abierto. Estos incluyen hacking, discurso de odio y acoso, contenido violento o gore, robo de datos personales, estafas o fraude, y en algunos casos material de abuso sexual infantil, dijeron los investigadores.

Aunque existen miles de variantes de LLM de código abierto, una porción significativa de los LLMs en los hosts accesibles por internet son variantes del Llama de Meta, Gemma de Google DeepMind y otros, según los investigadores. Aunque algunos de los modelos de código abierto incluyen barreras de protección, los investigadores identificaron cientos de instancias donde las barreras de protección fueron explícitamente eliminadas.

Las conversaciones de la industria de IA sobre controles de seguridad están "ignorando este tipo de capacidad excedente que claramente está siendo utilizada para todo tipo de cosas diferentes, algunas legítimas, algunas obviamente criminales", dijo Juan Andres Guerrero-Saade, director ejecutivo de investigación de inteligencia y seguridad en SentinelOne. Guerrero-Saade comparó la situación con un "iceberg" que no está siendo contabilizado adecuadamente en toda la industria y la comunidad de código abierto.

El estudio examina las instrucciones del sistema

La investigación analizó implementaciones públicamente accesibles de LLMs de código abierto desplegados a través de Ollama, una herramienta que permite a personas y organizaciones ejecutar sus propias versiones de varios modelos de lenguaje grandes.

Los investigadores pudieron ver las instrucciones del sistema, que son las indicaciones que dictan cómo se comporta el modelo, en aproximadamente una cuarta parte de los LLMs que observaron. De esos, determinaron que el 7,5% podría potencialmente habilitar actividades dañinas.

Aproximadamente el 30% de los hosts observados por los investigadores están operando desde China, y alrededor del 20% en EE.UU.

Rachel Adams, la CEO y fundadora del Centro Global sobre Gobernanza de IA, dijo en un correo electrónico que una vez que se lanzan modelos abiertos, la responsabilidad de lo que sucede después se comparte en todo el ecosistema, incluidos los laboratorios de origen.

"Los laboratorios no son responsables de cada mal uso descendente (que es difícil de anticipar), pero conservan un importante deber de cuidado para anticipar daños previsibles, documentar riesgos y proporcionar herramientas de mitigación y orientación, particularmente dada la capacidad de aplicación global desigual", dijo Adams.

Un portavoz de Meta declinó responder preguntas sobre las responsabilidades de los desarrolladores para abordar preocupaciones sobre el abuso descendente de modelos de código abierto y cómo podrían reportarse las preocupaciones, pero señaló las herramientas Llama Protection de la compañía para desarrolladores de Llama, y la Guía de Uso Responsable de Meta Llama de la compañía.

Ram Shankar Siva Kumar, líder del Equipo Rojo de IA de Microsoft, dijo en un correo electrónico que Microsoft cree que los modelos de código abierto "juegan un papel importante" en una variedad de áreas, pero, "al mismo tiempo, somos conscientes de que los modelos abiertos, como todas las tecnologías transformadoras, pueden ser mal utilizados por adversarios si se lanzan sin las salvaguardas apropiadas".

Microsoft realiza evaluaciones previas al lanzamiento, incluyendo procesos para evaluar "riesgos para escenarios expuestos a internet, auto-hospedados y de llamadas a herramientas, donde el mal uso puede ser alto", dijo. La compañía también monitorea amenazas emergentes y patrones de mal uso. "En última instancia, la innovación abierta responsable requiere un compromiso compartido entre creadores, implementadores, investigadores y equipos de seguridad".

Ollama no respondió a una solicitud de comentarios. Google de Alphabet y Anthropic no respondieron a las preguntas. – Rappler.com