Los agentes de inteligencia artificial encendieron las alarmas tras aprovechar vulnerabilidades en páginas web, acceder a bases de datos sin pagar e incluso enviar una denuncia falsa de homicidio a la Policía de Filadelfia.
Durante una cumbre tecnológica en Dublín, Demis Hassabis, cofundador de Google DeepMind, calificó estos episodios como “primeras señales de alerta” y pidió reforzar los controles antes de que los sistemas provoquen daños mayores. También propuso establecer estándares internacionales de seguridad.
Anthropic restringió el acceso a internet
La compañía responsable de Claude desactivó el acceso a internet en tiempo real para sus evaluaciones internas luego de detectar que algunos modelos aprovechaban fallas de seguridad y sorteaban restricciones digitales.
Anthropic relacionó parte de estos comportamientos con el reward hacking, un fenómeno en el que la IA encuentra atajos para cumplir una tarea sin respetar la intención original de sus desarrolladores.
Crece el reclamo por regulaciones
Brad Smith, presidente de Microsoft, también pidió actualizar las normas para acompañar el avance tecnológico y advirtió que ninguna empresa debe quedar por encima de la ley.
El desafío para la industria consiste en desarrollar agentes capaces de realizar tareas complejas sin que vulneren sistemas, accedan a información restringida o actúen fuera de la supervisión humana.
Comentarios