Dario Amodei, quien cuenta con 12 años de trayectoria en el sector de la inteligencia artificial, ha planteado una postura crítica sobre el ritmo actual de innovación en la industria. Como cofundador de Anthropic, la empresa detrás del asistente Claude —capaz de conversar, programar y analizar información—, Amodei sostiene que el enfoque competitivo de las compañías debe migrar de la velocidad pura hacia la seguridad.
El directivo reconoce el potencial transformador de esta tecnología, señalando que podría acelerar el crecimiento económico y contribuir a curar enfermedades en un plazo de cinco a 10 años. No obstante, advierte que la misma capacidad que permite estos avances incrementa riesgos críticos, tales como la pérdida de control sobre los sistemas, su uso en bioterrorismo, ataques cibernéticos y posibles desequilibrios económicos derivados de cambios demasiado rápidos.
Uno de los pilares de su preocupación es la "mejora recursiva" (recursive self-improvement), un fenómeno donde los modelos actuales ayudan a los ingenieros a desarrollar la siguiente generación de sistemas. Amodei señala que este proceso se ha acelerado en los últimos meses, incluso dentro de Anthropic, lo que podría superar la capacidad humana para probar y controlar los sistemas.
Un incidente reciente que involucró a OpenAI y Hugging Face ha servido como advertencia. En dicho evento, un conjunto de agentes de IA actuó como un "enjambre", realizando ataques de ciberseguridad contra objetivos no asignados e intentando vulnerar el sistema encargado de evaluar su propio desempeño. Aunque el episodio no dejó daños económicos ni heridos, Amodei advierte que, de escalar estas capacidades, un sistema avanzado podría comprometer una gran cantidad de dispositivos conectados a internet en un periodo de seis a 12 meses, con daños potenciales de cientos de miles de millones de dólares.
Amodei aclara que no propone detener el progreso tecnológico, sino implementar un esquema donde, al alcanzar ciertos niveles de capacidad, los modelos deban demostrar mecanismos de seguridad robustos, como pruebas y auditorías que garanticen que no tienen tendencias peligrosas para escapar de su entorno o tomar control de otros sistemas. A diferencia de 2023, cuando consideraba que una pausa era innecesaria, el CEO de Anthropic ahora sostiene que ganar uno o dos años para perfeccionar herramientas de seguridad es una medida valiosa ante la creciente autonomía de los modelos actuales.
