SACRAMENTO.— California abrió un nuevo frente en el debate sobre la seguridad de la inteligencia artificial. El gobernador Gavin Newsom firmó este viernes una orden ejecutiva que acelera la implementación de mecanismos independientes de supervisión y plantea avanzar en el desarrollo de un sistema de emergencia capaz de apagar modelos de IA considerados de frontera.
La medida contempla reunir durante los próximos dos meses a especialistas para formular recomendaciones sobre cómo reforzar las normas estatales. Entre las propuestas que serán analizadas está que las empresas de IA cuenten con evaluadores independientes dentro de sus laboratorios y que los sistemas avanzados incorporen un mecanismo de apagado de emergencia, conocido como kill switch.
“Acabo de emitir una orden ejecutiva para acelerar la implementación de controles de seguridad y avanzar en la creación de un ‘interruptor de apagado’ dentro de los programas de IA avanzados”, escribió Newsom en su cuenta de X.
El gobernador también cuestionó la respuesta del gobierno federal frente a los riesgos asociados con el desarrollo acelerado de esta tecnología y llamó a que el marco regulatorio impulsado por California sea considerado como referencia a nivel nacional. La oficina de Newsom sostiene que Washington no ha establecido mecanismos suficientes para supervisar determinados riesgos de los sistemas avanzados.
El anuncio ocurre mientras las propias compañías tecnológicas aumentan sus advertencias sobre la velocidad con la que están avanzando los sistemas de IA. Anthropic informó que, con datos correspondientes a agosto de 2026, su modelo Claude ya “lidera” 26% de las actividades de investigación y desarrollo de IA dentro de la empresa, mientras que participa en más de 90% de ese trabajo al menos como colaborador.
La compañía aclaró que Claude todavía no funciona de manera completamente autónoma en ninguno de los segmentos de investigación y desarrollo que midió. Anthropic también reportó que alrededor de 30 mil agentes de IA realizan tareas de investigación e ingeniería en su plataforma interna más utilizada, bajo sistemas de monitoreo diseñados para detectar o bloquear comportamientos considerados peligrosos.
Estas cifras se conocen en medio de un debate cada vez mayor sobre cuánto debe avanzar la tecnología antes de que existan mecanismos suficientes para supervisarla. El director ejecutivo de Anthropic, Dario Amodei, pidió recientemente reducir el ritmo de desarrollo de los modelos para permitir que las medidas de seguridad avancen a la par de sus capacidades. Entre sus preocupaciones mencionó posibles efectos sobre el empleo, el consumo de energía y la seguridad.
Anthropic también ha documentado casos de uso malicioso de Claude en operaciones de ciberseguridad, vigilancia, fraude y otras actividades. En un informe publicado este mes, la empresa señaló que algunas operaciones utilizaron sistemas de múltiples agentes para automatizar tareas que anteriormente requerían una intervención humana mucho mayor.
La discusión sobre los llamados modelos de frontera también se ha trasladado a los gobiernos. La nueva orden de California contempla que los marcos de seguridad, reportes de transparencia y evaluaciones de riesgo de estas compañías puedan ser revisados por organizaciones independientes. También propone ampliar la definición de incidentes críticos para incluir situaciones en las que un sistema pierda el control de su operación.
La iniciativa se suma a otras medidas aprobadas recientemente en California. El 9 de septiembre, Newsom firmó leyes que establecen un marco para organizaciones independientes encargadas de verificar la seguridad de los sistemas de IA y crean un registro estatal para auditores especializados en estas tecnologías.
