La empresa detectó investigaciones con potencial para desarrollar patógenos peligrosos, pero no pudo determinar si detrás de ellas existían fines legítimos o maliciosos.
La empresa de inteligencia artificial Anthropic informó que durante este año detectó y bloqueó varios posibles complots que utilizaron sus modelos de IA para investigar sobre armas biológicas. La compañía señaló que decidió intervenir ante el riesgo de que sus herramientas pudieran facilitar el desarrollo de patógenos peligrosos.
De acuerdo con un informe de la firma, sus sistemas identificaron usos indebidos de modelos como Claude, aunque las evaluaciones no permitieron establecer con certeza cuál era el objetivo final de las investigaciones. Anthropic reconoció que demostrar que un modelo puede contribuir a una actividad peligrosa no significa que dicha capacidad vaya a utilizarse para fabricar armas en el mundo real.
La compañía explicó que, ante la imposibilidad de determinar si los usuarios actuaban con fines científicos legítimos o con intenciones maliciosas, optó por bloquear las actividades consideradas de riesgo. Hasta ahora, Anthropic aseguró que no tiene constancia de que alguna empresa privada haya hecho pública evidencia de un uso de sus plataformas para desarrollar armas biológicas.
En otro comunicado, la tecnológica detalló una lista de casos detectados durante los últimos ocho meses, en los que sus modelos habrían sido utilizados de manera indebida. Los incidentes identificados tuvieron conexiones con China, Rusia y Yemen, aunque la empresa no estableció que todos estuvieran relacionados con la creación de armas biológicas.
El caso ocurre en medio de una creciente preocupación dentro del sector tecnológico por el uso dual de la inteligencia artificial. Los mismos modelos capaces de apoyar investigaciones científicas y biológicas pueden ser empleados para actividades potencialmente peligrosas, mientras el aumento de su autonomía dificulta anticipar todos sus posibles usos.
Ante este escenario, Anthropic afirmó que ha reforzado sus sistemas de detección y bloqueo para identificar actividades que representen riesgos. El debate vuelve a colocar sobre la mesa uno de los mayores desafíos de la IA: aprovechar sus capacidades científicas sin permitir que sean utilizadas para fines que puedan poner en peligro a la población.
Deja un comentario