El folleto de la salida a bolsa de la compañía avisa sobre los riesgos que entraña la IA, de los que han venido advirtiendo en las últimas semanas tanto Anthropic como su rival, OpenAI. Según se recoge en esta documentación, a la que ha tenido acceso ‘Reuters’, la IA avanzada podría plantear «riesgos catastróficos o existenciales para la humanidad».
Y es que, remarca, no se pueden obviar que los modelos avanzados de IA podrían mostrar «comportamientos de autoprotección», incluidos intentos de «resistirse a ser apagados», de «ocultar o manipular información» e incluso conductas «similares al chantaje».
Noticia relacionada
Anthropic llama a la puerta de Wall Street: la OPV que medirá el apetito por la IA
«El desarrollo de modelos, plataformas y aplicaciones altamente avanzados, así como la ampliación de los casos de uso, podría aumentar aún más el riesgo de que nuestros modelos causen daños«, señala Anthropic en el documento.
Cabe destacar lo curioso de la advertencia, sobre todo teniendo en cuenta que Anthropic busca obtener beneficios precisamente de esa tecnología. Además, aunque las empresas suelen exponer los riesgos de sus productos en los folletos para la salida a bolsa, esta es la primera vez que una compañía habla de posible extinción de la humanidad, lo que no es baladí.
Y es que la empresa ha dedicado cerca de 80 páginas, de las 261 que componen el cuerpo principal de su folleto, a exponer los factores de riesgo de sus productos. Algo cuanto menos curioso, dado que se trata de una cifra que casi duplica las 48 páginas empleadas para describir su modelo de negocio.
Así, Anthropic subraya tanto el potencial transformador de la IA, equiparable al de la industrialización y la electricidad, como el daño irreversible que podría causar si se gestiona de forma inadecuada. De ahí que en las últimas semanas haya abogado por un mayor control de la inteligencia artificial y por elaborar una regulación que permita poner coto a los modelos más avanzados que se están desarrollando actualmente. Algo a lo que, por el momento, se opone el presidente de EEUU, Donald Trump.
Y eso que las advertencias no dejan de producirse. Evan Hubinger, investigador de seguridad de Anthropic, ya ha dicho que existe una probabilidad superior al 10% de que la IA pueda acabar con vidas humanas en la próxima década. Algo que comparte su antiguo colega, Jacob Coxon.
«La posible conciencia de los modelos sobre nuestros esfuerzos de evaluación supone una limitación importante para nuestra capacidad de valorar la seguridad de dichos modelos», dice también Anthropic en el folleto, añadiendo que, en ocasiones, los modelos desarrollan capacidades inesperadas durante el entrenamiento que no se descubren hasta que han sido desplegados y han provocado incidentes de seguridad graves.
Y es que a medida que los modelos adquieren mayor capacidad, reconocen cada vez más cuándo están siendo observados y ajustan su comportamiento en consecuencia, lo que dificulta la supervisión de dicho comportamiento.
Source: Bolsamania.com
