Anthropic da marcha atrás en política que 'saboteó' el trabajo de investigadores

Anthropic está dando marcha atrás en una política que discretamente obstaculizaba a los investigadores que usaban su nuevo Claude Fable 5 LLM para crear modelos de IA competidores, le dijo la empresa a Wired. 'Estamos cambiando los controles de seguridad de Fable 5 para desarrollo de LLM fronterizo para hacerlos visibles', dijo la empresa en un comunicado. 'Cometimos el intercambio equivocado y nos disculpamos por no acertar el equilibrio'.

Cuando Anthropic lanzó Claude Fable 5, un nuevo modelo basado en su poderoso sistema Mythos, los investigadores notaron algo extraño. Descubrieron que Fable 5 redireccionaría silenciosamente las solicitudes a un modelo inferior cuando se le pedía realizar ciertas acciones. Además, esa restricción no se divulgó en la documentación del modelo.

El nuevo modelo estaba rechazando o degradando respuestas para tareas como entrenar LLMs competidores, depurar código de IA y optimizar arquitectura neuronal. Los investigadores estaban molestados no solo por esa degradación sino por la falta de transparencia de Anthropic al respecto. También estaban preocupados, por supuesto, de haber quemado tokens y dinero en un modelo que no hacía lo que esperaban.

Anthropicse ha presentado a sí misma como una alternativa más ética y amigable para investigadores en comparación con OpenAI, así que sus acciones con Fable 5 generaron una rápida reacción negativa. 'Degradar el desempeño en investigación de ML sin avisar al usuario es sorprendentemente hostil y se ve muy mal', dijo el investigador y autor de Substack Dean W. Ball en X.

Anthropicno está revirtiendo su política de controles de seguridad en Fable 5, sino simplemente haciendo visibles las restricciones a los usuarios. 'Si la empresa sospecha que un usuario intenta usar Claude para construir una IA altamente capaz, le alertará que está rechazando la solicitud o redirigiendo al usuario a un modelo menos capaz', escribió Wired.