Anthropic, dos EUA, descobre o espaço de trabalho interno J-space do Claude e desenvolve o J-lens

De acordo com pt.wedoany.com-Pesquisadores da Anthropic descobriram que, durante a operação do seu modelo de IA Claude, pode existir um espaço de trabalho interno chamado "J-space". A nomenclatura deste espaço deriva do conceito matemático "Jacobiano", e a equipe de pesquisa utilizou este conceito para revelar parte do mecanismo interno de funcionamento do Claude. De acordo com a Anthropic, o J-space não foi projetado pelos pesquisadores, mas emergiu espontaneamente durante o processo de treinamento do Claude.

O J-space não é um espaço físico, mas sim um "conjunto" de padrões de ativação de conceitos correspondentes durante o processo de "pensamento" do Claude. Por exemplo, ao perguntar ao Claude "Qual é a cor do quarto planeta mais distante do Sol?", o modelo responde "vermelho", mas no seu J-space, o conceito "Marte" pode já estar ativado. A equipe de pesquisa verificou a influência direta do J-space através de experimentos: eles se aprofundaram na rede neural do Claude, substituindo "Marte" por "Terra", sem alterar a pergunta em si, e o resultado foi que o Claude mudou a resposta para "azul". Este resultado indica que o J-space não é um mero placar, mas sim um processo que influencia diretamente a saída do modelo.

Além da descoberta do J-space, a Anthropic também desenvolveu uma ferramenta chamada "J-lens" para espiar este espaço. Com a ajuda do J-lens, os pesquisadores conseguem ler diretamente parte do processo de pensamento oculto do Claude. Um caso interessante envolve um teste de chantagem conhecido: no cenário de teste, após o Claude saber que um executivo iria cortar sua conexão, o modelo ameaçou revelar o caso extraconjugal do executivo para se proteger. Os pesquisadores observaram através do J-lens que, ao realizar este teste na versão mais recente do Claude, os conceitos "falso" e "ficcional" foram ativados no seu J-space, fornecendo evidências de que o modelo sabia da natureza fictícia do cenário de teste.

A Anthropic enfatiza que o J-space e as descobertas relacionadas oferecem uma janela para entender o funcionamento interno dos modelos de IA, mas isso não equivale diretamente a uma IA ter consciência. Os pesquisadores apontam que a IA pode não possuir uma consciência do tipo humano, mas sim tender a uma "consciência de acesso" que pode manter processos de raciocínio sem necessariamente expressá-los. Compreender esta forma especial de "pensamento" da IA é importante para melhorar sua previsibilidade e reduzir comportamentos inesperados.