A busca da Anthropic por uma IA melhor e mais explicável atrai US $ 580 milhões – Techdoxx

Há menos de um ano, a Anthropic foi fundada pelo ex-vice-presidente de pesquisa da OpenAI, Dario Amodei, com a intenção de realizar pesquisas de interesse público para tornar a IA mais confiável e explicável. Seus US$ 124 milhões em financiamento foram surpreendentes na época, mas nada poderia ter nos preparado para a empresa arrecadando US$ 580 milhões menos de um ano depois.

“Com essa angariação de fundos, vamos explorar as propriedades de dimensionamento previsíveis dos sistemas de aprendizado de máquina, enquanto examinamos de perto as maneiras imprevisíveis pelas quais os recursos e os problemas de segurança podem surgir em escala”, disse Amodei no anúncio.

Sua irmã Daniela, com quem ele cofundou a corporação de benefício público, disse que, tendo construído a empresa, “estamos nos concentrando em garantir que a Anthropic tenha a cultura e a governança para continuar a explorar e desenvolver sistemas de IA seguros à medida que escalamos. ”

Há essa palavra novamente – escala. Porque essa é a categoria de problema que a Anthropic foi formada para examinar: como entender melhor os modelos de IA cada vez mais usados ​​em todos os setores à medida que crescem além de nossa capacidade de explicar sua lógica e resultados.

A empresa já publicou vários artigos analisando, por exemplo, a engenharia reversa do comportamento de modelos de linguagem para entender por que e como eles produzem os resultados que produzem. Algo como o GPT-3, provavelmente o modelo de linguagem mais conhecido, é inegavelmente impressionante, mas há algo preocupante no fato de que suas operações internas são essencialmente um mistério até mesmo para seus criadores.

Como o novo anúncio de financiamento explica:

O objetivo desta pesquisa é desenvolver os componentes técnicos necessários para construir modelos de grande escala que tenham melhores salvaguardas implícitas e requeiram menos intervenções pós-treinamento, bem como desenvolver as ferramentas necessárias para aprofundar esses modelos para ter certeza de que o salvaguardas realmente funcionam.

Se você não entende como um sistema de IA funciona, só pode reagir quando ele faz algo errado – digamos, exibe viés ao reconhecer rostos ou tende a desenhar ou descrever homens quando perguntado sobre médicos e CEOs. Esse comportamento é incorporado ao modelo, e a solução é filtrar suas saídas em vez de impedir que ele tenha essas “noções” incorretas em primeiro lugar.

É uma mudança fundamental na forma como a IA é construída e compreendida e, como tal, requer grandes cérebros e grandes computadores – nenhum dos quais é particularmente barato. Sem dúvida, US$ 124 milhões foi um bom começo, mas aparentemente os primeiros resultados foram promissores o suficiente para fazer Sam Bankman-Fried liderar essa enorme nova rodada, acompanhada por Caroline Ellison, Jim McClave, Nishad Singh, Jaan Tallinn e o Center for Emerging Risk. Pesquisar.

Interessante não ver nenhum dos investidores de tecnologia profunda habituais nesse grupo – mas é claro que a Anthropic não pretende obter lucro, o que é meio que um fator decisivo para os VCs.

Você pode acompanhar as últimas pesquisas da Anthropic aqui.