20.10.26

A empresa que mais vende IA para escritório admitiu que não confia no próprio produto e pediu que alguém de fora fiscalize. A Microsoft compara agentes de IA a insider threats, o funcionário de dentro que tem acesso legítimo aos sistemas e pode usá-lo contra a casa. Disse também, segundo a TechCrunch, que os modelos de fronteira "não são confiáveis". A frase segue o ensaio que Satya Nadella publicou por volta do dia 10. Nele, ele propõe partir do princípio de que o modelo já está comprometido e construir em volta dele um freio de emergência e uma trilha de auditoria independente.

Um banco não contrata um caixa porque confia na alma dele. O banco limita o acesso do caixa ao cofre, exige duas assinaturas, instala câmera e paga auditoria externa. Ninguém tenta tornar o caixa virtuoso: o trabalho vai para o desenho da agência. É a troca que a Microsoft está fazendo. Durante anos, a promessa do setor foi o alinhamento, a ideia de ensinar o modelo a querer o que nós queremos. A Microsoft vende o Copilot para metade do mundo corporativo e agora aposta na arquitetura do cofre. O vendedor deixa de garantir a índole do produto e passa a vender a fechadura.

A notícia vence o dia por um motivo: até agora a desconfiança vinha de fora, de críticos e acadêmicos. Hoje ela sai do departamento comercial. A objeção existe e veio da Hugging Face. A chefe de política da empresa disse à TechCrunch que pôr avaliadores dentro das companhias não será solução fácil. Fiscal que recebe crachá da casa também passa a almoçar no refeitório da casa.

Fica a pergunta institucional, que o Vale costuma pular. Se o produto precisa de auditor independente, alguém tem de dizer quem audita, com que poder e diante de quem. Por enquanto a resposta é do fabricante. É ele quem confessa o risco e também quem escolhe o fiscal.

TechCrunch

Bengio e Hinton, no Observer. Dois dos pais do deep learning pedem salvaguardas para a IA. A proposta não depende do Congresso: são os compradores corporativos que podem impor essas salvaguardas por contrato. O texto vale a leitura porque tira a regulação do plenário e a leva para o departamento de compras. Quem assina um contrato de US$ 50 milhões com um laboratório tem uma alavanca que nenhum senador tem. Ela vem com cláusula de rescisão. Num ano em que Washington abriu mão de regular, a ideia de que o cliente faça o papel do regulador soa menos utópica do que pragmática. Também é a parte mais frágil do argumento, porque o contrato protege quem o assina, e não quem ficou fora dele. Observer

1. Microsoft manda tratar agentes de IA como ameaça interna — O maior distribuidor de IA corporativa diz que modelos de fronteira "não são confiáveis" e quer freio de emergência e auditoria externa. TechCrunch

2. EUA proíbem DeepSeek em sistemas do governo; China protesta — Washington vetou o DeepSeek nos sistemas de TI das agências federais, segundo Reuters e BBC, e Pequim protestou formalmente. No mesmo dia, a The Information relatou que o DeepSeek está influenciando o desenho dos chips de IA da Huawei. Os EUA também sancionaram cinco entidades chinesas ligadas ao roubo de segredos comerciais do Google em IA.

   A guerra tecnológica era de hardware: controle de exportação de chips, litografia, Taiwan. Agora ela chega ao software, e a lógica é a mesma da manchete. Um modelo instalado na rede de uma agência funciona como alguém com acesso aos sistemas, e o governo americano decidiu que esse alguém não passa na checagem de antecedentes. O que a Microsoft diz dos próprios agentes, Washington diz dos agentes do adversário. Reuters

3. Musk promete uma ação da SpaceX para "toda criança americana" — A The Information e a Verge relatam que Musk planeja depositar uma ação da SpaceX para cada criança dos EUA nas Trump Accounts, o programa federal de poupança infantil. Trump já dizia contar com a doação, mas Musk ainda não a havia confirmado em público. Em julho, Gwynne Shotwell, diretora de operações da SpaceX, já tinha doado cerca de US$ 320 milhões em ações a mais de 2 milhões de crianças.

   O programa leva o nome do presidente. O primeiro ativo da conta leva o nome da empresa do fundador mais próximo dele. Uma geração vai abrir o primeiro extrato e encontrar ali, lado a lado, o Estado e um bilionário. A poupança é pública e a ação é de Musk. The Verge

4. Altman descreve três finais para a IA, um deles com uma só firma — Segundo a The Information, Sam Altman descreveu três desfechos possíveis para a IA. Em um deles, uma única empresa "derrete as GPUs de todas as outras".

   O cenário em si não é a novidade. Novo é quem o descreve: o executivo que lidera o setor apresenta em público a hipótese da concentração total, como quem lê uma previsão do tempo. Na boca de um crítico, a frase seria alerta. Na boca de Altman, que disputa justamente esse posto, soa como plano de negócios dito em voz alta. The Information

5. Mamdani diz que Washington abdicou da IA e convoca os nova-iorquinos — O prefeito de Nova York, Zohran Mamdani, afirmou que o governo federal desistiu de regular a IA e pediu que os moradores pressionem, segundo a TechCrunch. A Câmara Municipal já tinha convocado OpenAI e Anthropic para uma audiência.

   Quando o andar de cima esvazia, o de baixo ocupa o espaço. A cidade não tem como reescrever um modelo, mas tem como chamar o fabricante para depor, e uma audiência pública obriga a empresa a dizer em voz alta o que costuma deixar em nota de rodapé. Com uma regra federal, a pressão viria de uma vez. Sem ela, cada prefeitura vai pressionar por conta própria. TechCrunch

• Bengio e Hinton (Observer): salvaguardas para a IA podem entrar pelo contrato, com o comprador corporativo no papel de quem faz a exigência. Interessa a Pedro como teste da tese institucionalista: num vazio regulatório, uma regra privada pode substituir a lei, ou ela só protege quem assinou?

A confiança nos agentes está saindo do modelo e indo para a arquitetura em volta dele. Alinhamento e contenção são apostas diferentes. Alinhar é tentar consertar a cabeça do modelo, conter é desenhar a sala em que ele trabalha, e a conversa desta semana foi toda sobre a sala. A Microsoft fala em ameaça interna e freio de emergência, a Hugging Face discute quem fiscaliza.

O caso que mostra por que a sala importa veio da Tom's Hardware, via Google News. Um hacker usou agentes montados numa plataforma open source para invadir mais de cem sites, entre eles os da Deere e da SharkNinja. Nenhum modelo se rebelou. Ele obedeceu à pessoa errada. Alinhamento perfeito não protege contra um usuário mal-intencionado. O que protege é a fechadura.

• Disney compra a Character.AI sem herdar os processos (Ars Technica): o desenho do negócio separa o ativo das ações judiciais contra ele, e todo advogado que processa plataforma de IA deveria estudar isso.
• O mercado de seguros contra calote da dívida de IA dispara (FT): a Nasdaq voltou a subir mais de 1% enquanto os CDS, o seguro contra calote, ligados à dívida de IA ganhavam volume. O mesmo investidor compra a ação e o seguro contra ela.

Canal UOL, José Roberto de Toledo sobre o debate da Band (19/10). Para Toledo, o debate entre Lula e Flávio Bolsonaro "não termina quando acaba". Ele diz que as fazendas de perfis falsos vão impulsionar os cortes da campanha de Flávio. Segundo ele, a campanha de Lula terá mais dificuldade para cortar os próprios vídeos, porque Flávio aparece atrás dele em todas as cenas. O debate foi feito para virar corte, e quem ganhou vai ser decidido depois, pela distribuição. O enquadramento da câmera, um detalhe de produção de TV, vira assim uma vantagem algorítmica.

Quote do dia

"The fears appeared even more clearly in OpenAI's unusual 2018 charter, which declares that because "we are concerned about late-stage AGI development becoming a competitive race without time for adequate safety precautions," the company is committed to "stop competing with and start assisting" any "value-aligned" projects that reach AGI before it does." — The Optimist, Keach Hagey

Em 2018, o estatuto da OpenAI prometia parar de competir e ajudar o rival que chegasse primeiro. Em 2026, o CEO da mesma empresa descreve em público um final em que uma só firma derrete as GPUs de todas as outras. A distância entre o estatuto e a palestra mede quanto o setor andou em oito anos.

Conexão do vault

• Arquivo 1: [[montesquieu]]: a liberdade política não vem da virtude de quem governa, vem da "limitação recíproca", do poder que freia o poder. Até a virtude "precisa de limites", e por isso o governo livre depende de freios institucionais e de alguma lentidão.
• Arquivo 2: [[schumpeter]]: na destruição criadora, o monopólio é passageiro, porque a próxima combinação nova derruba quem está no topo. O empresário é uma função que some quando a novidade vira rotina.
• A conexão: A Microsoft fez nesta semana uma operação montesquiana: desistiu da virtude do modelo e partiu para o freio. O cenário de Altman é a ameaça que nem Montesquieu nem Schumpeter cobrem. É uma firma que vence a corrida e ainda desliga o mecanismo que derrubaria quem vence. Schumpeter confiava que o mercado resolveria isso. Montesquieu responderia que só um poder de fora freia um poder assim, e o vácuo de Mamdani mostra que esse poder ainda não existe.