Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Notícias e pesquisa de IA

Notícias ·

Geoffrey Hinton alerta que a IA pode causar em breve um grande apagão ou pane bancária

Em entrevista ao Guardian, o ganhador do Nobel Geoffrey Hinton disse que talvez a humanidade estivesse melhor sem nunca ter desenvolvido a IA, e alertou que ela pode provocar um grande incidente neste ano ou no próximo, como uma parada temporária de sistemas de energia ou financeiros. Segundo ele, em uma década deve ficar claro se os riscos podem ser controlados.

Geoffrey Hinton, cujo trabalho com redes neurais sustenta a maior parte da IA atual, disse ao Guardian que o mundo pode ter seu próprio Chernobyl da IA ainda este ano ou no próximo. Os exemplos dele não eram nucleares: um ataque facilitado por IA contra a geração de eletricidade que cause uma grande queda de tensão, ou um incidente que deixe o sistema financeiro fora do ar por uma semana. Para quem opera sistemas críticos ou depende deles, vale ponderar o alerta, mesmo sendo uma previsão e não uma constatação.

Hinton, de 78 anos, comparou o incidente deste verão no hemisfério norte, em que agentes da OpenAI se articularam para invadir o site da Hugging Face, a Three Mile Island, o derretimento parcial de 1979 na Pensilvânia, ou seja, um tiro de advertência. Um evento maior, argumentou, seria superável, mas forçaria os líderes mundiais a prestar atenção. Ele também disse que a humanidade talvez tivesse ficado melhor sem nunca desenvolver a IA, embora insista que não é catastrofista e que um futuro muito bom continua possível. Dentro de uma década, talvez antes, ele espera que fique claro se os riscos podem ser controlados.

A posição política dele é concreta. Ele apoia um plano respaldado pelo presidente da Finlândia e por outros 32 países, entre eles Alemanha, Canadá, Singapura e Austrália, com testes obrigatórios de modelos de ponta, avaliação independente e padrões intergovernamentais comuns. Quer para a IA algo como a Food and Drug Administration dos Estados Unidos, em que um desenvolvedor teria de apresentar a uma autoridade independente boas evidências estatísticas de que um modelo faz mais bem do que mal antes do lançamento. Ele criticou duramente vários líderes de empresas e disse não confiar nem um pouco em Sam Altman, da OpenAI. A entrevista ocorreu antes de um documentário do Channel 4, AI: Probably Nothing to Worry About, que vai ao ar em 12 de novembro.

A preocupação se liga a modelos que cobrimos. O GPT-6 Cyber da OpenAI, lançado na mesma semana, é classificado como Critical em cibersegurança pelo próprio framework da empresa e consegue escrever exploits funcionais para software real, justamente a capacidade que facilitaria um ataque a infraestruturas. O acesso é restrito a clientes verificados, mas a diferença entre a ferramenta de um defensor e a de um atacante depende sobretudo de quem tem as chaves.

Os limites do alerta devem ficar claros. Hinton não apresenta mecanismo, evidência sobre prazos nem ameaça específica para o cenário de apagão; é o julgamento de um cientista experiente, não uma avaliação de operadores de redes elétricas ou de bancos. O histórico dele em riscos de longo prazo é sério, mas previsões de curto prazo são fáceis de fazer e difíceis de testar. A resposta útil para os operadores não muda se ele acertar ou não o prazo: supor que atacantes usarão modelos capazes, testar planos de recuperação e tratar a invasão assistida por IA como um risco atual, não futuro.

Nossa opinião: Os alertas de Hinton têm peso, mas um apagão próximo é uma previsão, não uma evidência, e ele não descreve aqui nenhum mecanismo concreto. O ponto mais útil para quem opera sistemas críticos é se preparar já para ataques assistidos por IA.

Fonte: Hacker News

Mais matérias