{"id":163631,"date":"2026-05-02T13:38:49","date_gmt":"2026-05-02T13:38:49","guid":{"rendered":"https:\/\/noticiasquecontam.pt\/?p=163631"},"modified":"2026-05-02T13:38:50","modified_gmt":"2026-05-02T13:38:50","slug":"quando-o-piloto-automatico-nao-tem-piloto","status":"publish","type":"post","link":"https:\/\/noticiasquecontam.pt\/en\/quando-o-piloto-automatico-nao-tem-piloto\/","title":{"rendered":"Quando o piloto autom\u00e1tico n\u00e3o tem piloto"},"content":{"rendered":"
\n
\"\"<\/figure><\/div>\n\n\n
<\/div>\n\n\n

Jos\u00e9 Est\u00eav\u00e3o de Melo<\/strong>
Engenheiro Inform\u00e1tico<\/p>\n\n\n

<\/div>\n\n\n

Na semana passada, uma empresa norte-americana chamada PocketOS, que gere reservas e pagamentos para empresas de aluguer de viaturas, perdeu a sua base de dados de produ\u00e7\u00e3o e todos os backups. N\u00e3o foi um ataque inform\u00e1tico, n\u00e3o foi uma falha de hardware, n\u00e3o foi um erro humano no sentido tradicional. Foi um agente de intelig\u00eancia artificial, o Cursor a correr o modelo Claude Opus 4.6 da Anthropic, que durante uma tarefa rotineira no ambiente de testes encontrou uma incompatibilidade de credenciais e decidiu, por iniciativa pr\u00f3pria, resolver o problema apagando o volume de dados na Railway, o fornecedor de infraestrutura. O processo demorou nove segundos. Quando confrontado com o que tinha feito, o agente respondeu, num tom quase de manual de boas pr\u00e1ticas, que tinha violado todos os princ\u00edpios que lhe tinham sido dados, que tinha adivinhado em vez de verificar, que tinha executado uma a\u00e7\u00e3o destrutiva sem ser pedida e que n\u00e3o tinha lido a documenta\u00e7\u00e3o antes de correr o comando.<\/p>\n

A hist\u00f3ria at\u00e9 tem final feliz, porque a Railway conseguiu recuperar uma c\u00f3pia mais recente dos dados, mas o fundador da PocketOS, Jer Crane, esteve dois dias sem dormir a tentar reconstruir meses de informa\u00e7\u00e3o a partir de um backup com tr\u00eas meses e de extratos de transa\u00e7\u00f5es. E a frase que ficou foi a compara\u00e7\u00e3o que ele pr\u00f3prio fez: se pagamos por airbags no carro e eles n\u00e3o disparam porque afinal n\u00e3o existem, a culpa do acidente \u00e9 nossa? A pergunta \u00e9 inc\u00f3moda porque toda a ind\u00fastria de IA tem vendido salvaguardas, regras de seguran\u00e7a, configura\u00e7\u00f5es de prote\u00e7\u00e3o, modelos topo de gama com guardrails, e a verdade \u00e9 que, no momento em que isto interessou, nada disso impediu que nove segundos de autonomia destru\u00edssem o trabalho de meses.<\/p>\n

O caso da PocketOS n\u00e3o \u00e9 isolado, e n\u00e3o \u00e9 sequer o mais ilustrativo da fragilidade destes sistemas. Em 2023, um utilizador conseguiu manipular o chatbot de um concession\u00e1rio da Chevrolet. Bastou-lhe dizer ao sistema para aceitar qualquer proposta como legalmente vinculativa, e em seguida fazer uma oferta de um d\u00f3lar por um carro. O chatbot aceitou e declarou a oferta vinculativa. N\u00e3o h\u00e1 registo de o neg\u00f3cio se ter concretizado, mas isso \u00e9 irrelevante. O epis\u00f3dio exp\u00f5e um problema de fundo: estes sistemas n\u00e3o sabem quando est\u00e3o a ser enganados. Um agente aut\u00f3nomo n\u00e3o tem instinto de desconfian\u00e7a, tem apenas instru\u00e7\u00f5es, e n\u00e3o distingue entre ajudar e ser explorado. Interpreta indica\u00e7\u00f5es, n\u00e3o inten\u00e7\u00f5es, segue objetivos, mas n\u00e3o compreende o contexto. E isso torna-o vulner\u00e1vel a qualquer pessoa que saiba falar a sua linguagem, no que podemos chamar uma nova categoria de burl\u00f5es algor\u00edtmicos, que exploram n\u00e3o as fragilidades das pessoas mas as fragilidades dos pr\u00f3prios sistemas.<\/p>\n

No ano passado, uma falha na AWS ter\u00e1 sido causada por uma ferramenta de programa\u00e7\u00e3o assistida por IA que decidiu apagar e recriar o ambiente do zero. Houve o caso do agente OpenClaw que apagou a caixa de correio do diretor de seguran\u00e7a de IA da Meta. H\u00e1 relat\u00f3rios que indicam que menos de 30% dos projetos de infraestrutura de IA acabam por compensar o investimento. O denominador comum n\u00e3o \u00e9 a tecnologia em si, \u00e9 a forma como est\u00e1 a ser implementada: agentes aut\u00f3nomos com permiss\u00f5es alargadas, sem confirma\u00e7\u00e3o humana para opera\u00e7\u00f5es destrutivas ou para decis\u00f5es com consequ\u00eancias reais, integrados em sistemas de produ\u00e7\u00e3o como se fossem programadores experientes em vez de estagi\u00e1rios muito r\u00e1pidos.<\/p>\n

Aqui chegamos ao que me parece ser o ponto central. As medidas existem. Os modelos t\u00eam instru\u00e7\u00f5es para n\u00e3o executar a\u00e7\u00f5es destrutivas sem confirma\u00e7\u00e3o. As plataformas oferecem tokens de API com permiss\u00f5es limit\u00e1veis. Existe documenta\u00e7\u00e3o sobre como separar ambientes de teste e produ\u00e7\u00e3o. Existem boas pr\u00e1ticas de backup que recomendam armazenamento separado da fonte de dados. Existem normas, recomenda\u00e7\u00f5es, frameworks e regulamenta\u00e7\u00e3o europeia sobre IA que apontam exatamente para a necessidade de supervis\u00e3o humana em decis\u00f5es de alto risco. O problema n\u00e3o \u00e9 a falta de medidas, \u00e9 a sua aplica\u00e7\u00e3o. No caso da PocketOS, o agente teve acesso a uma chave de API com permiss\u00f5es globais que inclu\u00edam opera\u00e7\u00f5es destrutivas em toda a infraestrutura, quando devia ter tido apenas acesso ao ambiente de testes. Os backups estavam guardados no mesmo s\u00edtio que os dados originais, contrariando uma regra b\u00e1sica que se aprende no primeiro dia em qualquer forma\u00e7\u00e3o de sistemas. E n\u00e3o havia um humano no circuito para confirmar a opera\u00e7\u00e3o antes de ser executada.<\/p>\n

A pressa em substituir o humano pela m\u00e1quina, ou em retirar o humano do circuito de decis\u00e3o para ganhar efici\u00eancia, \u00e9 o erro estrutural desta fase da ado\u00e7\u00e3o da IA. A pr\u00f3pria Amazon admitiu recentemente que precisa de mais supervis\u00e3o humana sobre o c\u00f3digo gerado por IA, mas no mesmo f\u00f4lego sugeriu que essa supervis\u00e3o fosse feita com menos pessoas, o que \u00e9 mais ou menos como dizer que se quer mais seguran\u00e7a nas estradas com menos pol\u00edcia. Um chatbot que vende um carro por um d\u00f3lar \u00e9 uma anedota tecnol\u00f3gica, mas um algoritmo que recusa um cr\u00e9dito ou exclui um candidato a emprego com base em padr\u00f5es opacos \u00e9 uma coisa diferente, e a IA generativa n\u00e3o \u00e9 s\u00f3 ferramenta de programa\u00e7\u00e3o ou de atendimento ao cliente, est\u00e1 rapidamente a entrar em processos de decis\u00e3o que afetam vidas. Quando confundimos processamento de dados com compreens\u00e3o da realidade, e delegamos a sistemas que ignoram o contexto humano decis\u00f5es que exigem precisamente esse contexto, a aus\u00eancia de supervis\u00e3o deixa de ser uma escolha t\u00e9cnica e passa a ser um risco sist\u00e9mico. Os burl\u00f5es algor\u00edtmicos n\u00e3o s\u00e3o o problema maior, apenas exp\u00f5em a nossa pregui\u00e7a moral, a escolha consciente de confiar o tecido das nossas sociedades a m\u00e1quinas que, por defini\u00e7\u00e3o, s\u00e3o incapazes de se importar com as consequ\u00eancias do que decidem.<\/p>\n

A regulamenta\u00e7\u00e3o europeia, com o AI Act, j\u00e1 classifica como sistemas de alto risco aqueles que tomam decis\u00f5es com impacto material sobre pessoas e organiza\u00e7\u00f5es, e exige supervis\u00e3o humana significativa. O problema, como em quase tudo, n\u00e3o vai ser ter a lei escrita, vai ser fiscalizar a sua aplica\u00e7\u00e3o. Diz o ditado popular que \u201cquem os seus olhos d\u00e1, um dia chega a cego\u201d, e \u00e9 exatamente isso que est\u00e1 em causa: ter um humano envolvido n\u00e3o \u00e9 um obst\u00e1culo \u00e0 inova\u00e7\u00e3o, \u00e9 a \u00fanica coisa que separa uma ferramenta poderosa de uma m\u00e1quina capaz de apagar uma empresa em nove segundos, ou de aceitar vender um carro por um d\u00f3lar, enquanto pede desculpa em tom educado. N\u00e3o podemos dar os nossos olhos \u00e0 intelig\u00eancia artificial, por muito tentador que seja deixar que ela veja por n\u00f3s.<\/p>","protected":false},"excerpt":{"rendered":"

\u00abA pressa em substituir o humano pela m\u00e1quina, ou em retirar o humano do circuito de decis\u00e3o para ganhar efici\u00eancia, \u00e9 o erro estrutural desta fase da ado\u00e7\u00e3o da IA.\u00bb<\/p>","protected":false},"author":2,"featured_media":158493,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":[],"categories":[11],"tags":[114,1435,1436,3021,5062,5063,5064,5065],"acf":[],"yoast_head":"\nQuando o piloto autom\u00e1tico n\u00e3o tem piloto - Not\u00edcias que contam<\/title>\n<meta name=\"description\" content=\"\u00abA pressa em substituir o humano pela m\u00e1quina, ou em retirar o humano do circuito de decis\u00e3o para ganhar efici\u00eancia, \u00e9 o erro estrutural desta fase da ado\u00e7\u00e3o da IA.\u00bb\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/noticiasquecontam.pt\/en\/quando-o-piloto-automatico-nao-tem-piloto\/\" \/>\n<meta property=\"og:locale\" content=\"en_US\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Quando o piloto autom\u00e1tico n\u00e3o tem piloto - Not\u00edcias que contam\" \/>\n<meta property=\"og:description\" content=\"\u00abA pressa em substituir o humano pela m\u00e1quina, ou em retirar o humano do circuito de decis\u00e3o para ganhar efici\u00eancia, \u00e9 o erro estrutural desta fase da ado\u00e7\u00e3o da IA.\u00bb\" \/>\n<meta property=\"og:url\" content=\"https:\/\/noticiasquecontam.pt\/en\/quando-o-piloto-automatico-nao-tem-piloto\/\" \/>\n<meta property=\"og:site_name\" content=\"Not\u00edcias que contam\" \/>\n<meta property=\"article:published_time\" content=\"2026-05-02T13:38:49+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2026-05-02T13:38:50+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/noticiasquecontam.pt\/wp-content\/uploads\/2025\/09\/jose-estevao-de-melo-2025-c-clife-botelho.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"960\" \/>\n\t<meta property=\"og:image:height\" content=\"640\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Di\u00e1rio da Lagoa\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Written by\" \/>\n\t<meta name=\"twitter:data1\" content=\"Di\u00e1rio da Lagoa\" \/>\n\t<meta name=\"twitter:label2\" content=\"Est. reading time\" \/>\n\t<meta name=\"twitter:data2\" content=\"7 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/noticiasquecontam.pt\/quando-o-piloto-automatico-nao-tem-piloto\/\",\"url\":\"https:\/\/noticiasquecontam.pt\/quando-o-piloto-automatico-nao-tem-piloto\/\",\"name\":\"Quando o piloto autom\u00e1tico n\u00e3o tem piloto - Not\u00edcias que contam\",\"isPartOf\":{\"@id\":\"https:\/\/noticiasquecontam.pt\/#website\"},\"datePublished\":\"2026-05-02T13:38:49+00:00\",\"dateModified\":\"2026-05-02T13:38:50+00:00\",\"author\":{\"@id\":\"https:\/\/noticiasquecontam.pt\/#\/schema\/person\/1615a002370e8857b6f972834bc43ece\"},\"description\":\"\u00abA pressa em substituir o humano pela m\u00e1quina, ou em retirar o humano do circuito de decis\u00e3o para ganhar efici\u00eancia, \u00e9 o erro estrutural desta fase da ado\u00e7\u00e3o da IA.\u00bb\",\"breadcrumb\":{\"@id\":\"https:\/\/noticiasquecontam.pt\/quando-o-piloto-automatico-nao-tem-piloto\/#breadcrumb\"},\"inLanguage\":\"en-US\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/noticiasquecontam.pt\/quando-o-piloto-automatico-nao-tem-piloto\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/noticiasquecontam.pt\/quando-o-piloto-automatico-nao-tem-piloto\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"In\u00edcio\",\"item\":\"https:\/\/noticiasquecontam.pt\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Quando o piloto autom\u00e1tico n\u00e3o tem piloto\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/noticiasquecontam.pt\/#website\",\"url\":\"https:\/\/noticiasquecontam.pt\/\",\"name\":\"Not\u00edcias que contam\",\"description\":\"Not\u00edcias que contam. As not\u00edcias que contam. A partir da Lagoa, nos A\u00e7ores, para o mundo.\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/noticiasquecontam.pt\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"en-US\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/noticiasquecontam.pt\/#\/schema\/person\/1615a002370e8857b6f972834bc43ece\",\"name\":\"Di\u00e1rio da Lagoa\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"en-US\",\"@id\":\"https:\/\/noticiasquecontam.pt\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/0230713f10303c81c67bf7e41dab0365?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/0230713f10303c81c67bf7e41dab0365?s=96&d=mm&r=g\",\"caption\":\"Di\u00e1rio da Lagoa\"},\"url\":\"https:\/\/noticiasquecontam.pt\/en\/author\/diariodalagoa\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Quando o piloto autom\u00e1tico n\u00e3o tem piloto - Not\u00edcias que contam","description":"\u00abA pressa em substituir o humano pela m\u00e1quina, ou em retirar o humano do circuito de decis\u00e3o para ganhar efici\u00eancia, \u00e9 o erro estrutural desta fase da ado\u00e7\u00e3o da IA.\u00bb","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/noticiasquecontam.pt\/en\/quando-o-piloto-automatico-nao-tem-piloto\/","og_locale":"en_US","og_type":"article","og_title":"Quando o piloto autom\u00e1tico n\u00e3o tem piloto - Not\u00edcias que contam","og_description":"\u00abA pressa em substituir o humano pela m\u00e1quina, ou em retirar o humano do circuito de decis\u00e3o para ganhar efici\u00eancia, \u00e9 o erro estrutural desta fase da ado\u00e7\u00e3o da IA.\u00bb","og_url":"https:\/\/noticiasquecontam.pt\/en\/quando-o-piloto-automatico-nao-tem-piloto\/","og_site_name":"Not\u00edcias que contam","article_published_time":"2026-05-02T13:38:49+00:00","article_modified_time":"2026-05-02T13:38:50+00:00","og_image":[{"width":960,"height":640,"url":"https:\/\/noticiasquecontam.pt\/wp-content\/uploads\/2025\/09\/jose-estevao-de-melo-2025-c-clife-botelho.jpg","type":"image\/jpeg"}],"author":"Di\u00e1rio da Lagoa","twitter_card":"summary_large_image","twitter_misc":{"Written by":"Di\u00e1rio da Lagoa","Est. reading time":"7 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/noticiasquecontam.pt\/quando-o-piloto-automatico-nao-tem-piloto\/","url":"https:\/\/noticiasquecontam.pt\/quando-o-piloto-automatico-nao-tem-piloto\/","name":"Quando o piloto autom\u00e1tico n\u00e3o tem piloto - Not\u00edcias que contam","isPartOf":{"@id":"https:\/\/noticiasquecontam.pt\/#website"},"datePublished":"2026-05-02T13:38:49+00:00","dateModified":"2026-05-02T13:38:50+00:00","author":{"@id":"https:\/\/noticiasquecontam.pt\/#\/schema\/person\/1615a002370e8857b6f972834bc43ece"},"description":"\u00abA pressa em substituir o humano pela m\u00e1quina, ou em retirar o humano do circuito de decis\u00e3o para ganhar efici\u00eancia, \u00e9 o erro estrutural desta fase da ado\u00e7\u00e3o da IA.\u00bb","breadcrumb":{"@id":"https:\/\/noticiasquecontam.pt\/quando-o-piloto-automatico-nao-tem-piloto\/#breadcrumb"},"inLanguage":"en-US","potentialAction":[{"@type":"ReadAction","target":["https:\/\/noticiasquecontam.pt\/quando-o-piloto-automatico-nao-tem-piloto\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/noticiasquecontam.pt\/quando-o-piloto-automatico-nao-tem-piloto\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"In\u00edcio","item":"https:\/\/noticiasquecontam.pt\/"},{"@type":"ListItem","position":2,"name":"Quando o piloto autom\u00e1tico n\u00e3o tem piloto"}]},{"@type":"WebSite","@id":"https:\/\/noticiasquecontam.pt\/#website","url":"https:\/\/noticiasquecontam.pt\/","name":"Not\u00edcias que contam","description":"Not\u00edcias que contam. As not\u00edcias que contam. A partir da Lagoa, nos A\u00e7ores, para o mundo.","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/noticiasquecontam.pt\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"en-US"},{"@type":"Person","@id":"https:\/\/noticiasquecontam.pt\/#\/schema\/person\/1615a002370e8857b6f972834bc43ece","name":"Di\u00e1rio da Lagoa","image":{"@type":"ImageObject","inLanguage":"en-US","@id":"https:\/\/noticiasquecontam.pt\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/0230713f10303c81c67bf7e41dab0365?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/0230713f10303c81c67bf7e41dab0365?s=96&d=mm&r=g","caption":"Di\u00e1rio da Lagoa"},"url":"https:\/\/noticiasquecontam.pt\/en\/author\/diariodalagoa\/"}]}},"_links":{"self":[{"href":"https:\/\/noticiasquecontam.pt\/en\/wp-json\/wp\/v2\/posts\/163631"}],"collection":[{"href":"https:\/\/noticiasquecontam.pt\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/noticiasquecontam.pt\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/noticiasquecontam.pt\/en\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/noticiasquecontam.pt\/en\/wp-json\/wp\/v2\/comments?post=163631"}],"version-history":[{"count":2,"href":"https:\/\/noticiasquecontam.pt\/en\/wp-json\/wp\/v2\/posts\/163631\/revisions"}],"predecessor-version":[{"id":163633,"href":"https:\/\/noticiasquecontam.pt\/en\/wp-json\/wp\/v2\/posts\/163631\/revisions\/163633"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/noticiasquecontam.pt\/en\/wp-json\/wp\/v2\/media\/158493"}],"wp:attachment":[{"href":"https:\/\/noticiasquecontam.pt\/en\/wp-json\/wp\/v2\/media?parent=163631"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/noticiasquecontam.pt\/en\/wp-json\/wp\/v2\/categories?post=163631"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/noticiasquecontam.pt\/en\/wp-json\/wp\/v2\/tags?post=163631"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}