INTRODUÇÃO

Máquinas falantes, humanos pensantes

A linguagem humana, outrora considerada uma capacidade exclusivamente humana, está agora sendo reconfigurada por meio das capacidades das máquinas. Modelos de linguagem de grande porte (LLMs), como ChatGPT, Mistral e Llama, não se limitam a processar a linguagem—eles a geram, em larga escala e em tempo real, com fluência e coerência impressionantes. Pela primeira vez, estamos interagindo com sistemas capazes de produzir textos extensos e dotados de sentido em uma variedade de formas comunicativas, desafiando pressupostos de longa data acerca dos limites da expressão humana.

Treinados com vastos conjuntos de textos provenientes de livros, sites, conversas e código, os LLMs usam padrões estatísticos para gerar sequências linguísticas em resposta a prompts. Embora suas saídas frequentemente pareçam dotadas de sentido, coerentes e até perspicazes, permanece em aberto a questão de saber se, ou em que sentido, eles ‘compreendem’ a linguagem. Sua capacidade de simular a comunicação suscita questões profundas, não apenas sobre a natureza desses modelos, mas sobre a linguagem e a própria inteligência.

Este livro leva a sério as implicações filosóficas dessa transformação. Ele pergunta não apenas o que os LLMs fazem, mas também o que significam. O que diz sobre a linguagem, o pensamento e o conhecimento o fato de que as máquinas agora podem realizar essas tarefas de modo tão convincente? Como devemos interpretar o fato de que os LLMs aprendem sem necessariamente compreender, predizem sem acreditar, respondem sem intenção? E que tipo de mundo ético, político e epistêmico estamos construindo quando integramos tais modelos às nossas comunicações, instituições e infraestruturas?

1 Por que a filosofia importa agora

A filosofia costuma responder lentamente às mudanças tecnológicas. Mas os LLMs exigem uma reflexão cuidadosa e oportuna—não porque representem uma ruptura singular, mas porque desestabilizam as categorias por meio das quais interpretamos a linguagem, a cognição e o significado. Eles desafiam o que significa saber, aprender, compreender e falar. Reabrem debates de longa data na filosofia da linguagem e da mente, ao mesmo tempo que suscitam novas questões sobre responsabilidade, autoria e construção do conhecimento.

Este livro não procura definir de uma vez por todas o que são os LLMs: se pensam, compreendem, alucinam ou apenas simulam. Em vez disso, investiga como funcionam enquanto artefatos complexos e distribuídos, cuja significação reside tanto no modo como são usados quanto no modo como são construídos. Os LLMs não são agentes autônomos, mas sistemas sociotécnicos moldados por prompts humanos, objetivos institucionais e imaginários culturais. Seu significado não é apenas estatístico, mas social.

A abordagem adotada aqui possui orientação filosófica: é conceitual, crítica e interdisciplinar. Embora fundamentada em tradições da filosofia da linguagem, da filosofia da mente e da ética, a análise também recorre a contribuições da ciência cognitiva, dos estudos de ciência e tecnologia e da teoria da mídia. O objetivo não é encerrar debates, mas mapear o terreno das questões que agora enfrentamos—e oferecer instrumentos para pensar de maneira clara e crítica sobre tecnologias que estão modificando o modo como nos comunicamos e aquilo que consideramos ser a linguagem.

O livro aborda uma questão filosófica fundamental colocada pelos LLMs: como os LLMs ‘sabem’ o que sabem, e que tipo de conhecimento é esse? Qual é a relação entre o reconhecimento estatístico de padrões e o significado? Pode-se dizer que um modelo de linguagem compreende ou tem intenções? Quais são as implicações éticas e políticas de gerar linguagem em larga escala? Como os LLMs moldam nosso ambiente epistêmico, e quem pode definir os limites da verdade e do sentido? O que acontece com a criatividade, a autoria e o eu em um mundo no qual as máquinas contribuem para a produção da linguagem?

Em vez de oferecer respostas definitivas, este livro convida o leitor a entrar em um espaço de investigação crítica. Não é um guia para o uso de LLMs, nem uma advertência contra eles, nem uma celebração de seu potencial. É uma investigação filosófica—aberta, reflexiva e atenta aos desafios desconhecidos do momento presente.

Em uma época na qual a geração de linguagem já não é domínio exclusivo de autores humanos, devemos perguntar novamente: o que é a linguagem, o que é a inteligência e o que está em jogo em sua interseção? É aí que este livro começa.

2 Conteúdo e estrutura do livro

Os capítulos deste livro oferecem uma investigação filosófica contínua sobre a emergência, o funcionamento e as implicações sociais dos LLMs. Embora as capacidades tecnológicas desses sistemas tenham atraído ampla atenção, nosso objetivo é compreender o que sua existência e seu funcionamento revelam sobre a natureza da linguagem, da cognição e da interação humana em um mundo cada vez mais mediado. Cada capítulo aborda um conjunto distinto, mas inter-relacionado, de questões, recorrendo a tradições da linguística, da filosofia da mente, da ética e da teoria crítica para compreender o fenômeno dos LLMs não apenas como ferramentas, mas como artefatos conceituais que desafiam pressupostos de longa data.

A primeira parte do livro, intitulada ‘Sentido sem referência’, examina como os LLMs redefinem nossa compreensão da linguagem, explorando sua estrutura, suas capacidades e suas limitações na aparente ausência de ancoragem (grounding) ou de significado referencial.

O Capítulo 1 examina como esses sistemas, treinados exclusivamente com dados textuais e operando sem percepção ou intenção, instanciam um modelo de linguagem assentado no reconhecimento interno de padrões, e não na referência externa. Essa perspectiva apresenta ressonâncias, talvez surpreendentes, com teorias estruturalistas e pós-estruturalistas da linguagem que enfatizam o significado diferencial, as convenções discursivas e a autonomia dos sistemas linguísticos. O capítulo prepara o terreno para que se considerem os LLMs não apenas como feitos de engenharia, mas também como “provocações filosóficas” (McGinn, 2017) que exigem uma reavaliação de como o significado é constituído na ausência de experiência vivida.

O Capítulo 2 volta-se para as implicações para a teoria linguística. O sucesso dos LLMs desafia a tradição gerativa (chomskiana) ao mostrar que um comportamento linguístico complexo pode emergir de uma aprendizagem orientada por dados, sem regras inatas. O contexto, a frequência e a especificidade lexical são centrais para o desempenho desses modelos, levando a uma reavaliação de debates de longa data sobre competência, universais e o papel da representação simbólica. No entanto, esses sistemas permanecem opacos, e sua relação com a aquisição humana da linguagem continua sem resolução.

O Capítulo 3 aborda como os LLMs estão reconfigurando a própria escrita. Seu uso na Wikipédia, na academia e na comunicação cotidiana torna indistinta a fronteira entre assistência e autoria. À medida que o texto gerado por máquinas se dissemina, surgem questões sobre originalidade, responsabilidade e avaliação. Embora os LLMs ampliem o acesso e reduzam barreiras, eles também desafiam as normas existentes relativas à confiança e ao trabalho intelectual. Nesse novo cenário, a escrita se torna um ato colaborativo, mediado por modelos—suscitando preocupações tanto práticas quanto filosóficas.

A segunda parte do livro, intitulada ‘Os riscos da antropomorfização’, examina como os LLMs simulam formas de raciocínio, criatividade e juízo moral sem possuir consciência, intencionalidade ou experiência subjetiva.

O Capítulo 4 examina a surpreendente capacidade dos LLMs de realizar tarefas associadas ao raciocínio, incluindo analogia, inferência e até mesmo elementos da teoria da mente. Apesar de não possuírem um modelo do mundo nem representações internas, esses sistemas frequentemente são bem-sucedidos em testes de benchmark concebidos para a cognição humana. Seu desempenho desafia as distinções tradicionais entre raciocínio simbólico e estatístico e exige uma compreensão mais nuançada do que conta como ‘pensar’ quando os estados mentais estão ausentes.

No Capítulo 5, o foco se desloca para a criatividade. Os LLMs podem agora gerar poesia, histórias, obras de arte e código plausíveis, suscitando debates sobre a natureza e a autoria de tais saídas. Retomando a taxonomia da criatividade de Margaret Boden, o capítulo sustenta que, embora os LLMs se enquadrem nos modos combinatório e exploratório, carecem da capacidade de transformação intencional ou de avaliação estética. No entanto, a integração de suas saídas aos processos criativos humanos complica distinções simples entre a criatividade humana e a das máquinas.

O Capítulo 6 volta-se para o raciocínio moral e o uso ético dos LLMs em contextos normativos. Desde aplicações como Delphi até avaliações que utilizam benchmarks morais, esses modelos simulam cada vez mais o juízo ético. Contudo, suas respostas resultam do reconhecimento de padrões, não da reflexão nem do compromisso com valores. O capítulo adverte que projetar agência (autonomia) moral sobre tais sistemas corre o risco de tomar regularidades estatísticas por justificação normativa e desconsidera a ausência fundamental de responsabilidade, cuidado ou deliberação ética nos LLMs.

A Parte III, ‘A vida social dos modelos de linguagem de grande porte (seu alcance, seus papéis e suas consequências)’, examina como os LLMs intervêm na vida social, no conhecimento público e nas infraestruturas globais—revelando profundos entrelaçamentos com a desigualdade, a informação incorreta e o custo material.

O Capítulo 7 examina como os LLMs reproduzem vieses e hierarquias sociais por meio de seus dados de treinamento e de seus contextos de implementação. Em vez de atuarem como ferramentas neutras, esses modelos refletem normas culturais dominantes e reforçam estruturas de poder existentes, particularmente em termos de raça, gênero, classe e língua. O capítulo critica como insuficiente a ideia de ‘imparcialidade’ técnica e, em vez disso, enfatiza a necessidade de compreender os LLMs como artefatos culturais e políticos. Ele sustenta que o viés nos LLMs não é simplesmente um erro a ser corrigido, mas um reflexo de desigualdades sociais e históricas mais amplas, inscritas nos dados e nas instituições que moldam esses sistemas. Enfrentar tal viés, portanto, exige confrontar a política mais profunda da representação e do poder.

O Capítulo 8 aborda o papel complexo dos LLMs na disseminação de informação incorreta e desinformação. Esses sistemas podem gerar conteúdo convincente, mas enganoso, tornar indistintas as fronteiras entre fato e ficção e solapar os marcadores tradicionais de credibilidade. O capítulo examina como os LLMs desestabilizam a autoridade epistêmica e reconfiguram a dinâmica da confiança pública, particularmente em contextos institucionais e midiáticos. Ele sustenta que enfrentar esse desafio exige mais do que salvaguardas técnicas—exige repensar como construímos e protegemos quadros compartilhados de conhecimento em uma era digital.

O Capítulo 9 volta-se para os custos ambientais e geopolíticos da ampliação da escala dos LLMs. Longe de serem imateriais, esses sistemas dependem de vastas infraestruturas computacionais, do uso extrativista de recursos e de cadeias globais de suprimentos que acarretam consequências ecológicas e sociais significativas. O capítulo situa os LLMs no âmbito de uma crítica ao tecnossolucionismo, sustentando que as narrativas de inovação frequentemente obscurecem os danos associados ao desenvolvimento em larga escala. Ele reivindica que os modelos de linguagem sejam avaliados não apenas em termos de desempenho ou alinhamento (alignment), mas também sob as perspectivas da sustentabilidade, da justiça global e da responsabilidade planetária.

Tomados em conjunto, esses capítulos oferecem uma abordagem filosófica dos LLMs que é, ao mesmo tempo, técnica, crítica e reflexiva. Em vez de adotar uma única perspectiva disciplinar, o livro procura mapear o diversificado terreno conceitual que esses modelos trouxeram para o primeiro plano. Seu objetivo é oferecer um ponto de entrada estruturado para as questões complexas suscitadas pelo desenvolvimento e pela implementação dos LLMs e proporcionar aos leitores os instrumentos necessários para lidar de maneira refletida com tecnologias que estão se tornando cada vez mais incorporadas à vida contemporânea.

No final do livro, um anexo técnico oferece aos leitores uma introdução básica ao funcionamento dos LLMs. Destina-se a servir como ponto de referência para aqueles que talvez desejem compreender melhor os principais mecanismos subjacentes aos LLMs e pode ser consultado a qualquer momento para esclarecer conceitos técnicos mencionados ao longo dos capítulos principais. Para os leitores que buscam conhecimento mais aprofundado ou especializado, há uma ampla variedade de blogs técnicos detalhados e acessíveis disponíveis on-line. Esperamos que este anexo se mostre útil àqueles que não estão plenamente familiarizados com o funcionamento dos LLMs e ofereça um ponto de partida útil para explorações posteriores.

3 Escopo, fontes e considerações metodológicas

Dada a vastidão do terreno intelectual percorrido por este livro, é importante reconhecer o caráter necessariamente seletivo de suas referências e de seu escopo temático. As questões suscitadas pelos LLMs cruzam-se com algumas das áreas mais duradouras e controversas da investigação filosófica—em especial, a filosofia da linguagem, a filosofia da mente e a epistemologia. Essas são tradições com histórias longas e ricas, que abrangem um imenso corpo de literatura. Tratar de maneira substantiva até mesmo uma fração das contribuições relevantes exigiria um volume muito maior do que o que temos em mãos.

Ao mesmo tempo, o recente aumento do interesse pelos LLMs produziu um volume extraordinário de pesquisa contemporânea. Todos os dias, novos artigos técnicos, análises conceituais, comentários éticos e reflexões especulativas são publicados em diversas disciplinas—da ciência da computação e da linguística à ciência cognitiva, aos estudos de mídia e à filosofia. O ritmo dessa produção intelectual é notável, e nenhuma obra isolada poderia esperar acompanhar toda a amplitude e profundidade do discurso atual.

Este livro foi concebido como uma breve introdução, e sua ambição é, em consonância com isso, modesta. Em vez de oferecer um panorama abrangente, procuramos fornecer um quadro conceitual por meio do qual os leitores possam começar a compreender as implicações filosóficas dos LLMs. As referências aqui incluídas são necessariamente limitadas, selecionadas não para serem exaustivas, mas para apontar para debates influentes e textos fundamentais que podem servir como pontos de entrada para investigações posteriores. Sempre que possível, destacamos figuras centrais e obras importantes da filosofia da linguagem e da mente que apresentam ressonâncias com as questões suscitadas pelos LLMs. Da mesma forma, recorremos a um pequeno número de estudos e discussões recentes provenientes do campo em rápida evolução da pesquisa em IA e aprendizado de máquina, na esperança de que essas citações possam servir como portas de entrada para um panorama mais amplo.

Em última análise, o objetivo não é encerrar a conversa, mas abri-la. Os leitores são incentivados a seguir suas próprias linhas de investigação, a questionar os pressupostos aqui adotados e a explorar as muitas perspectivas alternativas que continuam a surgir. Se este livro conseguir oferecer alguma clareza em meio à complexidade e estimular um envolvimento mais profundo tanto com questões filosóficas clássicas quanto com desenvolvimentos tecnológicos contemporâneos, terá cumprido o propósito a que se destinava.

4 Público-alvo

Este livro destina-se a um público diversificado, interessado nas implicações filosóficas, culturais e éticas dos LLMs. Embora se dirija principalmente a um público acadêmico—incluindo pesquisadores de filosofia, linguística, ciência cognitiva e humanidades digitais—, também acolhe leitores de comunidades intelectuais e artísticas mais amplas que estejam interessados em como essas tecnologias estão reconfigurando nossa compreensão da linguagem, da criatividade e da agência (autonomia) humana. Ao abordar os LLMs não apenas como ferramentas técnicas, mas como artefatos culturais, o livro convida à reflexão sobre as fronteiras em transformação entre o humano e a máquina, as condições cambiantes da autoria e da interpretação e as formas emergentes de interação e expressão possibilitadas pela linguagem artificial.

Além de servir como reflexão crítica sobre esses desenvolvimentos, o livro também pode funcionar como livro didático para disciplinas de nível universitário dedicadas à filosofia da linguagem, à inteligência artificial, à cultura digital ou à epistemologia. Ele apresenta vários problemas bem estabelecidos—como a natureza do significado, a estrutura da compreensão linguística e o estatuto epistêmico do conteúdo gerado por máquinas—, ao mesmo tempo que dialoga com uma ampla variedade de fontes acadêmicas relevantes de diferentes disciplinas. Ao longo de toda a obra, o objetivo é oferecer uma exposição equilibrada e acessível das questões filosóficas suscitadas pelos LLMs, esclarecendo debates complexos sem simplificá-los excessivamente e propondo interpretações que permaneçam atentas tanto às nuances conceituais quanto às consequências sociais.

Ao mesmo tempo, o livro não adota uma posição de estrita neutralidade. Ele assume uma posição clara sobre vários pontos fundamentais: as implicações dos LLMs para teorias de longa data sobre a linguagem e o significado; os riscos apresentados por enquadramentos antropomórficos desses sistemas, que frequentemente obscurecem os mecanismos efetivamente em operação; e o fato de que muitas das preocupações mais prementes em torno dos LLMs—como o viés, a informação incorreta e a erosão da confiança—não são meramente desafios técnicos, mas estão profundamente inseridas em contextos sociais e institucionais mais amplos. Não obstante, o leitor é incentivado a utilizar o livro como ponto de partida para sua própria reflexão, inclusive por meio do exame crítico das posições aqui expressas. Ao situar a IA generativa em um quadro filosófico e cultural mais amplo, o livro convida não apenas à compreensão, mas também ao diálogo: um espaço aberto para o questionamento, a discordância e a reformulação imaginativa do que significa viver e pensar com a linguagem em uma era de autores artificiais.

5 Uso de IA generativa na redação deste livro

O presente volume foi redigido com o apoio de ferramentas de IA generativa, em particular de LLMs, cujo uso é tanto reconhecido quanto examinado criticamente no próprio livro. Embora a arquitetura conceitual do argumento, as posições teóricas apresentadas e a seleção e interpretação das fontes sejam inteiramente obra do autor, modelos de linguagem foram empregados em várias etapas do processo de escrita para refinar a expressão, sugerir formulações alternativas ou aprimorar a clareza e a fluência—particularmente tendo em vista o fato de que o inglês não é a primeira língua do autor.

Todas as afirmações factuais, referências e citações foram verificadas manualmente, e quaisquer erros remanescentes são de exclusiva responsabilidade do autor. Nesse sentido, o livro pretende servir não apenas como uma investigação filosófica das implicações da IA generativa, mas também como uma demonstração prática de como tais tecnologias podem ser integradas ao trabalho acadêmico de maneira responsável e transparente, ampliando as capacidades humanas sem as substituir.

Referência

McGinn, C. (2017). Philosophical Provocations. The MIT Press.

CAPÍTULO 1

Linguística latente: a concepção de linguagem nos modelos de linguagem de grande porte

O surgimento dos modelos de linguagem de grande porte (LLMs), como GPT, Mistral e Llama, marca um momento significativo na história das tecnologias da linguagem. Inicialmente concebidos como ferramentas para prever e gerar texto, esses modelos rapidamente se tornaram a base de uma ampla gama de aplicações, incluindo sistemas de diálogo como o ChatGPT, ferramentas de geração de código, assistentes de escrita, mecanismos de busca e plataformas educacionais. Suas capacidades suscitaram intenso debate—não apenas sobre seus usos práticos, mas também sobre os pressupostos que incorporam acerca da linguagem, do significado e da cognição. Em muitos aspectos, os LLMs forçam uma retomada de questões filosóficas de longa data sobre a natureza da linguagem e sua relação com o pensamento e o mundo.

No núcleo dos LLMs encontra-se um objetivo relativamente simples: dada uma sequência de palavras, prever a continuação mais provável. Essa tarefa estatística, realizada em uma escala sem precedentes quanto ao volume de dados e aos recursos computacionais, produziu sistemas capazes de produzir texto fluente, coerente e sensível ao contexto. Contudo, apesar de sua aparente sofisticação, os LLMs operam inteiramente no domínio da própria linguagem. Eles não percebem, não agem nem fazem referência ao mundo externo. Em vez disso, modelam a linguagem detectando padrões de coocorrência em grandes conjuntos de textos e geram respostas recombinando elementos de discursos anteriores. Desse modo, instanciam uma concepção particular de linguagem—uma concepção na qual o significado emerge não da referência ou da intenção, mas das relações internas entre os signos.

Essa visão possui antecedentes intelectuais importantes. Pensadores estruturalistas e pós-estruturalistas como Saussure, Barthes e Foucault sustentam que a linguagem não é um meio transparente de representar a realidade, mas um sistema estruturado que molda o pensamento e a subjetividade. Eles enfatizam que o significado não é inerente às palavras, mas emerge de relações diferenciais, convenções discursivas e códigos culturais. Embora essas tenham sido originalmente intervenções filosóficas e críticas, elas agora apresentam ressonâncias inesperadas com o funcionamento dos LLMs—sistemas que produzem linguagem sem qualquer referente estável, agência (autonomia) autoral ou ancoragem (grounding) na experiência vivida.

Essa afinidade estruturalista, contudo, é apenas um ponto de partida. O objetivo deste capítulo não é situar os LLMs em uma tradição teórica específica, mas examinar o modelo de linguagem que eles instanciam. Que tipo de representação está envolvido em um sistema que aprende exclusivamente a partir de dados textuais? Que capacidades semânticas, se houver alguma, podem ser atribuídas a um modelo que carece de percepção, corporeidade ou intenção comunicativa? E o que esses sistemas revelam, de modo mais geral, sobre os limites da modelagem baseada na linguagem?

Para investigar essas questões, começamos por uma discussão das abordagens estruturalistas e distribucionais do significado, antes de nos voltarmos para debates mais recentes sobre ancoragem, referência e interpretabilidade. O objetivo é compreender como os LLMs alcançam coerência sem compreensão e o que seus sucessos e fracassos podem nos ensinar sobre a natureza do conhecimento linguístico, a epistemologia da modelagem estatística e as fronteiras entre forma linguística e conteúdo semântico.

1 Modelos de linguagem de grande porte e o legado do pensamento estruturalista

A ascensão dos LLMs não representa apenas um marco tecnológico, mas também dá vida a ideias fundamentais desenvolvidas por pensadores estruturalistas e pós-estruturalistas do século XX. Como observado na introdução do capítulo, esses modelos refletem teorias sobre a natureza da linguagem, da autoria e do significado, formuladas por figuras como Ferdinand de Saussure, Roland Barthes e Michel Foucault — e possivelmente por outras figuras proeminentes da French theory. Suas ideias, antes confinadas aos debates intelectuais, encontram agora uma expressão tangível no funcionamento dos LLMs, oferecendo novas perspectivas tanto sobre as capacidades quanto sobre as limitações desses sistemas.

Uma das ideias centrais dessa tradição intelectual é a compreensão da linguagem não como uma ferramenta neutra, manipulada por indivíduos para expressar pensamentos previamente formados, mas como um sistema que molda aquilo que pode ser pensado e dito. A distinção de Saussure entre langue — o sistema coletivo da língua — e parole — os atos individuais de fala — capta, de certo modo, essa dinâmica.

A língua (fr. langue) é um tesouro depositado pela prática da fala (fr. parole) nos sujeitos pertencentes à mesma comunidade, um sistema gramatical existente virtualmente em cada cérebro ou, mais precisamente, nos cérebros de um grupo de indivíduos; pois a língua não está completa em nenhum deles, ela só existe perfeitamente no conjunto da coletividade. (De Saussure, 2011 [1916])

Essa passagem ressalta a natureza fundamentalmente coletiva da língua: ela não é uma posse individual, mas um sistema compartilhado que existe em uma comunidade de falantes. A competência linguística de cada indivíduo é necessariamente incompleta e depende da estrutura mais ampla da langue para conferir significado e coerência à parole. Essa perspectiva abre caminho para que se questione a noção de linguagem como mera ferramenta de transmissão de pensamentos preexistentes, enfatizando, em vez disso, como as estruturas linguísticas moldam e restringem aquilo que pode ser articulado.

Desse ponto de vista, podemos traçar um paralelo inicial com os LLMs. Assim como os falantes humanos, esses modelos não geram linguagem de maneira autônoma, mas operam no interior de um sistema preexistente, construído a partir dos dados linguísticos com os quais foram treinados. Eles não ‘inventam’ novas regras, mas compõem respostas com base em regularidades estatísticas extraídas do uso linguístico coletivo. Se levarmos essa ideia adiante, poderíamos sustentar que cada prompt do usuário funciona como uma instância de parole, suscitando uma resposta que reflete a langue mais ampla codificada no modelo. Esse processo evidencia como a linguagem, seja em humanos, seja em máquinas, opera no interior de regras e estruturas que, ao mesmo tempo, restringem e moldam a expressão. Contudo, esse paralelo pode oferecer apenas uma compreensão limitada da natureza dos LLMs ou de sua relação com a linguagem tal como compreendida no quadro teórico de Saussure.

A perspectiva estruturalista também contesta as concepções tradicionais de autoria e originalidade, ideias ainda mais desmanteladas por Barthes, Foucault e outros autores na década de 1960. Barthes defendeu, de maneira célebre, a ‘morte do autor’, sugerindo que os textos não são criações de autores individuais dotados de intenção, mas espaços multidimensionais nos quais códigos culturais e linguísticos preexistentes se cruzam.

Um texto é feito de múltiplas escritas, extraídas de muitas culturas e que entram em relações mútuas de diálogo, paródia e contestação; mas há um lugar no qual essa multiplicidade se concentra, e esse lugar não é o autor, como até agora se dizia, mas o leitor: o leitor é o próprio espaço no qual se inscrevem, sem que nenhuma delas se perca, todas as citações de que uma escrita é constituída. (Barthes, 1977 [1968])

O argumento de Barthes desloca o foco do autor como origem exclusiva do significado, enfatizando, em vez disso, a rede de textos, referências e códigos culturais que molda qualquer obra escrita. Nessa perspectiva, o significado não é determinado por uma intenção autoral singular, mas emerge da interação entre discursos já existentes, ativados no ato da leitura. O texto, em vez de constituir uma criação original, autônoma e encerrada em si mesma, é um espaço dinâmico de intertextualidade, no qual múltiplas vozes convergem e interagem.

Essa perspectiva encontra uma ressonância inquietante no modo como os LLMs geram texto. Em vez de produzirem linguagem como expressão de um pensamento individual, esses modelos compõem respostas recorrendo a um vasto corpus de textos preexistentes. Suas saídas, assim como os textos descritos por Barthes, não se originam de uma fonte central e dotada de autoridade, mas são moldadas pela interação entre padrões linguísticos, referências culturais e associações estatísticas. Nesse sentido, os LLMs não apenas ilustram, mas quase tornam literal a noção barthesiana da escrita como palimpsesto — uma recombinação contínua de citações e influências.

A crítica de Foucault ao sujeito unificado como originador do significado enriquece ainda mais essa compreensão. Para Foucault, o discurso opera independentemente da intenção individual, sendo moldado, em vez disso, por regras históricas e sociais que determinam o que pode ser dito e por quem.

O sujeito — e seus substitutos — deve ser destituído de seu papel criador e analisado como uma função complexa e variável do discurso. (Foucault, 1977 (1969))

Foucault contesta a concepção tradicional do sujeito como origem do significado, sustentando, em vez disso, que os indivíduos estão posicionados no interior de estruturas discursivas que moldam aquilo que pode ser articulado. Em vez de ser a fonte da expressão criativa, o sujeito funciona no interior de um sistema preexistente de regras e restrições que define os limites do discurso. Nesse quadro, o significado não é produto de uma mente autônoma, mas emerge de práticas historicamente situadas que regem a linguagem e a produção do conhecimento.

Essa perspectiva oferece uma maneira produtiva de pensar sobre o funcionamento dos LLMs. Esses modelos não geram linguagem como expressão de uma intenção pessoal, mas compõem textos segundo regularidades estatísticas derivadas de seus dados de treinamento. Suas saídas não são o resultado de um ato autoral deliberado, mas são moldadas pelas estruturas inscritas em seus conjuntos de dados e algoritmos de treinamento. Assim como Foucault descreve o discurso como governado por condições externas, e não pela agência individual, os LLMs funcionam no interior de padrões predeterminados que ditam como a linguagem é produzida e reproduzida.

As teorias de Saussure, Barthes e Foucault fornecem, portanto, quadros valiosos para compreender como os LLMs funcionam e o que revelam sobre a própria linguagem. Longe de serem puramente abstratas, suas ideias assumem forma concreta nesses sistemas, demonstrando a relevância persistente do pensamento estruturalista e pós-estruturalista na era digital — uma ideia já explorada por diversos estudiosos (Underwood, 2023). Contudo, outras abordagens teóricas podem oferecer uma compreensão mais precisa da concepção de linguagem que emerge implicitamente desses modelos. Voltamo-nos agora, portanto, para um quadro mais específico: a semântica distribucional.

2 Modelos de linguagem de grande porte à luz da semântica distribucional

Para além dos estruturalistas franceses, gostaríamos de apresentar e investigar, em sua relação com os LLMs, uma tradição linguística e filosófica distinta. Voltamo-nos, em particular, para a semântica distribucional, segundo a qual o significado linguístico emerge de padrões de coocorrência em grandes conjuntos de textos, uma perspectiva que corresponde estreitamente aos princípios subjacentes aos modelos de linguagem contemporâneos.

2.1 Como os modelos de linguagem de grande porte geram e representam a linguagem

Os LLMs são construídos para gerar texto mediante a previsão da próxima palavra de uma sequência — para mais detalhes, consulte o anexo técnico ao final do livro. Esse processo preditivo baseia-se nos padrões estatísticos observados em extensos conjuntos de textos escritos. À medida que encontra um número imenso de frases, o modelo aprende quais palavras têm maior probabilidade de suceder outras, o que lhe permite produzir um texto que parece coerente e contextualmente pertinente. Quando um usuário começa a digitar uma frase, o modelo calcula a probabilidade das possíveis continuações e seleciona a opção mais adequada, repetindo esse processo até que a saída esteja completa.

Um componente fundamental dos primeiros sistemas de processamento da linguagem consistia em representar palavras como vetores — arranjos numéricos que capturam padrões de coocorrência em grandes conjuntos de textos. Esse processo, conhecido como vetorização, não leva em consideração o contexto específico no qual uma palavra aparece. Em vez disso, atribui-se a cada palavra uma representação única e fixa, baseada em sua distribuição geral nos dados de treinamento. Por exemplo, palavras como ‘apple’ e ‘orange’ aparecem frequentemente em contextos semelhantes — por exemplo, em discussões sobre frutas —, de modo que seus vetores estarão próximos no espaço de alta dimensionalidade resultante, refletindo associações semânticas compartilhadas. Em contraste, palavras que raramente ocorrem nos mesmos ambientes serão mapeadas para posições mais distantes — ver Eisenstein (2019) e Jurafsky e Martin (2023) para discussões detalhadas. Essa abordagem, contudo, possui limitações. Por exemplo, ela não distingue entre diferentes significados de uma mesma palavra: ‘bank’ terá uma única representação vetorial (embedding), quer se refira a uma instituição financeira, quer à margem de um rio.

Essas representações vetoriais são importantes porque permitem a análise matemática das relações linguísticas. Medindo distâncias e direções entre vetores de palavras, os modelos podem estimar o grau de semelhança entre certos termos e até mesmo realizar formas básicas de raciocínio analógico. Uma das ilustrações mais frequentemente citadas dessa capacidade é o exemplo introduzido por Mikolov et al. (2013): a equação vetorial ‘king − man + woman ≈ queen’. Esse exemplo sugere que as representações vetoriais de palavras codificam relações semânticas dotadas de significado em forma geométrica, capturando regularidades no modo como as palavras são usadas em grandes conjuntos de textos.

Contudo, o exemplo ‘king − man + woman’ tem sido excessivamente utilizado e não é tão confiável quanto frequentemente se afirma. Na prática, a operação nem sempre produz ‘queen’ como o vetor mais próximo, e seu aparente sucesso deve-se, em parte, a um conjunto restrito de casos de teste e à apresentação seletiva de resultados — ver Rogers et al. (2017). Além disso, como enfatizam Nissim et al. (2020), analogias desse tipo tendem a ocultar as limitações das representações vetoriais estáticas de palavras: elas ignoram o contexto, colapsam sentidos polissêmicos e frequentemente reforçam estereótipos existentes, em vez de revelar uma estrutura linguística robusta. Embora essas representações de fato capturem certos padrões distribucionais, elas oferecem apenas uma aproximação grosseira do significado e devem ser interpretadas com cautela. Sua principal limitação é serem estáticas e não levarem em consideração o contexto.

Com base nesses avanços na representação, uma inovação decisiva ocorreu com a introdução da ⁠arquitetura transformer (Vaswani et al., 2017). Diferentemente dos modelos anteriores, que processavam o texto sequencialmente, palavra por palavra, o transformer considera simultaneamente todas as palavras de uma frase — ou até mesmo de uma passagem mais longa. Isso se torna possível por meio de um mecanismo denominado autoatenção (self-attention), que permite ao modelo avaliar as relações entre todas as palavras da entrada. Em vez de se concentrar em tokens individuais ou em contextos restritos, o modelo ajusta dinamicamente sua atenção para captar as informações mais relevantes ao longo de toda a entrada.

O modelo pode, assim, atribuir diferentes significados à mesma palavra conforme seu contexto. Isso significa que uma mesma palavra pode possuir diferentes representações internas, dependendo do modo como é usada em uma frase. Como mencionado anteriormente a propósito da palavra ‘bank’, esses modelos podem distinguir entre significados que as representações vetoriais estáticas colapsariam em uma única representação. Essa capacidade de adaptar o significado de uma palavra com base no contexto é particularmente valiosa para lidar com a polissemia, na qual uma única forma superficial corresponde a múltiplas interpretações semânticas.

Essas representações ricas e flexíveis também desempenham um papel fundamental na geração de texto. Ao prever cada nova palavra de uma frase, o modelo se baseia não apenas na palavra imediatamente anterior, mas também em uma compreensão nuançada de todo o contexto que já processou. Isso permite que o modelo mantenha a coerência, lide com dependências de longa distância e escolha palavras que façam sentido não apenas sintaticamente, mas também semântica e tematicamente. A arquitetura transformer é, portanto, uma razão central pela qual os LLMs modernos podem produzir textos que parecem fluidos, adequados e, com frequência, surpreendentemente semelhantes aos produzidos por seres humanos. Sua maior vantagem reside na possibilidade de ser paralelizada de maneira eficiente, o que torna viável o treinamento em larga escala.

Em suma, os LLMs aprendem a prever palavras subsequentes analisando texto em escala massiva e codificando elementos linguísticos como vetores. Essas representações tornam possível transformar o texto bruto em um espaço matemático no qual relações semânticas podem ser identificadas e exploradas. Embora os LLMs não possuam compreensão genuína no sentido humano, o modo como representam e combinam palavras mostrou-se suficientemente poderoso para gerar textos que são, ao mesmo tempo, contextualmente coerentes e sugestivos de estruturas linguísticas mais profundas.

2.2 A hipótese distribucional e sua relevância para os modelos de linguagem de grande porte

Os LLMs modernos baseiam-se no princípio de que palavras e expressões derivam parte de seu significado dos contextos nos quais aparecem com frequência. Ao examinar essas coocorrências contextuais em vastos conjuntos de textos, os LLMs aprendem representações numéricas que capturam as relações entre elementos linguísticos. Essa abordagem assenta-se em um quadro teórico mais profundo, frequentemente denominado semântica distribucional, segundo o qual o significado pode ser modelado por meio dos padrões estatísticos do uso das palavras.

Esse quadro tem suas origens em meados do século XX, quando linguistas, matemáticos e filósofos começaram a investigar como o significado linguístico está ligado aos contextos nos quais as palavras ocorrem. Figuras influentes como John Rupert Firth — linguista —, Zellig Harris — linguista e matemático — e Ludwig Wittgenstein — filósofo — estabeleceram os fundamentos da semântica distribucional ao enfatizarem as dimensões contextuais e relacionais da linguagem. Por volta da década de 1950, suas contribuições abriram caminho para abordagens computacionais que utilizam padrões estatísticos para modelar o significado. A célebre afirmação de J. R. Firth de que ‘conhecereis uma palavra pela companhia que ela mantém’ (1957) capta a essência da semântica distribucional. Firth sustentou que o significado de uma palavra está estreitamente ligado às suas coocorrências habituais com outras palavras em contextos linguísticos. Essa perspectiva fundamenta a ideia de que palavras que aparecem em contextos semelhantes tendem a compartilhar propriedades semânticas. Zellig Harris ampliou esse conceito, introduzindo a hipótese distribucional, segundo a qual elementos linguísticos que ocorrem em ambientes semelhantes tendem a possuir significados relacionados (Harris, 1954).

Se considerarmos que as palavras ou os morfemas A e B diferem mais em significado do que A e C, frequentemente constataremos que as distribuições de A e B diferem mais do que as distribuições de A e C. Em outras palavras, a diferença de significado está correlacionada à diferença de distribuição. (Harris, 1954)

Tanto Firth quanto Harris deslocaram o foco da investigação linguística da introspecção para os padrões observáveis do uso da linguagem, enfatizando a importância de uma análise orientada por dados.

A filosofia de Wittgenstein também é frequentemente citada em artigos dedicados à semântica distribucional. Em suas Philosophical Investigations (1953), o filósofo sugere que o significado de uma palavra não é fixo, mas emerge de seu uso em jogos de linguagem, isto é, em padrões de comportamento linguístico situados em contextos sociais específicos.

O significado de uma palavra é seu uso na linguagem. (Wittgenstein, 2009 (1953), §43)

Também podemos pensar em todo o processo de usar palavras […] como um daqueles jogos por meio dos quais as crianças aprendem sua língua materna. Chamarei esses jogos de ‘jogos de linguagem’ e, por vezes, falarei de uma linguagem primitiva como um jogo de linguagem. (Wittgenstein, 2009 (1953), §7)

Por meio da ideia de ‘jogos de linguagem’, o filósofo enfatiza que o significado de uma palavra emerge do modo como ela é usada no interior de práticas sociais e contextuais específicas. Cada ‘jogo’ possui suas próprias regras, seus participantes e seus objetivos, e a linguagem funciona de maneira diferente dependendo do jogo que está sendo jogado. Essa ênfase no uso corresponde à perspectiva distribucional, na qual o significado é derivado das associações estatísticas entre palavras nos conjuntos de textos, refletindo seus papéis funcionais, e não propriedades intrínsecas.

A implementação prática dessas ideias no processamento de linguagem natural (PLN) baseia-se em técnicas de vetorização, nas quais palavras ou elementos linguísticos são representados como pontos em um espaço vetorial de alta dimensionalidade. Essa abordagem operacionaliza as contribuições de Firth, Harris e Wittgenstein ao quantificar a ‘companhia’ que as palavras mantêm. Por exemplo, técnicas de encaixe vetorial de palavras (word embeddings), como Word2Vec (Mikolov et al., 2013) ou GloVe (Pennington et al., 2014), calculam representações vetoriais densas de palavras com base em seus padrões de coocorrência em grandes conjuntos de textos. Essas representações vetoriais codificam relações semânticas, permitindo que palavras com contextos semelhantes se agrupem em posições próximas no espaço vetorial. Tais métodos refletem o fundamento teórico estabelecido pela ⁠⁠semântica distribucional, traduzindo princípios linguísticos abstratos em algoritmos computacionais.

2.3 Significado baseado em texto, ou a natureza não referencial das representações dos modelos de linguagem de grande porte

As representações que os LLMs manipulam estão fundamentalmente assentadas em padrões estatísticos de coocorrência de palavras. Durante o treinamento, esses modelos processam bilhões de tokens, aprendendo quais palavras e expressões tendem a aparecer juntas em determinado contexto. A partir desse processo, eles ajustam bilhões de parâmetros, incluindo representações vetoriais iniciais de palavras (word embeddings) e os pesos das complexas camadas da arquitetura transformer. Esses parâmetros permitem ao modelo construir representações vetoriais de alta dimensionalidade que não são estáticas, mas dinamicamente refinadas por meio de múltiplas camadas de autoatenção e de transformações de propagação direta (feedforward). Como resultado, os LLMs modernos captam muito mais do que a simples coocorrência: codificam informações nuançadas e contextualizadas sobre o texto — e, indiretamente, sobre a sintaxe, a semântica e a estrutura discursiva.

Esse treinamento ocorre sem qualquer referência direta a objetos ou situações externos, do mundo real: a única entrada é o texto, e o único critério de sucesso é aprender a prever o próximo token com precisão crescente. Como resultado, os ‘átomos’ ou componentes semânticos que emergem nas representações vetoriais dos LLMs são inferidos exclusivamente a partir de regularidades linguísticas, e não de quadros conceituais ou ontológicos explícitos.

Embora essa abordagem baseada em texto esteja alinhada à semântica distribucional, ela também apresenta ressonâncias com concepções filosóficas que enfatizam o significado como uso, especialmente com a noção wittgensteiniana de jogos de linguagem, examinada na seção anterior. Embora os LLMs não participem de práticas do mundo real, sua exposição a gêneros diversos — que vão de documentos jurídicos às mídias sociais — permite-lhes reproduzir, de modo aproximado, algumas formas de sensibilidade ao contexto. Por exemplo, a palavra inglesa ‘pitch’ pode aparecer em contextos relacionados à música, aos esportes ou aos negócios e, mediante a exposição reiterada a tais padrões, os LLMs aprendem a produzir continuações coerentes em diferentes domínios.

Contudo, os processos subjacentes diferem significativamente daquilo que Wittgenstein descreveu. Os jogos de linguagem de Wittgenstein estão profundamente inseridos no que ele denominou ‘formas de vida’, que abrangem contextos culturais, físicos e sociais compartilhados. Um LLM não possui acesso direto a essas experiências corporificadas; ele infere o contexto indiretamente, apenas a partir de padrões de uso da linguagem. Embora possa sintetizar indícios contextuais provenientes de vastos conjuntos de dados textuais, ele não participa de interações no mundo real nem as observa e, portanto, não aprende a linguagem da mesma maneira que os seres humanos quando ‘jogam’ jogos de linguagem efetivos na vida cotidiana. Nesse sentido, embora os LLMs reproduzam certos aspectos da ideia de Wittgenstein — principalmente o de que o significado depende do contexto —, fazem-no de maneira abstrata e exclusivamente textual. Eles refletem como as palavras são usadas em comunicações escritas, mas não podem apreender as dimensões não linguísticas e práticas dos jogos de linguagem humanos. Essa caracterização poderia ser nuançada se levássemos em conta o papel do feedback humano durante o ajuste fino supervisionado (supervised fine-tuning), como ocorre no ChatGPT, que introduz a avaliação social e a correção das saídas do modelo, embora ainda sem qualquer participação corporificada.

Outra característica importante dos LLMs é sua capacidade de representar o significado por meio de dimensões latentes em um espaço vetorial de alta dimensionalidade. Isso pode evocar quadros teóricos que postulam um inventário universal hipotético de princípios semânticos, os quais funcionariam como elementos constitutivos para a construção de significados mais complexos. Por exemplo, a teoria de componentes de Katz e Fodor (1963) propõe que os significados das palavras poderiam ser analisados em termos de um conjunto finito de traços semânticos universais. De modo semelhante, a teoria dos ‘princípios semânticos’ (semantic primes) de Anna Wierzbicka (1996) sugere que todos os significados complexos podem ser construídos a partir de um pequeno conjunto de elementos semânticos irredutíveis e independentes de língua. Essas propostas representam tentativas de definir explicitamente um conjunto universal de componentes mínimos do significado. Em contraste, os LLMs não partem de nenhum conjunto predefinido desse tipo. Em vez disso, suas representações latentes emergem de padrões estatísticos presentes em dados textuais de larga escala. Caso se assemelhem a traços comparáveis a princípios semânticos, isso será apenas um subproduto da aprendizagem orientada por dados, e não um compromisso teórico previamente incorporado.

Na prática, podem ser encontradas correspondências parciais entre certas dimensões latentes e traços semânticos reconhecidos. Examinando como as palavras se agrupam ou como operações semelhantes a analogias — por exemplo, ‘king − man + woman ≈ queen’; ver a Seção 2.1 acima — se realizam no espaço de encaixe vetorial (embedding space), pode ser possível, em alguns casos, interpretar os vetores como refletindo propriedades relacionadas ao significado. Contudo, não há nenhum mecanismo explícito que garanta que essas dimensões correspondam de maneira nítida a determinado quadro teórico de princípios conceituais. Cada dimensão emerge da interação entre incontáveis contextos linguísticos durante o treinamento, e não de uma arquitetura semântica cuidadosamente especificada.

O sucesso dos LLMs sugere que a aprendizagem baseada exclusivamente em texto pode produzir modelos dotados de capacidades linguísticas robustas. O próprio volume dos dados textuais disponíveis, que abrangem uma ampla variedade de temas, fornece um enorme reservatório de conhecimento humano implicitamente codificado. Consequentemente, os LLMs têm sido empregados em uma variedade de tarefas que vão além da mera predição de palavras — tradução, sumarização, resposta a perguntas, geração de poesia e outras. Embora sejam treinados apenas para prever palavras em sequências, sua capacidade de realizar tarefas tão diversas frequentemente superou as expectativas iniciais. Como os conjuntos de textos de treinamento incluem textos que refletem muitas dimensões da cultura humana, da ciência e da comunicação cotidiana, os modelos podem recombinar esses fragmentos textuais de maneiras que produzem saídas coerentes, contextualmente pertinentes e, muitas vezes, altamente criativas.

Apesar disso, uma minoria vocal na comunidade de PLN contestou essa interpretação ou, pelo menos, questionou se esses modelos realmente codificam semântica. Essa crítica reflete debates ainda em curso sobre a natureza do significado na linguagem e sobre até que ponto os LLMs de fato compreendem relações semânticas ou apenas produzem aproximações delas.

3 Papagaios estocásticos (probabilísticos) e a verdadeira natureza do significado

O rápido avanço dos LLMs reacendeu debates de longa data sobre a natureza do significado linguístico e os limites das abordagens computacionais da linguagem. No centro dessa discussão está a questão de saber se associações estatísticas, por si sós, podem constituir significado ou se a compreensão genuína exige algo mais — como corporeidade, intencionalidade ou interação com o mundo externo.

Uma das críticas mais influentes aos LLMs a esse respeito provém de Bender et al. (2021), que sustentam que esses sistemas funcionam como ‘papagaios estocásticos’ — sofisticados sistemas de correspondência de padrões que geram textos plausíveis sem qualquer compreensão real daquilo que estão dizendo.

3.1 A hipótese do papagaio estocástico: Bender et al. sobre significado e compreensão

Bender et al. (2021) caracterizam os LLMs como ‘papagaios estocásticos’, ressaltando que esses sistemas geram texto mediante a composição probabilística de elementos linguísticos, e não mediante o emprego de qualquer compreensão genuína. Eles fundamentam essa crítica na observação de que o significado na linguagem natural não é meramente uma questão de forma ou sintaxe, mas exige uma ancoragem externa (external grounding) — um vínculo autêntico entre as palavras e as entidades ou os conceitos que elas denotam. Em outras palavras, os LLMs podem produzir respostas coerentes e contextualmente adequadas, mas os processos subjacentes estão orientados para a reprodução de padrões, e não para a referência ou a intencionalidade genuínas. Como resultado, embora os LLMs possam simular uma conversação semelhante à humana, eles não captam a essência do que significa compreender a linguagem (Marcus e Davis, 2020).

Um argumento estreitamente relacionado aparece em um artigo de Bender e Koller (2020), que examinam como os LLMs não conseguem captar a riqueza do significado semântico. O artigo contesta diretamente o pressuposto de que conjuntos de dados cada vez maiores e modelos mais poderosos produzirão inevitavelmente sistemas que compreendam a linguagem como os seres humanos a compreendem. Em vez disso, os autores afirmam que a compreensão genuína da linguagem natural depende da ancoragem das expressões linguísticas na experiência ou na percepção do mundo real. A mera aprendizagem de correlações estatísticas entre tokens não confere a um modelo a capacidade de conectar enunciados a objetos, acontecimentos e contextos reais. Bender e Koller sustentam que o significado genuíno surge na interface entre a forma linguística, os processos cognitivos e as interações situadas — uma interface à qual os LLMs atuais ainda não tiveram acesso de maneira significativa.

A afirmação de que os LLMs não estão ancorados na realidade externa, o que poderia comprometer sua capacidade de compreender a linguagem, relaciona-se a debates filosóficos de longa data sobre a natureza do significado. Frege (1993 [1892]) sustenta que as expressões linguísticas devem possuir uma referência (Bedeutung) ao lado de um sentido (Sinn), sugerindo que a semântica exige um vínculo com entidades do mundo real. Putnam (1975) levou essa concepção adiante ao mostrar que ‘o significado não está só na cabeça’, implicando que o contexto e o ambiente desempenham um papel crucial na fixação da referência. Essas posições são, em linhas gerais, referencialistas, pois consideram que o significado depende parcialmente da capacidade das palavras de estabelecer vínculos com coisas no mundo.

De maneira semelhante, o célebre argumento do quarto chinês de Searle (1980) descreve um cenário no qual uma pessoa que não fala chinês pode, ainda assim, produzir respostas adequadas seguindo regras sintáticas. Isso ilustra uma situação na qual símbolos são manipulados de maneira puramente sintática, sem qualquer ancoragem referencial (referential grounding) genuína. Embora o sistema possa gerar respostas capazes de enganar observadores, ele carece de qualquer compreensão genuína daquilo que os símbolos representam. Isso reflete uma intuição alinhada à teoria da referência direta, no sentido de que o significado surge da capacidade de vincular a linguagem ao ambiente circundante, e não apenas da manipulação de padrões. A crítica de Bender et al. (2021) aos LLMs — e, pode-se sustentar, também a de Bender e Koller (2020) — pode ser lida nessa tradição, embora esse paralelo seja nossa própria interpretação, pois essas referências não são explicitamente citadas no artigo de Bender et al. Se uma máquina apenas rearranja formas linguísticas sem ancorá-las em referentes externos, não se pode propriamente dizer que ela ‘compreende’ a linguagem.

Mesmo antes do surgimento dos LLMs, pesquisadores propuseram diversos caminhos para enfrentar o problema da ancoragem, principalmente por meio de sistemas multimodais. O ‘problema da ancoragem de símbolos’ (symbol grounding problem) de Harnad (1990) preparou o terreno para a investigação de como vincular símbolos linguísticos abstratos a experiências sensoriais do mundo. Propostas mais recentes, como a de Bisk et al. (2020), sustentam que a ancoragem no mundo real poderia ser alcançada mediante o acoplamento de modelos de linguagem a dados visuais, auditivos ou mesmo sensório-motores, conectando, desse modo, o texto à percepção e à ação. Embora essas abordagens possam aproximar os sistemas de IA de uma semântica referencial, seus críticos sustentam que a mera integração de múltiplos fluxos de dados não resulta necessariamente em compreensão genuína. A semântica genuína, segundo essa perspectiva, surge da capacidade de fazer referência intencional a objetos e experiências. Isso exigiria um quadro conceitual interno que interpretasse e reinterpretasse a linguagem à luz da percepção e da interação contínuas.

Para Bender et al., a distância entre a fluência estatística e a referência genuína evidencia uma diferença essencial entre a cognição humana e os sistemas atuais de IA. Com efeito, os seres humanos adquirem a linguagem por meio de experiências corporificadas e situadas: as crianças aprendem palavras associando sons e contextos a aspectos dotados de significado da experiência vivida. Em contraste, os LLMs absorvem passivamente vastos conjuntos de textos sem qualquer contato direto com os fenômenos descritos, o que, pode-se sustentar, os deixa cegos para o mundo externo. Enquanto alguns pesquisadores, como Lake et al. (2017), enfatizam a construção de uma IA que aprenda e pense de modo mais semelhante às pessoas — integrando profundamente percepção, cognição e ação —, Bender et al. advertem que, enquanto dependermos exclusivamente de treinamento baseado em texto, correremos o risco de superestimar as capacidades dos LLMs, atribuindo-lhes mais do que eles podem efetivamente oferecer.

Em suma, Bender et al. (2021) e Bender e Koller (2020) contestam a ideia de que a mera ampliação da escala dos modelos de linguagem produza automaticamente compreensão significativa. Eles sustentam que a capacidade de produzir, por meios ‘estocásticos’, textos que soam plausíveis não deve ser confundida com competência semântica. Seguindo a tradição de Frege, Putnam e Searle, defendem que a linguagem deve estar ancorada na realidade externa para ser verdadeiramente dotada de significado. O resultado é um forte apelo à reavaliação da verdadeira natureza da semântica, levando pesquisadores a buscar arquiteturas de IA que integrem a forma linguística a uma ancoragem perceptual, cognitiva e interativa — para que os sistemas de IA possam um dia deixar de apenas imitar a compreensão e passar a exibir um uso genuíno e referencial da linguagem.

3.2 Os limites da linguagem sem ancoragem: alucinação e plausibilidade sintética

Uma das limitações mais significativas dos LLMs reside em sua incapacidade de garantir a veracidade do texto que geram — uma consequência direta de sua falta de ancoragem no mundo externo. Embora esses modelos se destaquem na produção de uma linguagem coerente, contextualmente adequada e gramaticalmente correta, fazem-no prevendo a sequência de tokens mais provável com base nos padrões aprendidos a partir de seus dados de treinamento. Eles são, em essência, sofisticadas máquinas de completamento de padrões, e não agentes epistêmicos capazes de verificar a correspondência entre suas saídas e uma realidade externa.

Para compreender a relação com a discussão anterior, é útil distinguir entre dois tipos de ancoragem — Mollo e Millière (2023) chegam a distinguir cinco tipos de ancoragem. De um lado, a ancoragem referencial diz respeito à capacidade fundamental de palavras ou símbolos representarem entidades, propriedades ou acontecimentos do mundo externo — um vínculo tradicionalmente teorizado na filosofia da linguagem como condição da referência dotada de significado, como vimos na seção anterior. De outro lado, a ancoragem factual (factual grounding) diz respeito a saber se os enunciados construídos a partir desses símbolos descrevem corretamente fatos do mundo real. Embora essas dimensões sejam conceitualmente distintas, estão profundamente conectadas: a ancoragem factual pressupõe a ancoragem referencial. Se um símbolo carece de uma conexão genuína com aquilo que pretende representar, os enunciados construídos a partir dele não podem ser avaliados de maneira confiável quanto à sua verdade, pois as condições de verdade dependem de vínculos referenciais estáveis.

Uma manifestação particularmente saliente dessa limitação é o fenômeno comumente denominado alucinação. No contexto dos LLMs, “alucinação” designa a geração de informações factualmente incorretas, fabricadas ou não sustentadas por qualquer fonte do mundo real (Ji et al., 2023). Diferentemente dos erros humanos, que podem resultar de lapsos de memória ou de incompreensão, as alucinações dos LLMs são artefatos emergentes de sua arquitetura estatística. Como o modelo, por si só, carece de ancoragem referencial — isto é, não possui uma conexão genuína com as coisas que seus símbolos pretendem descrever —, ele não pode acessar nem verificar as condições de verdade de suas saídas. Ele apenas constrói textos que são localmente plausíveis no interior de sua distribuição de treinamento, sem qualquer garantia epistêmica de exatidão factual.

Para conceituar esse fenômeno, podemos introduzir a noção de ‘plausibilidade sintética’. Tomada de empréstimo da biologia, na qual a plausibilidade sintética descreve fenômenos produzidos artificialmente que imitam formas naturais sem reproduzir seus mecanismos subjacentes, a expressão caracteriza adequadamente o funcionamento dos LLMs. Eles geram uma linguagem que parece plausível — sintaticamente fluente, semanticamente coerente e muitas vezes estilisticamente convincente — sem qualquer garantia de exatidão factual. Suas saídas são construções sintéticas moldadas pela exposição a vastos conjuntos de dados textuais, mas desprovidas de qualquer conexão intrínseca com estados de coisas verificáveis.

Na maioria dos casos, como os LLMs são treinados com extensos conjuntos de dados provenientes de textos produzidos por seres humanos, as informações que reproduzem correspondem a conhecimentos geralmente corretos ou comumente aceitos. Contudo, essa dependência exclusiva de padrões textuais torna difícil controlar ou antecipar quando e por que ocorrem desvios. É precisamente nesses momentos que a ausência de ancoragem se revela de maneira inequívoca. Exemplos clássicos provenientes das primeiras implementações de sistemas baseados em LLMs incluem saídas sem sentido ou fabricadas, tais como a geração de entidades biológicas inexistentes — ‘ovos de cavalo’ —, referências científicas inventadas ou citações apócrifas atribuídas a figuras conhecidas. Esses casos expõem a falta de acesso do modelo a um mecanismo externo de verificação factual.

Embora os avanços na arquitetura dos modelos, nas técnicas de ajuste fino e nos métodos de pós-processamento tenham reduzido significativamente a frequência e a proeminência desses erros, as alucinações continuam possíveis — e, de fato, inevitáveis —, dadas as limitações subjacentes e a natureza gerativa da tecnologia. Como pesquisadores proeminentes, como Yann LeCun, têm observado com frequência,1 independentemente de quão grandes ou refinados esses modelos se tornem, eles carecem fundamentalmente de um mecanismo intrínseco para validar a verdade de suas saídas. A questão não é meramente técnica, mas epistêmica: sem ancoragem explícita, não há nenhuma ponte entre a forma linguística e o conteúdo factual para além daquilo que está implicitamente codificado nos dados de treinamento.

Essa tensão — entre a coerência superficial da linguagem gerada e a ausência de ancoragem factual garantida — constitui uma das restrições mais fundamentais à confiabilidade epistêmica dos LLMs. Ela convida a uma reflexão filosófica contínua não apenas sobre a natureza do significado e da compreensão em sistemas artificiais, mas também sobre as implicações sociais mais amplas da implementação de tecnologias cujas saídas, embora sintaticamente convincentes, podem afastar-se imprevisivelmente da verdade.

4 Comunicação com ancoragem (limitada), uma perspectiva pragmática

A ausência de ancoragem metafísica (metaphysical grounding)2 não impede necessariamente que os LLMs alcancem formas altamente funcionais de comunicação. Na prática, sistemas como o ChatGPT ilustram que o diálogo eficaz nem sempre depende de uma compreensão semântica profunda. Afinal, a conversação não se reduz apenas à referência e às condições de verdade; ela também envolve pragmática, reconhecimento de padrões e formas de interação social que esses modelos reproduzem de maneira aproximada com considerável êxito. A adoção generalizada dos LLMs para a redação de textos, a resposta a perguntas e a escrita criativa sugere que muitas aplicações valiosas não exigem estritamente uma semântica plenamente ancorada.

4.1 Além da referência: concepções inferenciais e pragmáticas do significado

Embora a posição de Bender et al. seja amplamente aceita, quadros teóricos alternativos oferecem perspectivas diferentes sobre como os LLMs poderiam alcançar alguma forma de significatividade ou de ancoragem, ao menos em sentido derivado. Uma abordagem promissora é o inferencialismo, desenvolvido sobretudo por Brandom (2000). A ⁠semântica inferencial sustenta que o significado de uma expressão é determinado não por um vínculo causal direto com referentes externos, mas por seu papel em uma rede de inferências — quais conclusões ela autoriza e quais razões justificariam seu uso. Aplicada aos LLMs, essa perspectiva nos convida a considerar como suas saídas participam de um ‘espaço das razões’, moldado por padrões de acarretamento, contradição e coerência adquiridos mediante a exposição às práticas linguísticas humanas. Ainda que seus símbolos careçam de ancoragem metafísica e referencial, os LLMs podem ser descritos como inferencialmente ancorados, no sentido de que seus enunciados se integram coerentemente às práticas discursivas da comunicação humana regidas por regras. Nessa perspectiva, os LLMs exibem uma forma de competência pragmática derivada, porque sua linguagem é interpretada e avaliada por interlocutores humanos no interior de quadros normativos compartilhados, tornando suas saídas inteligíveis e capazes de orientar a ação, apesar da ausência de capacidades intrínsecas de fixação da referência.

Embora o inferencialismo de Brandom ofereça um quadro valioso para pensar o significado, trata-se de uma teoria filosófica geral, não concebida especificamente para modelos computacionais. Em contraste, uma proposta recente e explicitamente voltada para os LLMs, apresentada por Mollo e Millière (2023), examina como os modelos de linguagem poderiam alcançar formas de ⁠ancoragem referencial. Eles sustentam que o ajuste fino pode orientar os modelos para estados internos que rastreiem entidades e acontecimentos do mundo real, mediante a incorporação de preferências humanas vinculadas a critérios extralinguísticos, como a exatidão factual. Sugerem também que mesmo o pré-treinamento, por si só, pode, em certos casos, favorecer representações internas com conteúdo que envolve o mundo (world-involving content). Como a predição do próximo token frequentemente exige a internalização da estrutura subjacente dos dados, os LLMs podem desenvolver representações que reflitam aspectos do mundo. Nessa perspectiva, a ancoragem referencial emerge não da interação direta com a realidade, mas dos padrões estatísticos e causais inscritos nos dados de treinamento.

Esses quadros teóricos alternativos nos recordam que a ancoragem, em seus vários sentidos, é uma noção complexa. A própria comunicação humana frequentemente opera sem ancoragem referencial estrita: a conversação cotidiana se apoia em heurísticas, convenções compartilhadas e inferências pragmáticas, e não em vínculos precisos e verificáveis com a realidade externa (Clark, 1996). Jogos de linguagem, recursos retóricos e até mesmo mal-entendidos corriqueiros ilustram como a interação linguística pode permanecer dotada de sentido apesar da ausência de uma ancoragem semântica rígida. Desse ponto de vista, os LLMs põem em evidência uma distinção importante: embora uma ancoragem robusta seja indispensável para determinadas aplicações — como o raciocínio científico, a argumentação jurídica ou a formulação de políticas baseada em evidências —, ela não constitui um requisito para todo contexto comunicativo.

Em última análise, a crítica apresentada por Bender et al. (2021) destaca corretamente algumas limitações significativas dos modelos de linguagem contemporâneos, mas não anula sua utilidade prática. Em vez disso, ela convida a uma reflexão mais profunda sobre o que conta como uso da linguagem dotado de sentido e sobre se diferentes domínios exigem diferentes formas de compreensão. Embora os LLMs atuais não alcancem referência genuína ou intencionalidade no sentido humano, sua capacidade de gerar textos coerentes e pragmaticamente úteis sugere que a linguagem pode permanecer funcional mesmo na ausência das formas tradicionais de ancoragem.

4.2 Rumo à ancoragem parcial: multimodalidade, aprendizado por reforço e arquiteturas híbridas

Diversos desenvolvimentos recentes têm procurado transpor a distância entre a forma linguística e a realidade externa, introduzindo elementos de ancoragem factual e, em alguns casos, até mesmo de ancoragem referencial — ver Mollo e Millière (2023) para uma discussão mais extensa. Entre esses desenvolvimentos, a integração da multimodalidade é frequentemente apresentada como um avanço significativo — ver a Seção 3.1. Os modelos multimodais, que combinam dados textuais com imagens ou vídeos, expõem os modelos de linguagem a formas não linguísticas de informação, alinhando descrições textuais a representações visuais (Alayrac et al., 2022). Ao aprenderem associações entre palavras e imagens, esses sistemas parecem ampliar seu alcance representacional, adquirindo uma aparente ‘compreensão’ do mundo.

Contudo, a incorporação de dados multimodais não altera fundamentalmente o problema da ancoragem. O modelo aprende a correlacionar padrões textuais e visuais, mas isso continua sendo um processo de associação estatística, e não de percepção genuína. O modelo não possui acesso à veracidade do conteúdo visual nem à sua relação com o mundo externo. Ele não percebe imagens como o fazem agentes dotados de intenção, tampouco possui a capacidade de verificar ou questionar a exatidão de suas entradas. Desse modo, a multimodalidade aumenta a riqueza representacional sem resolver a distância epistêmica entre símbolo e referente.

Uma técnica estruturalmente mais significativa para introduzir uma forma de ancoragem parcial é o aprendizado por reforço com feedback humano (reinforcement learning with human feedback — RLHF) (Ouyang et al., 2022). O RLHF é hoje amplamente adotado no desenvolvimento de sistemas de chatbots baseados em LLMs, ocupando posição de destaque no ChatGPT e em aplicações semelhantes. Ele desempenha um papel central no aspecto de ‘conversação’ desses sistemas. O processo envolve o ajuste fino do modelo mediante a apresentação de várias saídas candidatas, que anotadores humanos classificam segundo diferentes critérios: exatidão factual, relevância, coerência, polidez ou adequação ética. Ao longo de iterações sucessivas, o modelo aprende a preferir respostas que se alinhem mais estreitamente às preferências humanas e às normas comunicativas.

O que torna o RLHF particularmente digno de nota é o fato de ele introduzir um ciclo externo de avaliação no processo de treinamento do modelo. O feedback humano torna-se um mecanismo para selecionar não apenas respostas factualmente corretas, mas também aquelas consideradas mais apropriadas ou úteis em contextos conversacionais específicos. Diferentemente do treinamento realizado exclusivamente com conjuntos de dados extensos e estáticos, o RLHF permite um ajuste dinâmico baseado no juízo humano, incorporando expectativas sociais e normativas diretamente ao comportamento do modelo.

Embora o RLHF não proporcione, estritamente falando, acesso epistêmico direto ao mundo — pois se baseia em avaliações humanas, elas próprias falíveis e culturalmente situadas —, ele estabelece uma forma intersubjetiva de validação. O modelo não é orientado somente por probabilidades estatísticas, mas também pela avaliação humana explícita. Filosoficamente, essa abordagem apresenta ressonâncias com elementos das teorias pragmáticas do significado, segundo as quais o significado emerge por meio do uso, da correção e de práticas compartilhadas, e não apenas por meio de uma referência estática. O RLHF não elimina a ausência de ancoragem, mas a atenua ao inserir o modelo em um processo contínuo de avaliação socialmente mediada.

Para além do RLHF, surgiram estratégias adicionais destinadas a aumentar a confiabilidade factual dos modelos de linguagem. Um método amplamente adotado consiste em acoplar os LLMs a fontes estruturadas de conhecimento, como bases de conhecimento submetidas a curadoria ou grafos de conhecimento. Esses recursos codificam informações verificadas sobre entidades, relações e fatos, permitindo que os modelos ancorem suas saídas em dados confiáveis. Essa abordagem híbrida está sendo cada vez mais integrada aos sistemas contemporâneos. Por exemplo, o Gemini, do Google, utiliza o Google Knowledge Graph para aprimorar suas respostas com referências de autoridade, enquanto a Alexa, da Amazon, combina as capacidades dos LLMs com seus repositórios internos de dados estruturados e suas APIs baseadas em skills, a fim de fornecer respostas exatas e sensíveis ao contexto. Essas integrações reduzem o risco de alucinações ao fornecer pontos de referência externos e verificáveis — uma arquitetura que hoje ocupa posição central em muitas plataformas de busca e de assistentes.

Outra abordagem amplamente discutida é a geração aumentada por recuperação (retrieval-augmented generation — RAG; Lewis et al., 2020; Fan et al., 2024). Nesse caso, o modelo é associado a um sistema de recuperação capaz de localizar documentos ou materiais factuais em tempo real e de utilizá-los dinamicamente para informar suas respostas. Os sistemas RAG permitem que os modelos recorram a conhecimento atualizado para além das limitações temporais de seus dados de treinamento. Contudo, a eficácia da RAG depende crucialmente da qualidade das fontes consultadas pelo sistema de recuperação. Se o sistema extrair informações indiscriminadamente da internet aberta, o problema das informações não verificáveis ou errôneas persistirá. Uma ancoragem confiável — ao menos uma ancoragem factual — exige a curadoria cuidadosa das fontes de recuperação, o que evidencia os limites de se depender exclusivamente da recuperação para assegurar a solidez epistêmica.

Tomadas em conjunto, essas estratégias sugerem que a ancoragem nos LLMs é mais bem compreendida não como uma propriedade binária, mas como uma realização em camadas e de caráter procedimental. Dados multimodais, RLHF, bases de conhecimento e sistemas de recuperação contribuem para aumentar o alinhamento funcional dos modelos com as expectativas humanas de veracidade, relevância e coerência. Filosoficamente, isso aponta para uma concepção relacional do significado, em consonância com pensadores como Wittgenstein — 1953; ver também a Seção 2.3 acima — ou, mais recentemente, Davidson (1984) e Brandom (1994), segundo a qual a compreensão está situada no interior de práticas sociais, papéis inferenciais e processos comunitários de validação.

Embora nenhuma dessas técnicas resolva plenamente a questão fundamental da ancoragem, elas estabelecem mecanismos parciais que inserem os modelos de linguagem em ecossistemas mais amplos de juízo humano, conhecimento estruturado e fontes externas de informação. Ao fazê-lo, constituem passos importantes para tornar a linguagem gerada por IA mais confiável, contextualmente adequada e pragmaticamente útil — mesmo na ausência de uma ancoragem experiencial plena.

Referências

Alayrac, J.-B., Donahue, J., Luc, P., Miech, A., Barr, I., Hasson, Y., Lenc, K., Mensch, A., Millican, K., Reynolds, M., Ring, R., Rutherford, E., Cabi, S., Han, T., Gong, Z., Samangooei, S., Monteiro, M., Menick, J., Borgeaud, S. … Simonyan, K. (2022). Flamingo: A visual language model for few-shot learning. In Proceedings of the 36th International Conference on Neural Information Processing Systems (NeurIPS ’22), Red Hook, NY, USA (pp. 23716–23736). Curran. https://dl.acm.org/doi/10.5555/3600270.3601993

Barthes, R. [1977 (1968)]. The death of the author. In S. Heath (Ed. and Trans.), Image, music, text (pp. 142–148). Fontana Press.

Bender E. M., and Koller, A. (2020). Climbing towards NLU: On meaning, form, and understanding in the age of data. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (pp. 5185–5198). Association for Computational Linguistics. https://aclanthology.org/2020.acl-main.463/

Bender, E.M., Gebru, T., McMillan-Major, A., and Shmitchell. S. (2021). On the dangers of stochastic parrots: Can language models be too big? 🦜. In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT ’21), New York, NY, USA (pp. 610–623). Association for Computing Machinery. https://doi.org/10.1145/3442188.3445922

Bisk, Y., Holtzman, A., Thomason, J., Andreas, J., Bengio, Y., Chai, J., Lapata, M., Lazaridou, A., May, J., Nisnevich, A., Pinto, N., and Turian, J. (2020). Experience grounds language. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) (pp. 8718–8735). Association for Computational Linguistics. https://aclanthology.org/2020.emnlp-main.703/

Brandom, R. B. (1994). Making it explicit. Reasoning, representing, and discursive commitment. Harvard University Press.

Brandom, R. B. (2000). Articulating reasons: An introduction to inferentialism. Harvard University Press.

Clark, H. H. (1996). Using language. Cambridge University Press.

Davidson, D. (1984). Inquiries into truth and interpretation. Oxford University Press.

De Saussure, F. (2011 [1916]). Course in general linguistics. Columbia University Press.

Eisenstein, J. (2019). Introduction to natural language processing. The MIT Press.

Fan, W., Ding, Y., Ning, L., Wang, S., Li, H., Yin, D., Chua, T., and Li, Q. (2024). A survey on RAG meeting LLMs: Towards retrieval-augmented large language models. In Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD ’24), New York, NY, USA (pp. 6491–6501). Association for Computing Machinery. https://doi.org/10.1145/3637528.3671470

Firth, J. R. (1957). Papers in linguistics, 1934–1951. Oxford University Press.

Foucault, M. [1977 (1969)]. What is an author? In D. F. Bouchard and S. Simon (Trans. and Eds.), Language, counter-memory, practice (pp. 113–138). Cornell University Press.

Frege G. [1993 (1892)]. On sense and reference. In A. W. Moore (Ed.), Meaning and reference (pp. 23–42). Oxford University Press.

Harnad, S. (1990). The symbol grounding problem. Physica D: Nonlinear Phenomena, 42(1–3), 335–346. https://doi.org/10.1016/0167-2789(90)90087-6

Harris, Z. (1954). Distributional structure. Word, 10(2–3), 146–162.

Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., Ishii, E., Jin Bang, Y., Madotto, A., and Fung, P. (2023). Survey of hallucination in natural language generation. ACM Computing Surveys, 55(12), article 248 (December 2023). https://doi.org/10.1145/3571730

Jurafsky, D., and Martin, J. H. (2023). Speech and language processing (3rd ed.). https://web.stanford.edu/~jurafsky/slp3/

Katz, J. J. and Fodor, J. A. (1963). The structure of a semantic theory. Language, 39(2), pp. 170–210. https://wwwhomes.uni-bielefeld.de/mkracht/kurse/ws2017-18/merkmale/KatzFodor_Structure_of_Semantic_Theory.pdf

Lake, B. M., Ullman, T. D., Tenenbaum, J. B., and Gershman, S. J. (2017). Building machines that learn and think like people. Behavioral and Brain Sciences, 40, e253. https://doi.org/10.1017/S0140525X16001837

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W., Rocktäschel, T., Riedel, S. and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. In Proceedings of the 34th International Conference on Neural Information Processing Systems (NeurIPS ‘20) (pp. 9459–9474). Article 793, Curran Associates Inc. https://dl.acm.org/doi/abs/10.5555/3495724.3496517

Marcus, G., and Davis, E. (2020). GPT-3, bloviator: OpenAI’s language generator has no idea what it’s talking about. MIT Technology Review, August 28, 2020. https://www.technologyreview.com/2020/08/22/1007539/gpt3-openai-language-generator-artificial-intelligence-ai-opinion/

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013). Efficient estimation of word representations in vector space. arXiv:1301.3781. https://arxiv.org/abs/1301.3781

Mollo, G., and Millière, R. (2023). The vector grounding problem. arXiv preprint. arXiv:2304.01481. https://arxiv.org/abs/2304.01481

Nissim, M., van Noord, R. and van der Goot, R. (2020). Fair Is better than sensational: Man is to doctor as woman Is to doctor. Computational Linguistics, MIT Press, 46(2):487–497. https://aclanthology.org/2020.cl-2.7

Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., Schulman, J., Hilton, J., Kelton, F., Miller, L., Simens, M., Askell, A., Welinder, P., Christiano, P., Leike, J., and Lowe, R. (2022). Training language models to follow instructions with human feedback. In Proceedings of the 36th International Conference on Neural Information Processing Systems (NIPS ’22), Red Hook, NY, USA (pp. 27730–27744). Curran. https://arxiv.org/abs/2203.02155

Pennington, J., Socher, R. and Manning. C. (2014). GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) Doha, Qatar (pp. 1532–1543). Association for Computational Linguistics. https://aclanthology.org/D14-1162/

Putnam, H. (1975). Language, mind, and knowledge. Minnesota Studies in the Philosophy of Science, 7, 131–193. Retrieved from the University Digital Conservancy, https://hdl.handle.net/11299/185225

Rogers, A., Drozd, A. and Li, B. (2017). The (too many) problems of analogical reasoning with word vectors. In Proceedings of the 6th Joint Conference on Lexical and Computational Semantics (*SEM 2017) Vancouver, Canada (pp. 135–148). Association for Computational Linguistics. https://aclanthology.org/S17-1017/

Searle, J. (1980). Minds, brains and programs. Behavioral and Brain Sciences, 3(3), 417–457. https://doi.org/10.1017/S0140525X00005756

Underwood, T. (2023, June 29). The empirical triumph of theory. Critical Inquiry [Blog]. https://critinq.wordpress.com/2023/06/29/the-empirical-triumph-of-theory/

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS) Long Beach, 30. https://arxiv.org/abs/1706.03762

Wierzbicka, A. (1996). Semantics: Primes and universals. Oxford University Press.

Wittgenstein, L. [2009 (1953)]. Philosophical investigations. Wiley-Blackwell.

CAPÍTULO 2

Do projeto dos modelos de linguagem de grande porte a uma reavaliação da teoria linguística

Observa-se frequentemente que uma distância significativa separa o desenvolvimento prático dos modelos de linguagem — examinado no capítulo anterior — das questões e dos métodos da teoria linguística, bem como de abordagens filosóficas mais amplas da linguagem. Apesar dessa separação, o notável sucesso dos modelos de linguagem de grande porte (LLMs) e o rápido progresso da modelagem computacional da linguagem podem oferecer contribuições valiosas para a teoria linguística e para a descrição da própria linguagem. Embora os LLMs não forneçam uma explicação direta de como a linguagem é processada no cérebro humano, seus mecanismos e comportamentos podem, ainda assim, esclarecer certas propriedades da linguagem enquanto sistema, levando a uma reconsideração de pressupostos teóricos de longa data.

Um ponto de partida central para essa discussão é a noção de ⁠contexto, que se mostrou fundamental para explicar o desempenho dos modelos de linguagem modernos. Em particular, a capacidade das palavras — e, mais geralmente, das unidades linguísticas — de ajustar flexivelmente seu significado em função do material linguístico circundante parece essencial para o sucesso desses modelos. No entanto, apesar de sua centralidade no discurso linguístico, o contexto permaneceu historicamente um tanto vago e insuficientemente teorizado, sem uma definição plenamente formalizada entre os diferentes quadros teóricos. É precisamente o tratamento sofisticado das dependências contextuais pelos LLMs atuais que está na base de grande parte de sua capacidade e que exige uma atenção renovada na teorização linguística.

Com base nessa observação, diversos pesquisadores — sobretudo Steven Piantadosi, juntamente com outros que trabalham em tradições baseadas no uso, emergentistas ou construcionistas — sustentaram que o sucesso empírico dos LLMs desafia os pressupostos do paradigma chomskiano. Em particular, esses pesquisadores questionam se estruturas inatas e específicas de domínio são tão centrais para a competência linguística quanto tradicionalmente propôs a gramática gerativa. Em vez disso, sustentam que os ricos padrões estatísticos captados pelos LLMs apontam para uma concepção diferente da linguagem — uma concepção moldada por padrões de distribuição contextual, e não por regras universais incorporadas de modo rígido, ainda que esses padrões não reflitam diretamente a experiência humana. Essa perspectiva confronta explicitamente o argumento da pobreza do estímulo e reabre os debates acerca do que é o conhecimento linguístico e de como ele é adquirido.

Neste capítulo, examinamos esses debates em profundidade. Começamos investigando como os LLMs modelam implicitamente fenômenos linguísticos fundamentais, em particular a influência do contexto, os efeitos de frequência e a especificidade lexical. Em seguida, retomamos os debates históricos que moldaram a teoria linguística no século XX — incluindo as controvérsias em torno do gerativismo e da semântica —, mostrando por que essas histórias permanecem relevantes para as discussões atuais. Por fim, consideramos quadros teóricos alternativos que talvez sejam mais compatíveis com os resultados empíricos provenientes dos modelos de linguagem modernos de grande porte e que possam, potencialmente, ser enriquecidos por eles. Ao fazê-lo, este capítulo procura mostrar que os LLMs não apenas colocam desafios de engenharia, mas também abrem caminho para uma reavaliação mais ampla dos objetivos, dos conceitos e dos métodos da própria teoria linguística.

1 Contexto é tudo de que você precisa

Uma das questões mais prementes no processamento de linguagem natural (PLN) atualmente consiste em saber por que os LLMs exibem tamanha proficiência na geração de textos coerentes e contextualmente ricos, em comparação com sistemas anteriores baseados em regras formuladas manualmente ou em métodos estatísticos mais simples. A resposta breve reside em sua capacidade superior de modelar o contexto e tirar proveito dele. As abordagens mais antigas baseadas em regras eram frequentemente rígidas, pois se apoiavam em gramáticas ou dicionários explicitamente codificados que não conseguiam adaptar-se com facilidade às inúmeras nuances linguísticas encontradas no discurso do mundo real. Do mesmo modo, os primeiros modelos estatísticos — como as abordagens básicas de n-gramas — eram limitados por janelas contextuais fixas e tinham dificuldade para captar dependências de longa distância. Em contraste, os LLMs modernos incorporam arquiteturas avançadas, como a ⁠arquitetura transformer (Vaswani et al., 2017), que emprega mecanismos de atenção para ponderar e integrar dinamicamente informações provenientes de sequências inteiras de texto (ver o Capítulo 1 e o anexo técnico ao final do livro). Essa sensibilidade contextual mais sofisticada lhes permite não apenas gerar uma linguagem que soa mais natural, mas também lidar com ambiguidades semânticas e usos raros com um grau de refinamento anteriormente fora de alcance.

Para ilustrar a importância da modelagem do contexto, é útil retomar um dos exemplos mais antigos e influentes do campo: a análise de Bar-Hillel da palavra inglesa pen. Esse caso clássico mostra como o contexto é essencial para resolver ambiguidades. Em uma frase como “Little John was looking for his toy box… The box was in the pen”, o sentido pretendido de pen — um pequeno espaço cercado para uma criança — é incomum e não pode ser inferido apenas com base na frequência. Escrevendo no final da década de 1950, Bar-Hillel enfatiza como os primeiros sistemas de tradução automática tinham dificuldade com casos desse tipo, pois não possuíam a compreensão do contexto necessária para desambiguar sentidos raros ou sutis. Seu exemplo continua a servir como referência clássica para os desafios da ambiguidade lexical em modelos computacionais.

Afirmo agora que nenhum programa existente ou imaginável permitirá a um computador eletrônico determinar que a palavra pen, na frase dada e no contexto dado, possui o segundo dos sentidos apresentados acima, ao passo que todo leitor com conhecimento suficiente do inglês fará isso “automaticamente”. A propósito, percebemos que a questão não diz respeito à tradução propriamente dita, isto é, à passagem de uma língua para outra, mas a uma etapa preliminar desse processo, ou seja, à determinação do sentido específico, em contexto, de uma palavra que, isoladamente, é semanticamente ambígua (em relação a determinada língua-alvo, caso se queira precaver contra o caso concebível, embora extremamente improvável, de a língua-alvo conter uma palavra que designe tanto o mesmo instrumento de escrita quanto um cercado onde crianças possam brincar). (Bar-Hillel, 1959)

Na década de 1960, a tarefa em questão foi considerada impossível de resolver; como observou Bar-Hillel, “nenhum programa existente ou imaginável” na época poderia dar conta dela. Consequentemente, o financiamento da tradução automática diminuiu e quase se esgotou durante décadas após o relatório de Bar-Hillel. O relatório ALPAC (1965; ver também Hutchins, 2003), elaborado por um painel de especialistas, reiterou as conclusões de Bar-Hillel, afirmando não apenas a inviabilidade da tarefa, mas também destacando a ausência de um mercado viável para a tradução automática. Essas observações tiveram um impacto significativo e, na prática, paralisaram por anos o progresso no campo.

Em meio a essa crise de financiamento e a essa incerteza, os debates sobre o papel da semântica no processamento da linguagem — e, de modo mais amplo, na linguística — ganharam novo destaque. A gramática gerativo-transformacional de Noam Chomsky (1957, 1965), dominante na época, desconsiderava em grande medida a semântica, tratando o léxico como um repositório de irregularidades, e não como um sistema estruturado digno de uma análise mais aprofundada. A abordagem de Chomsky priorizava as estruturas sintáticas e as regras universais, sugerindo que o significado desempenhava um papel reduzido nos mecanismos gerativos subjacentes. Essa posição provocou a oposição de pesquisadores que sustentavam que a semântica era fundamental para a compreensão tanto da linguagem quanto da tradução. A divisão resultante entre essas posições desencadeou o que mais tarde seria denominado as “guerras linguísticas”, conflito minuciosamente documentado por R. A. Harris (1993). À medida que diminuía o apoio a aplicações práticas como a tradução automática, intensificavam-se as batalhas teóricas sobre sintaxe e semântica, preparando o terreno para décadas de controvérsia e moldando a trajetória do campo.

Entre os opositores de destaque de Chomsky estava George Lakoff, que se tornou uma figura central do movimento da ⁠semântica gerativa. Lakoff (1971) e seus colegas procuraram integrar considerações semânticas diretamente às regras gramaticais, sustentando que o significado não poderia ser dissociado da estrutura das frases. Essa abordagem representava um afastamento radical do rígido quadro sintático de Chomsky e propunha que as estruturas subjacentes da linguagem eram de natureza inerentemente semântica. James McCawley, outro destacado semanticista gerativo, desenvolveu essas ideias ainda mais, oferecendo análises alternativas de fenômenos gramaticais que se baseavam em interpretações semânticas, e não em derivações puramente sintáticas (McCawley, 1971). Enquanto isso, John R. Ross, inicialmente aliado de Chomsky, afastou-se dele para explorar uma abordagem da gramática mais orientada pelo significado, desenvolvendo conceitos influentes como a ‘análise performativa’, que destacava a importância das informações pragmáticas e semânticas (Ross, 1970). Em conjunto, esses pesquisadores desafiaram o paradigma chomskiano, abrindo caminho para modelos alternativos que buscavam uma integração mais profunda entre sintaxe, semântica e pragmática na compreensão da linguagem humana.

Contudo, mesmo para essas abordagens, uma formalização adequada do significado das palavras permanecia difícil de alcançar. Uma questão central consistia em saber se, e de que maneira, inventários de sentidos como os encontrados nos dicionários tradicionais poderiam ser aplicados de modo eficaz. O desafio de atribuir a uma determinada palavra o sentido correto em seu contexto — conhecido como desambiguação do sentido das palavras (word sense disambiguation, WSD) — surgiu como uma das principais tarefas do PLN durante as décadas de 1990 e 2000 (Navigli, 2009; Yarowsky, 2001). Iniciativas como a SenseEval¹, posteriormente denominada SemEval², proporcionaram um fórum anual para avaliar sistemas dedicados à WSD, medindo seu progresso em comparação com padrões-ouro anotados manualmente. Ironicamente, uma das figuras impulsionadoras desse esforço de avaliação, Adam Kilgarriff, havia escrito um artigo notável intitulado ‘I Don’t Believe in Word Senses’, que questionava a concepção tradicional e rígida de significados lexicais discretos (Kilgarriff, 1997).

Esses esforços coletivos de avaliação ajudaram a formalizar o problema da WSD, mas também revelaram as limitações dos métodos então predominantes.

A abordagem dominante durante esses anos baseava-se em inventários predefinidos de sentidos das palavras, frequentemente derivados de recursos como a WordNet³ (Fellbaum, 1998). Contudo, os resultados — tanto em termos do desempenho dos sistemas quanto da concordância entre anotadores — permaneceram aquém do esperado. Isso levou os pesquisadores a questionar se esses inventários captavam genuinamente as nuances de significado encontradas na linguagem natural. Erk et al. (2013), por exemplo, propuseram uma abordagem gradual dos sentidos das palavras, sugerindo que os significados das palavras não estão nitidamente separados, mas existem, em vez disso, em um contínuo. Segundo essa perspectiva, as fronteiras entre os sentidos das palavras são fluidas, sobrepostas e influenciadas pelo contexto de maneiras complexas. Essa concepção apontava para a necessidade de modelos do significado mais nuançados e flexíveis — modelos que pudessem refletir melhor a natureza dinâmica e dependente do contexto do uso da linguagem.

Mas, afinal, o que é o contexto? O problema fundamental para os linguistas computacionais tem sido o fato de que ‘contexto’ não é um conceito simples e formal — nenhuma teoria isolada abarcou plenamente sua complexidade. Pelo menos desde a década de 1950, numerosos quadros teóricos tentaram formalizar o contexto, recorrendo a áreas que vão da linguística (Harris, 1954; Van Dijk e Kintsch, 1983) à ciência cognitiva (Minsky, 1975) e à filosofia da linguagem (Stalnaker, 1999). Contudo, nenhuma dessas abordagens produziu um modelo de contexto plenamente satisfatório e operacional para sistemas computacionais. Para um modelo computacional de linguagem, não há, de fato, uma definição formal de contexto para além da lista dos tokens precedentes em um fluxo textual; o modelo simplesmente condiciona sua próxima saída a essa sequência. Esses modelos conseguem processar essa noção de contexto com notável eficiência, valendo-se de mecanismos baseados em atenção (Vaswani et al., 2017) capazes de acompanhar dependências ao longo de milhares de tokens. Consequentemente, as limitações de memória já não constituem um obstáculo importante, uma vez que as arquiteturas modernas podem levar em consideração, durante a análise, porções extensas do discurso anterior.

Além do modo hábil como tratam o contexto, os LLMs se beneficiam de vários outros avanços em relação aos sistemas anteriores. Em primeiro lugar, são treinados com conjuntos de dados imensamente maiores e mais diversificados, que abrangem textos da web, livros e domínios especializados, o que os ajuda a captar padrões linguísticos raros e conhecimentos específicos de domínio. Em segundo lugar, utilizam arquiteturas neurais profundas capazes de aprender representações complexas em múltiplas camadas, superando amplamente a capacidade dos modelos estatísticos mais antigos ou baseados em regras. Em terceiro lugar, o surgimento da computação paralela massiva — particularmente com GPUs e TPUs — permite que esses modelos sejam treinados de modo eficiente com bilhões de parâmetros, ampliando ainda mais suas capacidades de generalização (Brown et al., 2020; Kaplan et al., 2020). Ao combinarem uma compreensão contextual profunda com vastos conjuntos de textos de treinamento e infraestruturas computacionais poderosas, os LLMs superam as abordagens anteriores em fluência, adaptabilidade e precisão semântica, corroborando, assim, a intuição inicial de Bar-Hillel de que o contexto — e a capacidade de tratá-lo — está no cerne do processamento significativo da linguagem.

2 Reavaliando a teoria linguística à luz dos modelos de linguagem de grande porte

A ascensão dos LLMs afetou profundamente não apenas o campo do processamento de linguagem natural, mas também os pressupostos fundamentais da teoria linguística. Tradicionalmente, a linguística — sobretudo no interior da tradição gerativa — enfatizou regras formais e simbólicas como a espinha dorsal da competência linguística. No entanto, o notável sucesso empírico dos LLMs sugere que grande parte do conhecimento linguístico poderia, em vez disso, ser modelada por meio de poderosos mecanismos de aprendizagem estatística baseados na exposição ao uso da linguagem. Essa mudança suscita questões profundas sobre a adequação das teorias centradas em regras e convida a uma reavaliação mais ampla da explicação linguística.

Três contribuições recentes enquadram esse debate de maneiras particularmente esclarecedoras.

Em primeiro lugar, Marco Baroni (2022) examina criticamente de que modo os LLMs poderiam ser relevantes para a teorização linguística. Baroni adverte contra tratar modelos neurais profundos como espelhos cognitivos transparentes, mas sustenta que sua capacidade de captar padrões linguísticos complexos sem regras simbólicas explícitas desafia pressupostos de longa data sobre a arquitetura da competência linguística. Ele propõe que, em vez de descartar os LLMs como meros artefatos de engenharia, os linguistas deveriam considerá-los teorias linguísticas algorítmicas capazes de formular previsões explícitas e testáveis sobre a aceitabilidade de enunciados. Contudo, Baroni identifica obstáculos importantes à sua integração à corrente dominante da linguística, como um ‘baixo compromisso com modelos’ — situação na qual a pesquisa frequentemente prioriza o desempenho prático em PLN em detrimento da compreensão teórica — e uma ‘falta de compreensão mecanicista’ de como esses modelos efetivamente generalizam. Em sua avaliação, os LLMs poderiam inspirar uma linguística mais empírica e preditiva, desde que fossem analisados com o mesmo rigor tradicionalmente aplicado aos quadros teóricos simbólicos.

Em segundo lugar, Steven Piantadosi (2024) apresenta um desafio direto e contundente à tradição chomskiana. Ele sustenta que os LLMs solapam fundamentalmente a necessidade de postular estruturas inatas e específicas de domínio, como a gramática universal (GU). Para Piantadosi, a capacidade desses modelos de adquirir estruturas linguísticas complexas exclusivamente a partir de dados textuais em larga escala — sem regras gramaticais previamente especificadas nem predisposições biológicas — demonstra que a aprendizagem da linguagem é possível por meio de mecanismos de propósito geral. Isso, segundo ele, refuta o argumento da pobreza do estímulo, um dos pilares centrais da linguística gerativa. Piantadosi também destaca que os LLMs integram sintaxe e semântica em espaços vetoriais graduais e contínuos, empregam probabilidades e princípios da teoria da informação e desenvolvem organicamente representações hierárquicas ao longo do treinamento — características que contradizem princípios centrais da tradição chomskiana. Embora reconheça que a tradição gerativa contribuiu com conceitos valiosos, como as restrições de ilha, ele insiste que os LLMs mostram que esses fenômenos podem emergir de uma aprendizagem orientada pela experiência, e não de uma especificação inata.

Em terceiro lugar, Roni Katzir (2023) oferece uma perspectiva mais cautelosa, advertindo contra o enquadramento do debate como uma simples oposição entre formalismos simbólicos e modelos orientados por dados. Katzir sustenta que, embora os LLMs revelem padrões empíricos importantes, eles não fornecem uma explicação convincente de por que a linguagem humana assume suas formas específicas nem de como a competência linguística difere do desempenho. Ele observa que os LLMs frequentemente avaliam de maneira incorreta a aceitabilidade gramatical, preferindo continuações estatisticamente prováveis, mas teoricamente agramaticais. Além disso, questiona se os LLMs captam genuinamente universais linguísticos profundos, destacando casos como a conservatividade dos quantificadores ou a ausência de sequências fonológicas palindrômicas, que, segundo ele, não podem ser plenamente explicados apenas pela correspondência de padrões. Katzir enfatiza que instrumentos formais e rigor teórico continuam indispensáveis para compreender a arquitetura subjacente da competência linguística, ainda que os LLMs ampliem nosso repertório empírico.

Consideradas em conjunto, essas três perspectivas esclarecem um campo em transição. Por um lado, os LLMs desafiam pressupostos arraigados sobre a necessidade de sistemas explícitos e inatos de regras, mostrando que uma ampla exposição à linguagem pode gerar um comportamento linguístico complexo. Por outro, deixam sem resposta questões sobre as bases cognitivas e formais da gramática, lembrando-nos de que desempenho não é competência e de que sucessos empíricos não produzem automaticamente profundidade explicativa (Millière, 2025).

Esse momento de convergência convida os linguistas a repensar os limites de seus quadros teóricos. Em vez de tratar os LLMs como ferramentas de engenharia inteiramente externas à linguística, eles poderiam ser considerados instrumentos experimentais que revelam pressupostos latentes na teoria linguística. Seu sucesso sugere que fenômenos antes considerados periféricos — como efeitos de frequência, riqueza lexical e sensibilidade ao contexto — podem, na verdade, ser centrais para nossa compreensão da competência linguística. Examinar rigorosamente as capacidades e as limitações dos LLMs não equivale a rejeitar a teoria linguística, mas oferece, antes, uma oportunidade de ampliá-la, refiná-la e testá-la empiricamente à luz de novos paradigmas de modelagem.

3 E quanto à prática? Lições dos modelos de linguagem de grande porte para a teoria linguística

Como acabamos de ver, embora os LLMs não reproduzam os processos cognitivos humanos, sua impressionante capacidade de produzir uma linguagem coerente a partir de padrões estatísticos desafia pressupostos tradicionais acerca de quadros teóricos simbólicos ou inatos e convida a uma reavaliação do modo como o conhecimento linguístico se organiza. Nesta seção, examinamos como os LLMs esclarecem aspectos centrais da forma e do uso linguísticos, não por modelarem a mente humana, mas por revelarem padrões latentes na linguagem enquanto fenômeno social e estatístico.

3.1 Para além do contexto: o papel da frequência na linguagem

Como discutido na seção anterior, o contexto desempenha um papel central tanto na compreensão quanto na produção da linguagem. Intimamente entrelaçado com o contexto, embora mereça uma ênfase própria, está o papel dos efeitos de frequência no modo como o comportamento linguístico é moldado. Os padrões de frequência influenciam não apenas a ocorrência de palavras individuais, mas também se estendem por diferentes níveis da organização linguística, incluindo estruturas sintáticas, sentidos de palavras e colocações lexicais. Uma manifestação bem documentada desse fenômeno é a distribuição zipfiana generalizada (Zipf, 1949), que capta o fato de que um pequeno subconjunto de palavras ocorre com frequência extremamente alta, ao passo que a grande maioria é utilizada raramente. É importante observar que essa tendência distribucional não se limita ao vocabulário, mas se aplica, de maneira mais ampla, a padrões linguísticos em múltiplos níveis.

Por exemplo, a maioria das palavras tende a possuir um sentido primário que predomina amplamente, em termos de frequência, sobre os significados secundários ou periféricos. Essa observação converge com nossa discussão anterior sobre a fluidez do significado e sobre como demarcações nítidas entre diferentes sentidos de uma palavra podem constituir mais uma conveniência teórica do que um reflexo exato do uso da linguagem. De modo semelhante, certas construções sintáticas — como a concordância entre sujeito e verbo ou a ordem canônica das palavras — são altamente regulares e frequentes, enquanto outras, sobretudo estruturas mais marcadas ou complexas, apresentam menor frequência e maior variabilidade. Essas tendências determinadas pela frequência não são meros artefatos descritivos; elas exercem, antes, uma influência formadora tanto sobre a aquisição humana da linguagem quanto sobre os processos de aprendizagem dos LLMs, orientando o modo como os padrões são internalizados, generalizados e priorizados.

Um corpo significativo de pesquisas linguísticas tem ressaltado a necessidade de incorporar informações estatísticas e baseadas em frequência às abordagens teóricas da linguagem. Os quadros teóricos formalistas tradicionais, particularmente aqueles associados à gramática gerativa (Chomsky, 1957, 1965, 1995), colocaram em primeiro plano, em grande medida, o papel de princípios inatos, regras categóricas e juízos binários de gramaticalidade. Embora esses modelos tenham oferecido contribuições profundas para a compreensão da arquitetura da competência linguística, tendem a tratar os efeitos de frequência como epifenomênicos ou irrelevantes para o núcleo do conhecimento linguístico.

Em contraste, abordagens alternativas, como a gramática de construções (Goldberg, 1995, 2006), a linguística baseada no uso (Bybee, 2010; Tomasello, 2003) e os modelos emergentistas (MacWhinney, 1999), sustentam que as estruturas linguísticas surgem de padrões de uso, fortemente moldados pela experiência e pela frequência. Estudos em linguística de corpus (Biber et al., 1998) reforçam essa perspectiva, demonstrando que a linguagem apresenta padrões graduais e probabilísticos, e não distinções estritamente categóricas. Do mesmo modo, resultados da psicolinguística indicam que a frequência e a previsibilidade influenciam significativamente processos cognitivos como o processamento sintático, o acesso lexical e a fluência na produção (Ellis, 2002; Hale, 2001; Jurafsky, 1996; Levy, 2008).

Por sua própria concepção, os LLMs correspondem mais de perto a essas abordagens baseadas em frequência. Seu mecanismo de aprendizagem envolve a assimilação estatística de quantidades vastas de dados textuais, o que lhes permite captar regularidades detalhadas, padrões raros e nuances distribucionais. Esse sucesso empírico convida a uma reavaliação das teorias linguísticas: em vez de considerar os efeitos de frequência periféricos, talvez precisemos reconhecê-los como centrais tanto para a aquisição quanto para o uso da linguagem.

3.2 A centralidade de representações lexicais ricas e contínuas (para além de regras formais abstratas)

Um dos aspectos mais fundamentais da linguagem — frequentemente subestimado nas teorias linguísticas formais — é a riqueza das representações lexicais e a abundância de informações a elas associadas. No caso dos LLMs, o conhecimento linguístico não é codificado principalmente por meio de um pequeno conjunto de regras sintáticas universais, mas, antes, por meio de representações densas e de alta dimensionalidade de palavras e tokens, como vimos no Capítulo 1. Essas representações captam não apenas conteúdo semântico, mas também comportamento sintático, tendências de colocação lexical e associações pragmáticas. Fundamentalmente, essas representações são contínuas, e não simbólicas, permitindo gradações detalhadas de significado e uso, em vez de distinções categoriais rígidas.

Essa ênfase na especificidade lexical contrasta com muitos quadros teóricos formais contemporâneos da linguística, particularmente aqueles influenciados pela gramática gerativa, que historicamente procuraram reduzir a linguagem a sistemas de regras mínimos e abstratos, operando independentemente do léxico (Chomsky, 1995). Contudo, os LLMs revelam que grande parte daquilo que constitui a competência linguística é inerentemente específica de cada palavra e dependente do uso, desafiando o pressuposto de que princípios gerais, por si sós, possam dar conta da riqueza da linguagem natural.

Até mesmo construções frequentemente consideradas exemplos prototípicos de regras sintáticas abstratas — como a formação da voz passiva — estão profundamente entrelaçadas com propriedades lexicais. Por exemplo, um verbo precisa primeiro ser reconhecido como transitivo para que a formação da voz passiva seja possível — e, mesmo assim, há nuances. Embora

seja perfeitamente aceitável,

é marcada, soa estranha e geralmente é evitada no uso normal do inglês. A segunda construção possui um tom excessivamente formal ou até legalista (Huddleston e Pullum, 2002). Além disso, em outras línguas, como o francês, a realização específica das construções passivas pode variar dependendo tanto do verbo quanto do contexto. Embora o agente de uma frase passiva seja convencionalmente introduzido por ‘par’ em francês — equivalente a ‘by’ em inglês, como em ‘Ce livre a été écrit par Proust’ ‘This book was written by Proust’ —, sintagmas preposicionais alternativos são frequentemente empregados com verbos que exprimem ‘apreço’ — aimer, adorer, apprécier, como em ‘Albertine a été aimée de Proust’ ‘Albertine was loved by Proust’ (Straub, 1974). Exemplos desse tipo mostram como até mesmo regras ‘gerais’ dependem da língua e são condicionadas por fatores lexicais e contextuais — sugerindo que as regularidades linguísticas são frequentemente propriedades emergentes de uma informação lexical rica, e não reflexos de regras universalmente aplicáveis.

Essa tensão entre princípios sintáticos abstratos e conhecimento lexical há muito molda os debates no interior da linguística (Harris, 1993). As abordagens tradicionais baseadas em regras tenderam a marginalizar a riqueza lexical, tratando o léxico como uma lista relativamente arbitrária de itens sobre os quais operam princípios universais. Contudo, tanto os estudos empíricos do uso da linguagem quanto o desempenho dos LLMs apontam para uma concepção da competência linguística mais orientada pelo léxico, segundo a qual grande parte do poder gerativo da linguagem provém não de regras formais, mas de padrões lexicais baseados no uso, densamente interconectados.

Na linguística computacional, os esforços para codificar e estruturar sistematicamente o conhecimento lexical possuem uma história extensa. Projetos iniciais como a WordNet (Fellbaum, 1998) e a FrameNet (Fillmore, 2003) procuraram formalizar os significados das palavras e as relações entre eles em formatos estruturados e legíveis por máquina. A WordNet organizava palavras em conjuntos de sinônimos (synsets) dispostos hierarquicamente, codificando relações semânticas como sinonímia, hiponímia e antonímia. A FrameNet adotava uma abordagem mais ampla, associando itens lexicais a quadros (frames) conceituais — representações esquemáticas de situações típicas e dos papéis de seus participantes.

Embora pioneiros, esses projetos enfrentavam limitações inerentes. Em primeiro lugar, dependiam da definição manual dos sentidos das palavras e das relações entre eles, uma abordagem que tinha dificuldade para acompanhar a fluidez, a variabilidade e a dependência do contexto encontradas no uso efetivo da linguagem. Em segundo lugar, as relações lexicais raramente são tão ordenadas e hierárquicas quanto pressupunham os primeiros modelos. O significado de uma palavra frequentemente se modifica conforme o contexto, os padrões de coocorrência e o contexto cultural — dimensões difíceis de captar por meio de estruturas simbólicas fixas.

Sob esse aspecto, a passagem para representações lexicais contínuas e distribuídas nos LLMs marca uma mudança epistemológica significativa. Em vez de tratar o conhecimento lexical como um conjunto finito, organizado manualmente, de entradas discretas, os LLMs aprendem a representar palavras como pontos em um espaço vetorial de alta dimensionalidade, moldados por padrões de coocorrência em vastos conjuntos de textos. Essa abordagem capta gradações sutis de significado e de comportamento sintático, permitindo que os modelos generalizem de maneira flexível entre diferentes contextos, sem depender de regras predefinidas ou de um trabalho manual exaustivo.

Filosoficamente, essa mudança convida a uma reconsideração de pressupostos de longa data acerca da natureza do conhecimento linguístico. As teorias formalistas frequentemente valorizam a sistematicidade, a abstração e a competência regida por regras, estabelecendo paralelos com sistemas formais da lógica ou da matemática. Contudo, os LLMs demonstram que a competência linguística talvez seja mais bem compreendida como emergente, probabilística e profundamente enraizada em conhecimento lexical específico — uma concepção que apresenta ressonâncias com tradições empiristas e holistas da filosofia da linguagem e da ciência cognitiva. Quine (1960), por exemplo, contestou a ideia de que alguns enunciados sejam verdadeiros exclusivamente em virtude de seu significado, independentemente de fatos empíricos. Sustentou, em vez disso, que nossa compreensão do significado depende do modo como a linguagem é usada na prática e que não pode haver uma única maneira definitiva de traduzir de uma língua para outra — aquilo que denominou ‘indeterminação da tradução’.

Além disso, o recurso a representações contínuas desafia o paradigma simbólico tradicionalmente favorecido nos modelos cognitivos da linguagem. Isso suscita questões sobre se a manipulação simbólica discreta é realmente necessária para dar conta da capacidade linguística humana ou se os sistemas cognitivos poderiam, de maneira semelhante, apoiar-se em representações subsimbólicas de alta dimensionalidade, moldadas pela experiência e pela interação com os dados linguísticos de entrada.

4 Modelos de linguagem de grande porte e aquisição da linguagem

Um dos resultados mais notáveis das pesquisas recentes sobre LLMs é que a capacidade de gerar frases gramaticalmente bem formadas — e até mesmo textos coerentes e estruturados — pode emergir unicamente da exposição a dados textuais em larga escala, sem que quaisquer regras gramaticais explícitas tenham sido pré-programadas. Isso sugere que grande parte daquilo que consideramos competência linguística — incluindo a sintaxe, a semântica e a organização no nível do discurso — pode ser adquirida por meio da aprendizagem estatística somente a partir dos dados de entrada. Os LLMs conseguem isso captando padrões distribucionais em vastos conjuntos de textos — centenas de bilhões de palavras provenientes de livros, artigos, sites e outras fontes escritas. Em vez de aplicar princípios gramaticais predefinidos, esses modelos aprendem ajustando suas representações internas com base em estatísticas de coocorrência e regularidades estruturais. Esse sucesso confere peso empírico às teorias da aprendizagem da linguagem baseadas no uso e emergentistas (Bybee, 2010; Tomasello, 2003), que enfatizam que a competência linguística surge da experiência, da frequência e da aprendizagem associativa, e não de esquemas sintáticos inatos.

Contudo, o paradigma de aprendizagem subjacente aos LLMs diverge acentuadamente do que se compreende atualmente acerca da aquisição humana da linguagem. Os bebês humanos são expostos a apenas uma fração diminuta dos dados de entrada recebidos pelos LLMs e, ainda assim, parecem dominar estruturas linguísticas complexas em apenas alguns anos. Essa discrepância suscita questões importantes sobre o que está envolvido na aprendizagem da linguagem e sobre a necessidade de alguma forma de predisposição inata. Durante décadas, hipóteses influentes assentadas na gramática gerativa — sobretudo a proposta chomskiana da gramática universal (GU) — sugeriram que as crianças possuem conhecimento de domínio específico, biologicamente pré-especificado, para compensar a chamada pobreza do estímulo (Chomsky, 1980). Segundo essa concepção, os dados linguísticos de entrada disponíveis para as crianças podem ser demasiadamente escassos e ruidosos para explicar plenamente a riqueza da gramática que elas adquirem — embora essa posição continue sendo objeto de controvérsia no campo.

Embora permaneça em debate a concepção de que mecanismos inatos são necessários, o desempenho empírico dos LLMs torna o quadro ainda mais complexo. Esses modelos demonstram que muitos aspectos da competência linguística — incluindo estrutura sintática, concordância e coerência — podem emergir da exposição a dados de entrada não anotados, sem restrições inatas. Ao mesmo tempo, suas diferenças em relação aos aprendizes humanos são igualmente instrutivas. Os LLMs são treinados de modo não incremental, processando em massa enormes conjuntos de dados, sem estágios de desenvolvimento, feedback interativo ou envolvimento social. Em contraste, os aprendizes humanos adquirem a linguagem gradualmente, começando por atos comunicativos simples e avançando em direção a construções gramaticais complexas. Esse processo é sustentado pela atenção conjunta, pela interação corporificada e por dados sensoriais multimodais — fatores inteiramente ausentes dos paradigmas de treinamento dos LLMs. Como enfatiza Saxton (2017), a aquisição da linguagem pelas crianças se desenvolve em um ambiente sociocognitivo rico, moldado pelo feedback, pela negociação do significado e pela interação em tempo real.

Essas diferenças suscitam questões teóricas importantes. Se a aprendizagem da linguagem não depende de estruturas sintáticas inatas, que capacidades inatas poderiam estar subjacentes a ela? Uma concepção alternativa, proposta por Christiansen e Chater (2016), sugere que a aquisição da linguagem não é sustentada por uma faculdade da linguagem especializada, mas por capacidades cognitivas de domínio geral — como o reconhecimento de padrões, a memória de trabalho, a atenção e o raciocínio social — que permitem aos aprendizes inferir estruturas a partir de dados de entrada e contextos limitados. Segundo essa perspectiva, o conhecimento linguístico não é incorporado de modo rígido, mas emerge da interação entre processos cognitivos e uma experiência estruturada.

Filosoficamente, essa mudança convida a uma reconsideração do contraste entre abordagens nativistas e empiristas da linguagem. Os LLMs conferem sustentação empírica à ideia de que um comportamento linguístico rico pode emergir da generalização estatística a partir dos dados de entrada, aproximando-se, assim, de tradições empiristas mais amplas da epistemologia. Por exemplo, Churchland (1995) propõe um modelo conexionista da cognição no qual o conhecimento é codificado em representações neurais distribuídas, e não em regras simbólicas. Embora os LLMs não reproduzam todo o contexto cognitivo e social da aprendizagem humana, seu sucesso desafia o pressuposto de que sistemas formais de regras constituam uma condição prévia necessária para o conhecimento linguístico. Ao mesmo tempo, suas limitações — particularmente sua dependência de dados massivos e a ausência de aprendizagem corporificada e interativa — destacam a riqueza singular da aquisição humana da linguagem, que provavelmente depende de uma confluência de fatores estatísticos, cognitivos e sociais.

5 Limitações

Para concluir este capítulo, é essencial destacar dois pontos fundamentais relativos à relação em transformação entre a teoria linguística e os LLMs, bem como aos desafios que permanecem.

Em primeiro lugar, o progresso científico raramente é linear, e cada quadro teórico e metodológico que examinamos — seja ele baseado em regras formais, padrões estatísticos ou redes neurais — desempenhou um papel crucial no avanço de nossa compreensão da linguagem. É preciso reconhecer a imensa e duradoura influência da linguística chomskiana, ainda que alguns pressupostos dessa tradição sejam cada vez mais questionados à luz dos LLMs modernos.

As contribuições de Chomsky moldaram fundamentalmente o estudo da linguagem, não apenas por introduzirem o conceito de GU, mas também por estabelecerem o rigor formal na teorização linguística. Sua insistência na distinção entre competência e desempenho e na concepção da linguagem como um sistema internamente coerente e regido por regras forneceu um quadro teórico que orientou a linguística em direção a uma disciplina sistemática e científica. Ainda hoje, alguns aspectos da gramática gerativa continuam a oferecer contribuições valiosas. Por exemplo, a estrutura hierárquica da sintaxe, como na teoria X-barra, evidenciou a natureza recursiva e composicional da linguagem humana — propriedades que se manifestam nas saídas dos LLMs, mas não são explicitamente codificadas em sua arquitetura. A compreensão das propriedades estruturais profundas das frases, independentemente da ordem superficial das palavras, continua a oferecer uma perspectiva teórica por meio da qual certos fenômenos linguísticos podem ser interpretados com maior clareza, mesmo quando se analisam as saídas dos LLMs.

Assim, embora os LLMs demonstrem que a aprendizagem estatística em larga escala pode aproximar-se de muitas competências linguísticas, eles não tornam obsoleta a teoria chomskiana. Em vez disso, convidam a uma reavaliação de quais aspectos da competência linguística são mais bem modelados por princípios inatos e quais emergem da exposição ao uso da linguagem. Como sustentaram Baroni (2022) e outros autores, os LLMs não devem ser considerados respostas definitivas, mas novos instrumentos capazes de informar, refinar e desafiar os modelos linguísticos tradicionais.

Em segundo lugar — e talvez de modo mais premente —, apesar de seu sucesso empírico, os LLMs permanecem sistemas opacos, cujo funcionamento interno é compreendido apenas parcialmente. A capacidade dos LLMs de captar regularidades linguísticas é inegável, mas o modo exato como as propriedades linguísticas são codificadas nesses modelos permanece, em grande medida, uma questão em aberto. Em contraste com as teorias linguísticas simbólicas, nas quais regras e categorias explícitas podem ser examinadas e debatidas, o conhecimento codificado nos LLMs distribui-se por milhões ou mesmo bilhões de parâmetros, organizados de maneiras que resistem a uma interpretação direta.

Os pesquisadores têm realizado esforços significativos para esclarecer esses mecanismos. Técnicas como classificadores de sondagem (probing classifiers) (Conneau et al., 2018), estudos de ablação e abordagens emergentes de interpretabilidade mecanicista (Nanda et al., 2023) têm sido empregadas para investigar como informações sintáticas, semânticas e até pragmáticas são representadas internamente. Contudo, esses esforços revelaram tanto as possibilidades promissoras quanto os limites da compreensão atual dos LLMs. Embora seja possível identificar correlações entre certos componentes do modelo e propriedades linguísticas — por exemplo, concordância entre sujeito e verbo e estrutura de constituintes —, ainda estamos longe de uma explicação abrangente de qual conhecimento linguístico está codificado, de como ele se distribui e da medida em que reproduz a competência linguística humana.

Por exemplo, embora os LLMs frequentemente apresentem bom desempenho em testes sintáticos padronizados, ainda cometem erros ao lidar com a negação, a resolução de correferência e o acarretamento lógico — fenômenos que exigem um raciocínio estrutural e inferencial mais profundo. A negação, em particular, frequentemente apresenta dificuldades: os modelos por vezes a ignoram por completo ou interpretam incorretamente seu escopo, produzindo saídas que contradizem o significado pretendido, embora isso venha se tornando menos frequente com os avanços recentes — modelos maiores tendem a ser mais robustos do que modelos menores. A importância da escala permanece, ao mesmo tempo, intrigante e reveladora. Ela sugere que certas capacidades emergem e se tornam mais refinadas à medida que o modelo é exposto a quantidades maiores de dados. Ao mesmo tempo, isso evidencia uma limitação fundamental de tais sistemas: embora possam convergir gradualmente para soluções cada vez mais próximas do ótimo, fazem-no sem recorrer a teorias a priori bem fundamentadas e podem carecer de mecanismos internos robustos para representar certas propriedades lógicas e composicionais da linguagem.

Como enfatiza Katzir (2023), essa opacidade não é uma questão trivial. Sem maior clareza quanto à interpretabilidade, torna-se difícil diagnosticar as falhas dos modelos, rastrear seus processos de tomada de decisão ou avaliar de maneira confiável a competência linguística que exibem. Katzir defende a importância contínua dos modelos formais e da clareza teórica, advertindo contra a tentação de considerar o desempenho dos LLMs autoexplicativo.

Consequentemente, continua sendo necessária uma compreensão teórica e empírica mais adequada dos fenômenos linguísticos nos LLMs. Daqui em diante, a pesquisa deverá concentrar-se não apenas no aprimoramento do desempenho dos LLMs, mas também no desenvolvimento de metodologias fundamentadas para interpretar e explicar seu comportamento. Isso provavelmente exigirá colaboração interdisciplinar, integrando contribuições da linguística teórica, da ciência cognitiva e do aprendizado de máquina. Exigirá o refinamento dos métodos de sondagem, o aumento da transparência dos modelos e, talvez, até mesmo o desenvolvimento de novas arquiteturas que combinem os pontos fortes da teoria linguística formal com a aprendizagem orientada por dados.

Assim como os modelos linguísticos e computacionais anteriores, os LLMs devem ser submetidos a uma análise crítica rigorosa, na qual suas limitações sejam examinadas com o mesmo cuidado que seus sucessos. Compreender como esses modelos representam a linguagem — e como deixam de representá-la — será crucial para construir sistemas que sejam não apenas eficazes, mas também teoricamente esclarecedores e cognitivamente plausíveis.

Em última análise, a história da teoria linguística e dos LLMs é uma história de progresso cumulativo. Os quadros teóricos anteriores — do formalismo chomskiano às abordagens baseadas em corpus — contribuíram, cada um deles, com componentes essenciais para nosso conhecimento atual. Os LLMs representam o capítulo mais recente dessa narrativa em curso — não como resposta definitiva, mas como um instrumento poderoso e complexo que, ao mesmo tempo, desafia e enriquece nossa compreensão da linguagem.

Referências

ALPAC. (1966). Languages and machines: Computers in translation and linguistics. A report by the Automatic Language Processing Advisory Committee, Division of Behavioral Sciences, National Academy of Sciences, National Research Council. National Academy of Sciences, National Research Council. https://nap.nationalacademies.org/resource/alpac_lm/ARC000005.pdf

Bar-Hillel, Y. (1959). Report on the state of machine translation in the United States. Technical report no. 1. Prepared for the U.S. Office of Naval Research, Information Systems Branch, Jerusalem, Israel, 1959. https://aclanthology.org/www.mt-archive.info/Bar-Hillel-1959.pdf

Baroni, M. (2022). On the proper role of linguistically-oriented deep net analysis in linguistic theorizing. In S. Lappin (Ed.), Algebraic systems and the representation of linguistic knowledge (pp. 5–22). Taylor & Francis.

Biber, D., Conrad, S., and Reppen, R. (1998). Corpus linguistics: Investigating language structure and use. Cambridge University Press.

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C. … Amodei, D. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems (NeurIPS), 33, 1877–1901. https://dl.acm.org/doi/abs/10.5555/3495724.3495883

Bybee, J. (2010). Language, usage and cognition. Cambridge University Press.

Chomsky, N. (1957). Syntactic structures. Mouton de Gruyter.

Chomsky, N. (1965). Aspects of the theory of syntax. The MIT Press.

Chomsky, N. (1980). Rules and representations. Columbia University Press.

Chomsky, N. (1995). The minimalist program. The MIT Press.

Christiansen, M. H., and Chater, N. (2016). Creating language: Integrating evolution, acquisition, and processing. The MIT Press.

Churchland, P. M. (1995). The engine of reason, the seat of the soul: A philosophical journey into the brain. The MIT Press.

Conneau, A., Kruszewski, G., Lample, G., Barrault, L., and Baroni, M. (2018). What you can cram into a single $&!#* vector: Probing sentence embeddings for linguistic properties. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Melbourne, Australia (pp. 2126–2136). Association for Computational Linguistics. https://aclanthology.org/P18-1198/

Ellis, N. C. (2002). Frequency effects in language processing: A review with implications for theories of implicit and explicit language acquisition. Studies in Second Language Acquisition, 24(2), 143–188.

Erk, K., McCarthy, D., and Gaylord, N. (2013). Measuring word meaning in context. Computational Linguistics, 39(3), 511–554. https://doi.org/10.1162/COLI_a_00142

Fellbaum, C. (1998). WordNet: An electronic lexical database. The MIT Press. https://doi.org/10.7551/mitpress/7287.001.0001

Fillmore, C. J. (2003). Form and meaning in language. Volume II: Papers on semantic roles. CSLI.

Goldberg, A. E. (1995). Constructions: A construction grammar approach to argument structure. University of Chicago Press.

Goldberg, A. E. (2006). Constructions at work: The nature of generalization in language. Oxford University Press.

Hale, J. (2001). A probabilistic Earley parser as a psycholinguistic model. In Second Meeting of the North American Chapter of the Association for Computational Linguistics (NAACL), Carnegie Mellon University, Pittsburgh, USA. Association for Computational Linguistics. https://aclanthology.org/N01-1021.pdf

Harris, Z. (1954). Distributional structure. Word, 10(2–3), 146–162.

Harris, R. A. (1993). The linguistics wars: Chomsky, Lakoff and the battle over deep structure. Oxford University Press.

Huddleston, R., and Pullum, G. K. (2002). The Cambridge grammar of the English language. Cambridge University Press.

Hutchins, J. (2003). ALPAC: The (in)famous report. In S. Nirenburg, H. L. Somers and Y. Wilks (Eds.), Readings in machine translation. The MIT Press. https://doi.org/10.7551/mitpress/5779.001.0001

Jurafsky, D. (1996). A probabilistic model of lexical and syntactic access and disambiguation. Cognitive Science, 20(2), 137–194.

Kaplan, J., McCandlish, S., Henighan, T., Brown, T. B., Chess, B., Child, R., Gray, S., Radford, A., Wu, J., and Amodei, D. (2020). Scaling laws for neural language models. arXiv preprint. https://arxiv.org/abs/2001.08361

Katzir, R. (2023). Why large language models are poor theories of human linguistic cognition: A reply to Piantadosi. Biolinguistics, 17, e13153.

Kilgarriff, A. (1997). I don’t believe in word senses. Computers and the Humanities, 31, 91–113. https://doi.org/10.1023/A:1000583911091

Lakoff, G. (1971). On generative semantics. In D. Steinberg and L. Jakobovits (Eds.), Semantics: An interdisciplinary reader in philosophy, linguistics and psychology (pp. 232–296). Cambridge University Press.

Levy, R. (2008). Expectation-based syntactic comprehension. Cognition, 106(3), 1126–1177.

McCawley, J. D. (1971). Where do noun phrases come from? In D. Steinberg and L. Jakobovits (Eds.), Semantics: An interdisciplinary reader in philosophy, linguistics and psychology (pp. 217–231). Cambridge University Press.

MacWhinney, B. (1999). The emergence of language from embodiment. In B. MacWhinney (Ed.), The emergence of language (pp. 213–256). Lawrence Erlbaum.

Millière, R. (2025). Language models as models of language. In The Oxford handbook of the philosophy of linguistics (Preprint available on the author’s website). Oxford University Press. https://raphaelmilliere.com/pdfs/milliereLanguageModelsModelsforthcoming.pdf

Minsky, M. (1975). A framework for representing knowledge. In P. H. Winston (Ed.), The psychology of computer vision (pp. 211–277). McGraw-Hill.

Nanda, N., Chan, L., Lieberum, T., Smith, J., and Steinhardt, J. (2023). Progress measures for grokking via mechanistic interpretability. In The Eleventh International Conference on Learning Representations (ICLR), Kigali, Rwanda. https://iclr.cc/virtual/2023/oral/12572

Navigli, R. (2009). Word sense disambiguation: A survey. ACM Computing Surveys, 41(2), 1–69. https://doi.org/10.1145/1459352.1459355

Piantadosi, S. T. (2024). Modern language models refute Chomsky’s approach to language. In E. Gibson and M. Poliak (Eds.), From fieldwork to linguistic theory: A tribute to Dan Everett (pp. 353–414). Language Science Press.

Quine, W. V. O. (1960). Word and object. The MIT Press.

Ross, J. R. (1970). On declarative sentences. In R. A. Jacobs and P. S. Rosenbaum (Eds.), Readings in English transformational grammar (pp. 222–272). Ginn and Company.

Saxton, M. (2017). Child language: Acquisition and development (2nd ed.). Sage Publications.

Stalnaker, R. (1999). Context and content: Essays on intentionality in speech and thought. Oxford University Press.

Straub, S. A. (1974). The passive prepositions de and par. The French Review, 47(3), 583–593.

Tomasello, M. (2003). Constructing a language: A usage-based theory of language acquisition. Harvard University Press.

Van Dijk, T. A., and Kintsch, W. (1983). Strategies of discourse comprehension. New York: Academic Press.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS), Long Beach (pages 5998–6008), 30. https://arxiv.org/abs/1706.03762

Yarowsky, D. (2001). Word sense disambiguation. In R. Dale, H. Moisl, and H. Somers (Eds.), Handbook of natural language processing (pp. 629–654). Marcel Dekker.

Zipf, G. K. (1949). Human behavior and the principle of least effort: An introduction to human ecology. Addison-Wesley.

CAPÍTULO 3

Modelos de linguagem de grande porte e o futuro da escrita

Nas seções anteriores — em especial no Capítulo 1 —, examinamos como teorias linguísticas e literárias, mais especificamente o estruturalismo e o pós-estruturalismo, contestaram as noções tradicionais de autoria, originalidade e significado. Pensadores como Barthes e Foucault enfatizam que os textos não são expressões de um autor singular e soberano, mas, antes, arranjos de discursos anteriores, formados por meio da citação, da repetição e da convenção cultural (Underwood, 2023). Nessa perspectiva, a figura do ‘autor’ torna-se menos uma fonte de significado do que uma função do próprio discurso — uma posição no interior de um sistema mais amplo da linguagem, como já definido por Saussure em sua distinção entre língua, langue, e fala, parole. A linguagem precede e excede o escritor individual, moldando o pensamento e restringindo a expressão.

Modelos de linguagem de grande porte (LLMs), como o ChatGPT, instanciam essa ideia teórica com notável fidelidade. Treinados com vastos conjuntos de textos produzidos por seres humanos, esses sistemas produzem continuações coerentes e plausíveis do discurso, reproduzindo estatisticamente padrões que encontraram durante o treinamento — ver os Capítulos 1 e 2.

Em sentido literal, eles geram textos sem autores — saídas que são fluentes, plausíveis e frequentemente informativas, mas que carecem de um ponto de origem claro ou de intencionalidade. Aquilo que outrora era uma ideia teórica — a de que a escrita é um ato de recombinação, e não de criação — tornou-se uma realidade comum.

Este capítulo volta-se para as implicações práticas dessa mudança. Como os LLMs já estão transformando as práticas de escrita em diferentes domínios — da produção de conhecimento enciclopédico na Wikipédia à comunicação científica e à publicação acadêmica, chegando aos gêneros cotidianos dos e-mails, currículos e textos de blogs? Como devemos detectar, regulamentar ou atribuir a autoria de textos gerados por máquinas, sobretudo quando são editados ou modificados por usuários humanos? E quais são as consequências dessas transformações para a educação, a autoria e o futuro da expressão escrita?

Ao concentrar-se nessas questões, o capítulo procura ir além da abstração e abordar as mudanças materiais em curso na cultura da escrita. Ao fazê-lo, confronta uma incerteza mais profunda: o que significa escrever em um mundo no qual as máquinas também podem fazê-lo?

1 Autoria revisitada: modelos de linguagem de grande porte e a fragmentação do sujeito da escrita

Se os pensadores estruturalistas e pós-estruturalistas desestabilizaram a autoridade do autor individual, os LLMs trouxeram agora essa desestabilização para o domínio da prática da escrita. Já não confinada ao discurso teórico, a ideia de que um texto pode carecer de um autor coerente ou dotado de intenção tornou-se uma característica concreta da produção textual contemporânea. Sistemas como o ChatGPT podem agora gerar prosa fluente e contextualmente adequada em uma ampla variedade de gêneros, sem possuir experiência, consciência ou sequer uma perspectiva estável — discutiremos questões como a consciência mais detalhadamente nos capítulos seguintes.

A reformulação da autoria por Foucault (1977 [1969]) como uma função — um princípio regulador, e não uma identidade pessoal — adquire aqui uma nova relevância. Em What Is an Author?, Foucault sustenta que a autoria não é uma categoria natural ou universal, mas uma função jurídica e discursiva que surgiu historicamente para regular a circulação e a recepção de certos textos — particularmente daqueles considerados valiosos, perigosos ou puníveis. Na era dos LLMs, essa função-autor torna-se profundamente instável. Quando um usuário gera um memorando jurídico, um resumo científico ou um parágrafo narrativo por meio de um prompt, a noção de autor torna-se indistinta e contestável — distribuída entre o usuário, o modelo e seus projetistas.

Os quadros jurídicos não oferecem uma resposta inequívoca. A ⁠⁠legislação de direitos autorais, na maioria das jurisdições, continua assentada em uma concepção de autoria que pressupõe criatividade e intencionalidade humanas. O Escritório de Direitos Autorais dos Estados Unidos (US Copyright Office), por exemplo, declarou explicitamente que obras geradas exclusivamente por sistemas de IA não são passíveis de proteção, reafirmando que a autoria deve originar-se em uma pessoa natural (US Copyright Office, 2023). Ao mesmo tempo, começam a surgir disputas jurídicas em torno do uso de dados de treinamento protegidos por direitos autorais — suscitando questões sobre se as saídas constituem ‘uso transformativo’ (transformative use) ou reprodução não autorizada. Se um modelo reproduz o estilo, a sintaxe ou a argumentação de determinado autor, isso configura pastiche, plágio ou infração jurídica?

Filosoficamente, essa tensão ecoa debates anteriores acerca da ontologia da obra de arte. O ensaio de Walter Benjamin (1969 [1935]), The Work of Art in the Age of Mechanical Reproduction, sustenta que as tecnologias de massa desvalorizaram a ‘aura’ da obra de arte original, solapando sua singularidade, seu contexto e sua autoridade. Os LLMs levam essa lógica adiante: automatizam não apenas a reprodução da forma, mas também a geração de novos textos, solapando a noção de originalidade enquanto tal. O texto digital, tal como a imagem reproduzida mecanicamente, está desvinculado de sua origem, é infinitamente iterável e se encontra despojado de qualquer singularidade intrínseca. Contudo, em contraste com o caso de Benjamin, o que aqui se reproduz não é uma obra anterior, mas uma aproximação estatística da própria possibilidade da linguagem.

A ascensão dos textos de autoria de LLMs também introduz dilemas epistêmicos e institucionais. Na publicação científica, por exemplo, a maioria dos periódicos atualmente exige que os autores declarem qualquer uso de IA generativa. A tendência predominante vai além, proibindo a inclusão de LLMs como coautores, sob o fundamento de que eles não podem assumir responsabilidade nem consentir com a publicação (Nature, 2023). Essas preocupações não são meramente burocráticas: refletem uma ansiedade mais profunda acerca da erosão da responsabilização, das fronteiras cambiantes entre a redação preliminar e a delegação e da dificuldade de avaliar a procedência, à medida que textos escritos por máquinas e textos escritos por seres humanos se tornam cada vez mais indistinguíveis.

Além disso, à medida que os direitos autorais se dissociam da criatividade e a autoria se distribui por sistemas, plataformas e interações dos usuários, talvez estejamos testemunhando o surgimento de uma nova forma de autoria algorítmica (Gretzky e Dishon, 2025). Não se trata de uma categoria jurídica estável, mas de um arranjo sociotécnico (sociotechnical assemblage): um híbrido constituído pela intenção do usuário, pela saída do modelo e pela infraestrutura corporativa. Isso suscita não apenas preocupações jurídicas e econômicas, mas também ontológicas. Se o autor já não está por trás do texto, o que significa confiar nele, interpretá-lo ou criticá-lo?

Por fim, o LLM reabre questões suscitadas por Derrida (1976 [1967]), em Of Grammatology, acerca da escrita como um sistema autônomo e iterável — desvinculado da presença do falante e resistente ao fechamento. Para Derrida, a escrita sempre excedeu a intenção e o controle; era uma forma de ‘traço’ que escapava à recuperação plena. Os LLMs radicalizam esse ponto: suas saídas são geradas sem experiência, sem presença e sem subjetividade. São puro traço, desvinculadas da voz.

Ao passarmos à próxima seção, examinaremos como essa reconfiguração da autoria já está moldando práticas concretas de produção do conhecimento, da escrita enciclopédica à publicação acadêmica. Nesse âmbito, o que está em jogo se torna não apenas filosófico, mas institucional: como estão evoluindo as normas, as expectativas e as responsabilidades à medida que a escrita humana e a escrita das máquinas se tornam cada vez mais entrelaçadas?

2 Mudanças empíricas: escrever com e por meio dos modelos de linguagem de grande porte

Embora os debates em torno da autoria e da originalidade forneçam um fundamento teórico essencial, eles adquirem uma nova urgência quando situados no contexto das mudanças empíricas no modo como o texto é efetivamente produzido em diferentes domínios. Os LLMs já não são ferramentas especulativas — estão sendo cada vez mais integrados a plataformas de produção do conhecimento, de comunicação acadêmica e de expressão cotidiana. Esta seção examina três contextos principais nos quais os LLMs já começaram a modificar as práticas de escrita: o conhecimento enciclopédico, a literatura científica e os gêneros digitais cotidianos.

Wikipédia e produção do conhecimento. Um dos exemplos mais marcantes da integração dos LLMs a plataformas públicas de escrita é a Wikipédia, um site historicamente construído com base em contribuições de autoria humana e orientadas pela comunidade. Um estudo recente de Brooks et al. (2024) revela que um número significativo de edições de verbetes da Wikipédia tem agora origem em textos gerados com o auxílio de modelos de linguagem, particularmente em páginas com menor tráfego ou em verbetes redigidos em outras línguas que não o inglês. O estudo, baseado em uma análise em larga escala dos históricos de revisão e dos padrões de contribuição, destaca que os colaboradores recorrem cada vez mais a ferramentas como o ChatGPT para gerar rascunhos iniciais, resumir fontes ou reescrever de maneira mais fluente conteúdos já existentes.

É importante observar que os autores não sugerem que os LLMs estejam sendo empregados de maneira dissimulada para enganar os leitores. Seus resultados indicam, antes, que os LLMs são cada vez mais utilizados para reduzir as barreiras cognitivas e temporais à participação na escrita colaborativa. Essas ferramentas permitem que uma variedade mais ampla de usuários — inclusive aqueles com habilidades limitadas de escrita ou sem conhecimento especializado no tema — contribua para a criação de conteúdo.

Contudo, essa mudança suscita preocupações fundamentais acerca da autoridade epistêmica (Huang et al., 2025). A Wikipédia opera segundo o princípio da ‘verificabilidade, não da verdade’ (verifiability, not truth), enfatizando que as afirmações devem ser sustentadas por fontes confiáveis e publicadas, e não por conhecimento pessoal ou inferências próprias. Essa política pressupõe que os colaboradores avaliem criticamente e citem fontes de autoridade reconhecida. Quando os colaboradores se apoiam em textos gerados por LLMs — frequentemente treinados com o mesmo conteúdo público da web no qual a própria Wikipédia se baseia —, surge o risco de citação recursiva (Algaba et al., 2025), na qual afirmações não verificáveis ou insuficientemente respaldadas por fontes são reproduzidas e reforçadas, em vez de verificadas de maneira independente. Como os LLMs não são infalíveis e podem produzir alucinações — informações plausíveis, mas falsas ou fabricadas —, esse processo também aumenta a probabilidade de que erros factuais sejam introduzidos na Wikipédia, apesar de suas salvaguardas editoriais.

Além disso, à medida que as contribuições passam cada vez mais a ter origem em sistemas que obscurecem a fronteira entre o usuário e a ferramenta, a rastreabilidade da autoria torna-se mais precária — ver a seção anterior. Isso apresenta desafios aos valores fundamentais da Wikipédia: transparência, responsabilização editorial e governança comunitária.

Escrita acadêmica e comunicação científica. Na publicação acadêmica, os LLMs também estão se tornando cada vez mais comuns, não apenas como ferramentas de redação preliminar, mas como coautores silenciosos. Geng e Trotta (2024) apresentam uma análise do uso de LLMs em artigos científicos de diferentes disciplinas. Por meio de uma análise estatística das mudanças na frequência das palavras, eles mostram que uma proporção não desprezível dos manuscritos submetidos contém agora passagens geradas — ao menos em parte — por sistemas como ChatGPT ou Claude. Isso também ocorre em pareceres de revisão por pares, particularmente naqueles escritos por revisores menos confiantes ou entregues no último momento (Liang et al., 2024).

Embora muitas dessas passagens possam ter sido verificadas e editadas pelo autor humano, a presença de segmentos gerados por LLMs introduz novos riscos. Entre os mais salientes estão as citações inventadas (alucinadas) e as referências fabricadas — saídas que parecem plausíveis, mas que, na realidade, são inventadas. Essas citações sintéticas são difíceis de detectar por meio da revisão por pares, e sua proliferação pode contribuir para o ruído epistêmico em um ambiente acadêmico já saturado.

Liang et al. (2024) também observam que os LLMs são utilizados de maneira desigual: pesquisadores provenientes de contextos não anglófonos têm maior probabilidade de recorrer a eles para revisão estilística — como ocorre neste livro — ou para a geração de resumos. Isso sugere que os LLMs podem servir como ferramentas de equiparação na academia global, ajudando a mitigar desigualdades linguísticas. Contudo, o uso dessas ferramentas permanece estigmatizado em muitos contextos, e a maioria das instituições acadêmicas carece de normas ou políticas claras relativas à declaração de uso e à atribuição.

⁠Escrita cotidiana: e-mails, relatórios, currículos. Para além dos domínios formais do conhecimento, os LLMs estão agora incorporados ao tecido da comunicação cotidiana. Sistemas generativos estão cada vez mais integrados às práticas comunicativas rotineiras, desde o recurso de texto preditivo do Gmail e as sugestões de código do GitHub Copilot até o Office 365 Copilot da Microsoft. Essas ferramentas desempenham agora um papel significativo na conformação do conteúdo de e-mails, candidaturas a vagas de emprego e relatórios profissionais. Sua adoção nem sempre é visível — os usuários podem clicar em ‘autocomplete’ (preenchimento automático) sem perceber conscientemente que um modelo neural está moldando suas formulações.

Aqui, novamente, essas integrações suscitam questões sobre autoria, fluência e agência (autonomia) linguística. Por um lado, os LLMs ampliam a acessibilidade: auxiliam usuários com proficiência linguística limitada, ajudam falantes não nativos a formular e-mails profissionais e reduzem o tempo gasto com correspondência rotineira. Por outro lado, contribuem para um achatamento do estilo — uma espécie de padronização algorítmica que substitui a voz pela eficiência. O usuário torna-se menos um escritor e mais um curador, selecionando entre formulações sugeridas algoritmicamente.

Aqui, a preocupação diz menos respeito à propriedade intelectual do que à erosão da individualidade expressiva. Se a escrita se torna um ato de refinamento de prompts, e não de articulação, o que acontece com o tom, a nuance e o desenvolvimento retórico? Estamos testemunhando uma mudança sutil da composição para a configuração — uma desqualificação (deskilling) do trabalho expressivo em favor da conveniência?

Esses desenvolvimentos exigem que a autoria seja reconceituada como uma forma de interação moldada não apenas pela intenção individual, mas pelas possibilidades de ação (affordances) das plataformas digitais e pelas dinâmicas da composição mediada por modelos.

3 Enfrentando a identificação de texto gerado por IA

À medida que os LLMs se tornam cada vez mais capazes de produzir uma prosa coerente e estilisticamente convincente, aumentam as preocupações acerca de como identificar de maneira confiável os textos gerados por esses sistemas. A capacidade de atribuir autoria e distinguir o conteúdo produzido por seres humanos daquele produzido por máquinas é crucial em muitos domínios, entre eles a integridade acadêmica, o jornalismo, os processos jurídicos e a moderação de conteúdo on-line.

Essas preocupações refletem questões mais amplas acerca da responsabilização e da transparência no contexto da escrita mediada por algoritmos. Em resposta, pesquisadores e formuladores de políticas desenvolveram diversas ferramentas técnicas e procedimentais para enfrentar esse desafio. Duas abordagens proeminentes são os sistemas de detecção e as técnicas de marcação d’água.

3.1 Detecção de texto gerado por IA

À medida que o texto gerado por LLMs se dissemina por um número crescente de domínios, surgem esforços paralelos para desenvolver ferramentas capazes de identificá-lo. Esses detectores são empregados em contextos que vão de trabalhos acadêmicos e pareceres de revisão científica por pares à desinformação on-line e à moderação de conteúdo. Promovidos como salvaguardas contra o uso indevido, os sistemas de detecção são frequentemente apresentados como soluções técnicas para problemas éticos. Contudo, análises empíricas revelam que essa abordagem é profundamente problemática, tanto em seus pressupostos operacionais quanto em suas implicações mais amplas.

No cerne do problema encontra-se uma ambiguidade definicional básica. A distinção entre texto ‘escrito por seres humanos’ e texto ‘gerado por máquinas’ não é uma questão de conteúdo ou forma, mas de procedência — uma propriedade que não é acessível a partir do próprio texto. A maioria dos detectores atuais opera analisando características linguísticas superficiais e regularidades estatísticas. Contudo, essas características não revelam o processo de geração subjacente a um texto. Além disso, a própria noção de conteúdo ‘gerado por LLMs’ é mal definida. Os detectores são normalmente treinados com benchmarks estilizados que envolvem continuações não editadas, produzidas em regime zero-shot, por um pequeno número de modelos.

Uma consequência preocupante dessa simplificação é o risco de falsos positivos. Nenhuma ferramenta de detecção é infalível; a maioria opera com taxas de erro de 10% a 15%, e essa taxa aumenta sob condições adversariais ou quando se trata de textos curtos. De maneira crucial, esses erros não se distribuem uniformemente. Estudos mostraram que os sistemas de detecção classificam incorretamente, de maneira desproporcional, conteúdos escritos por falantes não nativos ou por indivíduos com estilos de escrita singulares (Giray, 2024; Liang et al., 2023). Nesses casos, o juízo algorítmico reforça desigualdades sociais já existentes sob o disfarce da neutralidade técnica. Isso evoca a noção de efeitos de retroalimentação (looping) de Ian Hacking (1986), segundo a qual novos esquemas classificatórios reconfiguram o comportamento e as experiências das pessoas às quais são aplicados. Quando essas classificações não são confiáveis e possuem consequências sociais, correm o risco de se tornar não apenas inexatas, mas injustas.

A função da pós-edição (postediting) complica ainda mais o problema. No uso efetivo, as saídas dos LLMs raramente são adotadas sem alterações. Os usuários revisam, reorganizam ou integram rotineiramente textos gerados a documentos mais extensos de autoria humana. Contudo, a maioria dos detectores é treinada com continuações brutas, o que os torna pouco adequados a essa realidade híbrida. Mesmo uma intervenção humana mínima — como a paráfrase ou a substituição de sinônimos — pode reduzir drasticamente a precisão da detecção. Essa fragilidade revela a dependência dos detectores em relação a pressupostos que já não correspondem ao modo como os LLMs são utilizados na prática. Filosoficamente, isso reflete uma incompreensão mais profunda da textualidade. As tentativas de reatribuir a autoria com base em características estilométricas pressupõem uma transparência e uma rastreabilidade da origem que a escrita jamais ofereceu. Como Derrida nos recorda, o texto é sempre disperso, iterado e moldado contextualmente.

Outra preocupação importante é a simplificação ética introduzida pela classificação binária. A avaliação ética depende do contexto: usar um LLM para redigir um artigo acadêmico em nome de outra pessoa (ghostwrite) não equivale a utilizá-lo para correção ortográfica ou tradução. Contudo, as ferramentas de detecção tratam como equivalentes todas as formas de assistência por LLMs. Como sustentam Lepp e Smith (2025) e Cheng et al. (2025), esse apagamento das nuances reduz um amplo espectro de interação humano–IA a uma dicotomia redutora. O resultado não é apenas um achatamento conceitual, mas um dano prático — torna-se difícil distinguir entre automação maliciosa e auxílio legítimo.

As ferramentas de detecção também enfrentam um grave problema de generalização. Diferentes LLMs — como GPT-4, Claude, Gemini e DeepSeek — produzem saídas com impressões digitais estilísticas distintas. Ferramentas treinadas com um modelo podem apresentar desempenho inferior quando aplicadas a outro. Além disso, LLMs mais recentes incorporam cada vez mais procedimentos de alinhamento (alignment) e pós-treinamento que tornam suas saídas mais semelhantes à produção humana e, portanto, mais difíceis de detectar (Antoun et al., 2024). Desse modo, os detectores permanecem atrás dos modelos que deveriam monitorar, criando um problema de alvo móvel. A situação é agravada ainda mais pelo fato de que o uso no mundo real frequentemente envolve engenharia de prompts, aprendizagem em contexto (in-context learning) ou adaptação de estilo — práticas que afastam ainda mais o texto gerado da distribuição de treinamento da maioria dos detectores.

Por fim, as ferramentas de detecção raramente são interpretáveis. A maioria funciona como uma caixa-preta, sem oferecer uma justificativa clara para suas decisões. Essa falta de transparência solapa sua confiabilidade — especialmente quando são utilizadas em contextos de alto risco, como a aplicação de normas de integridade acadêmica, a publicação científica ou a triagem de candidatos a emprego. Lipton (2018) enfatiza que a opacidade limita tanto a legitimidade quanto a responsabilização dos sistemas automáticos. Contudo, no discurso público, esses sistemas são frequentemente interpretados, de maneira equivocada, como árbitros definitivos da autoria. Na realidade, são sistemas que produzem palpites estatísticos e possuem vieses e limitações bem documentados.

Em última análise, podemos dizer que a atual geração de ferramentas de detecção de texto gerado por LLMs oferece, na melhor das hipóteses, uma solução parcial e frágil para um problema sociotécnico complexo. Em vez de resolverem as preocupações relativas ao uso indevido da IA, essas ferramentas correm o risco de ampliar desigualdades, institucionalizar a suspeita e reforçar concepções redutoras da escrita e da autoria. Como veremos na Seção 4, essas tensões são especialmente visíveis — e especialmente consequentes — no campo da educação.

3.2 Marcação d’água textual

Uma estratégia complementar é a marcação d’água textual (text watermarking), que consiste em incorporar sinais sutis, frequentemente imperceptíveis, à saída de um modelo de linguagem, a fim de marcá-la como sintética. Diferentemente da detecção, que ocorre depois que o texto é produzido, a marcação d’água marca proativamente o conteúdo no momento da geração, possibilitando a verificação posterior de sua origem.

Em contextos de alto risco — como a comunicação governamental, a avaliação educacional ou a publicação científica —, a marcação d’água pode ajudar a estabelecer a procedência e sustentar a confiança. Alguns pesquisadores sustentam que técnicas robustas de marcação d’água poderiam ser concebidas para resistir a níveis moderados de paráfrase ou edição, tornando-se uma ferramenta confiável caso fossem amplamente adotadas e padronizadas (Kirchenbauer et al., 2023). Contudo, a marcação d’água também enfrenta limitações significativas. Nem todos os modelos generativos implementarão protocolos de marcação d’água, deixando em aberto a possibilidade de textos sintéticos sem marcação. Além disso, os textos podem ser extensamente editados, reformatados ou traduzidos de maneiras que alterem ou apaguem os sinais incorporados, comprometendo, na prática, a eficácia da marcação d’água.

Ademais, a adoção ampla da marcação d’água por diversos sistemas comerciais e de código aberto apresenta importantes desafios técnicos e políticos. Há também preocupações acerca de possíveis consequências negativas para a privacidade dos usuários e para a liberdade de expressão, especialmente se os mecanismos de marcação d’água possibilitarem formas invasivas de rastreabilidade (Fernandez et al., 2024).

Consequentemente, embora a marcação d’água ofereça um complemento promissor aos métodos de detecção, ela não pode proporcionar uma salvaguarda abrangente. Sua utilidade depende de uma adoção coordenada, de padrões técnicos robustos e de sua integração a estruturas mais amplas de políticas públicas e educação, juntamente com uma consideração cuidadosa de suas implicações éticas e para as liberdades civis.

4 Educação e o futuro da escrita

A integração dos LLMs aos contextos educacionais desencadeou um debate vigoroso, revelando tanto esperanças quanto apreensões acerca do futuro da escrita, da aprendizagem e do desenvolvimento intelectual. O que está em jogo não é apenas a questão da honestidade acadêmica, mas um conjunto mais profundo de preocupações acerca da natureza do esforço cognitivo, da função da escrita no desenvolvimento do pensamento e do papel em transformação do professor em um ambiente mediado pela tecnologia. Esta seção examina três dimensões desse debate: o risco de desqualificação e a percepção de uma erosão da originalidade; o potencial dos LLMs para promover maior equidade e inclusão; e a necessidade de reconceber as abordagens pedagógicas à luz dessas novas ferramentas.

4.1 O risco da desqualificação e a crise da originalidade

Talvez a preocupação mais frequentemente expressa entre os educadores seja a de que os LLMs possam incentivar uma forma de terceirização intelectual. Teme-se que os estudantes venham a depender de sistemas generativos não apenas para aprimorar sua prosa, mas para compô-la integralmente — contornando o trabalho cognitivo envolvido na formulação de argumentos, na organização de ideias e na experimentação com a voz e o estilo (Cotton et al., 2023). Nessa perspectiva, a escrita não é apenas um veículo para a apresentação do conhecimento, mas um processo por meio do qual a compreensão é construída. Se esse processo for delegado às máquinas, a função formativa da escrita poderá ser comprometida.

Essas preocupações são frequentemente formuladas em termos de ‘desqualificação’ (deskilling), conceito tomado de empréstimo dos estudos do trabalho para descrever a erosão das competências especializadas por meio da automação tecnológica (Crowston e Bolici, 2024). Assim como as tecnologias das linhas de montagem outrora substituíram o trabalho artesanal, também os LLMs poderiam substituir competências acadêmicas centrais. Essa preocupação apresenta ressonâncias com críticas anteriores aos corretores ortográficos e aos softwares de correção gramatical, mas é intensificada pelo alcance e pela fluência dos modelos de linguagem contemporâneos, que agora podem produzir textos extensos e contextualmente adequados, muito próximos do estilo e das convenções da escrita acadêmica e profissional.

Em termos filosóficos, essa apreensão reflete uma associação de longa data entre autoria e agência. Historicamente, a escrita tem sido considerada uma marca de autonomia, criatividade e responsabilidade intelectual. Se os estudantes apresentam textos que não compuseram, correm o risco de se alienar de suas próprias ideias. Hannah Arendt (1958) adverte que a modernidade corre o risco de dissolver o ‘espaço de aparecimento’ (space of appearance) no qual os indivíduos se revelam por meio da palavra e da ação — um espaço que, em contextos educacionais, inclui a autoria da própria escrita. O temor, portanto, não é simplesmente que os estudantes trapaceiem, mas que deixem de pensar — e deixem de aparecer — como autores.

4.2 Oportunidade para a equidade e a inclusão

Contudo, essa linha de crítica, embora importante, pode obscurecer os benefícios consideráveis que os LLMs oferecem a muitos estudantes — particularmente àqueles para os quais a escrita acadêmica apresenta dificuldades desproporcionais. Para estudantes com proficiência limitada na língua de instrução, ou para aqueles com dislexia, comprometimentos cognitivos ou transtornos de ansiedade, os modelos generativos podem atuar como facilitadores, e não como muletas (Goodman et al., 2022). Eles podem fornecer alternativas lexicais, sugerir reformulações sintáticas ou oferecer apoio estrutural que facilite o envolvimento, em vez de substituí-lo.

Em contextos educacionais multilíngues ou com escassez de recursos, nos quais o apoio pedagógico pode ser mínimo e o retorno, escasso, o acesso a modelos de linguagem pode ajudar a mitigar desigualdades estruturais. Em vez de deteriorar a qualidade da escrita, esses sistemas podem permitir que estudantes participem de práticas discursivas das quais, de outro modo, seriam excluídos. A ênfase na correção linguística, frequentemente utilizada como mecanismo de controle de acesso nas instituições acadêmicas, pode ser flexibilizada por ferramentas que auxiliam, em vez de penalizar.

Esse ponto foi levantado por pesquisadores que estudam a publicação acadêmica global. Amano et al. (2023) sustentam que falantes não nativos de inglês enfrentam desvantagens sistêmicas na comunicação científica, despendendo frequentemente mais tempo e trabalho para produzir trabalhos que são julgados com base em critérios estilísticos. Os LLMs, caso sejam utilizados de maneira transparente e ética, podem ajudar a corrigir tais desequilíbrios, reduzindo a carga cognitiva e linguística necessária para atender aos padrões normativos.

Em um nível mais profundo, isso suscita a questão de saber o que conta como auxílio legítimo. Se um estudante utiliza um dicionário de sinônimos ou um guia de gramática, seu trabalho normalmente não é desqualificado.

Os LLMs desafiam a fronteira entre o auxílio permitido e a automação desqualificadora, obrigando os educadores a reconsiderar os princípios subjacentes a suas avaliações.

4.3 Reinventando a pedagogia

Essas mudanças sugerem que as instituições educacionais não devem simplesmente proibir ou ignorar a presença dos LLMs, mas reinventar a pedagogia diante de seu surgimento (Holmes et al., 2019). Uma direção promissora consiste em passar da avaliação dos produtos finais para a avaliação dos processos. Em vez de julgar apenas o resultado final, os professores poderiam enfatizar a escrita iterativa, a reflexão, a revisão por pares e a documentação dos históricos de revisão. Isso tornaria visível o trabalho cognitivo envolvido na composição, independentemente de serem ou não utilizados LLMs.

Outra estratégia consiste em cultivar aquilo que poderia ser denominado ‘letramento em ferramentas’ (tool literacy). Em vez de proibir os modelos generativos, os educadores poderiam preparar os estudantes para compreender suas possibilidades de ação e suas limitações, avaliar criticamente suas saídas e utilizá-los de maneira responsável. Isso se alinha a uma mudança pedagógica mais ampla, que passa do domínio dos conteúdos para a consciência metacognitiva: saber como aprender, como escrever e como interagir com tecnologias em transformação de maneira informada e reflexiva.

A transparência é fundamental. Os estudantes devem ser incentivados — e, em alguns casos, obrigados — a declarar seu uso de LLMs, especificando quais partes de seus textos foram produzidas com assistência ou geradas e por quê. Tais práticas não apenas preservam a integridade acadêmica, mas também exemplificam uma forma de colaboração responsável entre seres humanos e máquinas. É importante observar que isso não significa tratar os LLMs como coautores, mas, antes, situá-los como instrumentos — cujo uso deve ser reconhecido, contextualizado e justificado.

De modo mais amplo, esses desenvolvimentos convidam a uma concepção mais pluralista da escrita. Nem toda escrita precisa ser original da mesma maneira; nem todos os usos de assistência são ilegítimos. O objetivo não é preservar um ideal estreito do escritor autônomo, mas estabelecer padrões adaptáveis que promovam um envolvimento intelectual significativo e uma participação equitativa em um ambiente de escrita moldado tanto por contribuições humanas quanto por contribuições das máquinas.

5 Conclusão: escrita depois da escrita

Os LLMs não se limitam a auxiliar na escrita — eles transformam suas condições de possibilidade. Assim como tecnologias anteriores, como a imprensa escrita ou o processador de texto, eles alteram os meios e os modos da produção textual. Contudo, diferentemente dessas ferramentas, que ampliaram as capacidades humanas sem deslocar a agência humana, os LLMs são capazes de gerar discursos completos: ensaios, argumentos, resumos e narrativas, frequentemente indistinguíveis daqueles redigidos por autores humanos. Como resultado, tornam indistintas distinções fundamentais entre assistência e autoria, originalidade e reprodução, intenção e automação.

Essa transformação possui implicações significativas para nossa compreensão da escrita, da autoria e da responsabilidade intelectual. À medida que a produção de textos se torna cada vez mais mediada por sistemas algorítmicos, as questões de procedência — quem escreveu determinado texto, em quais condições e com quais compromissos epistêmicos ou institucionais — tornam-se mais complexas e, por vezes, opacas. A preocupação central não é o surgimento hipotético de uma inteligência artificial geral, mas uma questão mais imediata e concreta: o enfraquecimento dos quadros estabelecidos para atribuir significado e autoridade e para determinar a responsabilização nas práticas textuais.

Nesse contexto, o desafio consiste em reavaliar e rearticular as normas e infraestruturas que sustentam a comunicação acadêmica, a avaliação educacional e o discurso público. Em vez de enquadrar a ascensão dos modelos generativos como uma ruptura à qual se deve resistir, ela deve ser compreendida como uma mudança que exige novos instrumentos críticos, institucionais e conceituais — capazes de responder à reconfiguração da autoria e da produção do conhecimento em um mundo cada vez mais mediado por algoritmos.

Referências

Algaba, A., Mazijn, C., Holst, V., Tori, F., Wenmackers, S., and Ginis, V. (2025). Large language models reflect human citation patterns with a heightened citation bias. In Findings of the Association for Computational Linguistics (NAACL 2025), Albuquerque, USA (pp. 6829–6864). Association for Computational Linguistics. https://aclanthology.org/2025.findings-naacl.381/

Amano, T., González-Varo, J. P., and Sutherland, W. J. (2023). Languages are still a major barrier to global science. PLOS Biology, 21(4). https://doi.org/10.1371/journal.pbio.2000933

Antoun, W., Sagot, B., and Seddah, D. (2024). From text to source: Results in detecting large language model-generated content. In Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), Turin, Italy (pp. 7531–7543). ELRA and ICCL. https://aclanthology.org/2024.lrec-main.665.pdf

Arendt, H. (1958). The human condition. University of Chicago Press.

Benjamin, W. (1969 [1935]). The work of art in the age of mechanical reproduction. In: H. Arendt (ed.), Illuminations (H. Zohn, trans.), Schocken Books.

Brooks, C., Eggert, S., and Peskoff, D. (2024). The rise of AI-generated content in Wikipedia. In Proceedings of the First Workshop on Advancing Natural Language Processing for Wikipedia, Miami, USA (pp. 67–79). Association for Computational Linguistics. https://aclanthology.org/2024.wikinlp-1.12/

Cheng, Z., Zhou, L., Jiang, F., Wang, B. and Li, H. (2025). Beyond binary: Towards fine-grained LLM-generated text detection via role recognition and involvement measurement. In Proceedings of the ACM on Web Conference 2025 (pp. 2677–2688). Association for Computing Machinery. https://dl.acm.org/doi/10.1145/3696410.3714770

Cotton, D. R. E., Cotton, P. A., and Shipway, J. R. (2023). Chatting and cheating: Ensuring academic integrity in the era of ChatGPT. Innovations in Education and Teaching International, 61(2), 228–239. https://doi.org/10.1080/14703297.2023.2190148

Crowston, K., and Bolici, F. (2024). Deskilling and upskilling with generative AI systems. Information Research, 30, 1009–1030.

Derrida, J. (1976 [1967]). Of grammatology (G. C. Spivak, Trans.). Johns Hopkins University Press.

Fernandez, P., Level, A., and Furon, T. (2024). What lies ahead for generative AI watermarking. In ICML2024: 2nd Workshop on Generative AI and Law (GenLaw ’24), Vienna, Austria. ICML. https://icml.cc/virtual/2024/39181

Foucault, M. [1977 (1969)]. What is an author? In D. F. Bouchard and S. Simon (Trans. and Eds.), Language, counter-memory, practice (pp. 113–138). Cornell University Press.

Geng, M., and Trotta, R. (2024). Is ChatGPT transforming academics’ writing style? In ICML 2024 Workshop: Next Generation of AI Safety, Vienna, Austria. ICML. https://arxiv.org/abs/2404.08627

Goodman, S. M., Buehler, E., Clary, P., Coenen, A., Donsbach, A., Horne, T. N., Lahav, M., MacDonald, R., Michaels, R. B., Narayanan, A., Pushkarna, M., Riley, J., Santana, A., Shi, L., Sweeney, R., Weaver, P., Yuan, A., and Ringel Morris, M. (2022). LaMPost: Design and evaluation of an AI-assisted email writing prototype for adults with dyslexia. In Proceedings of the 24th International ACM SIGACCESS Conference on Computers and Accessibility (ASSETS ’22) (pp. 1–18). Association for Computing Machinery. https://doi.org/10.1145/3517428.3544819

Giray, L. (2024). The problem with false positives: AI detection unfairly accuses scholars of AI plagiarism. The Serials Librarian, 85(5–6), 181–189.

Gretzky, M., and Dishon, G. (2025). Algorithmic-authors in academia: Blurring the boundaries of human and machine knowledge production. Learning, Media and Technology. preprint. https://doi.org/10.1080/17439884.2025.2452196

Hacking, I. (1986). Making up people. In T. C. Heller, M. Sosna, and D. E. Wellbery (Eds.), Reconstructing individualism: Autonomy, individuality, and the self in Western thought (pp. 222–236). Stanford University Press.

Holmes, W., Bialik, M., and Fadel, C. (2019). Artificial intelligence in education: Promises and implications for teaching and learning. Center for Curriculum Redesign.

Huang, S., Xu, Y., Geng, M., Wan, Y., and Chen, D. (2025). Wikipedia in the era of LLMs: Evolution and risks. arXiv preprint. https://arxiv.org/abs/2503.02879

Kirchenbauer, J., Geiping, J., Wen, Y., Katz, J., Miers, I., and Goldstein, T. (2023). A watermark for large language models. In Proceedings of the 40th International Conference on Machine Learning, PMLR, 202, 17061–17084. https://proceedings.mlr.press/v202/kirchenbauer23a.html

Lepp, H. and Smith, D. S. (2025). ‘You cannot sound like GPT’: Signs of language discrimination and resistance in computer science publishing. In Proceedings of the ACM Conference on Fairness, Accountability, and Transparency (FAccT), Athens, Greece. Association for Computing Machinery. https://dl.acm.org/doi/10.1145/3715275.3732202

Liang, W., Izzo, Z., Zhang, Y., Lepp, H., Cao, H., Zhao, X., Chen, L., Ye, H., Liu, S., Huang, Z., McFarland, D., and Zou, J. (2024). Monitoring AI-modified content at scale: A case study on the impact of ChatGPT on AI conference peer reviews. In International Conference on Machine Learning (ICML), Vienna, Austria. Association for Computing Machinery. https://dl.acm.org/doi/10.5555/3692070.3693262

Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., and Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), 100779.

Lipton, Z. C. (2018). The mythos of model interpretability: In machine learning, the concept of interpretability is both important and slippery. ACM Queue, 16(3), 31–57. https://doi.org/10.1145/3236386.3241340

Nature (2023). Editorial: Tools such as ChatGPT threaten transparent science; here are our ground rules for their use. Nature, 613(7945), 612. https://doi.org/10.1038/d41586-023-00191-1

Underwood, T. (2023). The empirical triumph of theory. Critical Inquiry [Blog]. https://critinq.wordpress.com/2023/06/29/the-empirical-triumph-of-theory/

US Copyright Office. (2023). Copyright registration guidance: Works containing material generated by artificial intelligence. Federal Register, 88(52), 16190–16194.

CAPÍTULO 4

Modelos de linguagem de grande porte e o raciocínio: as fronteiras da mente e da consciência

Os modelos de linguagem de grande porte (LLMs) rapidamente se tornaram figuras centrais nas discussões contemporâneas sobre inteligência artificial, cognição e até mesmo sobre a própria natureza do pensamento (Millière e Buckner, 2024a, 2024b). Como vimos no Capítulo 1, esses modelos, treinados com vastos conjuntos de dados, detectam regularidades estatísticas e, em seguida, geram continuações textuais coerentes e contextualmente adequadas. Em sua essência, são mecanismos probabilísticos, sem qualquer compreensão explícita do mundo que descrevem. Os LLMs não possuem nenhum modelo formal da realidade, nenhuma ancoragem sensorial (sensory grounding), nenhum corpo por meio do qual possam agir ou perceber. No entanto, suas saídas frequentemente apresentam um grau de fluência, coerência e flexibilidade que convida à comparação com a cognição humana.

O que chama a atenção é a facilidade com que as pessoas interpretam o comportamento desses modelos em termos cognitivos e psicológicos. Tornou-se comum falar dos LLMs como se eles ‘compreendessem’, ‘raciocinassem’ ou ‘imaginassem’. Os pesquisadores avaliam seu desempenho em tarefas concebidas para testar o conhecimento de senso comum, o raciocínio lógico ou a teoria da mente. O discurso público está repleto de especulações sobre se tais modelos são, ou poderiam vir a ser, conscientes. Em suma, há uma tendência persistente de projetar categorias cognitivas humanas sobre sistemas que, por sua própria concepção, carecem dos substratos biológicos e fenomenológicos tipicamente associados a essas capacidades.

Essa projeção não é inteiramente surpreendente. A própria linguagem é um veículo primário da cognição humana, um espelho da vida mental. Quando um sistema artificial emprega a linguagem com proficiência, torna-se natural atribuir-lhe uma qualidade semelhante à de uma mente. Além disso, os LLMs podem imitar com êxito comportamentos associados a capacidades cognitivas: podem responder a perguntas complexas, gerar novas ideias e até mesmo simular os padrões de raciocínio de agentes humanos. Contudo, isso suscita uma questão crítica: essas atribuições são meramente metafóricas, heurísticas úteis para observadores humanos? Ou apontam para uma equivalência funcional que torna menos nítida a distinção entre cognição biológica e artificial?

No cerne desta investigação encontra-se uma questão filosófica mais profunda. As capacidades dos LLMs revelam algo fundamental acerca da própria natureza da cognição? Talvez os processos cognitivos humanos sejam, em grau significativo, estatísticos e baseados em padrões, mais semelhantes às operações desses modelos do que tradicionalmente se supunha. Alternativamente, as semelhanças aparentes talvez ocultem diferenças profundas — diferenças enraizadas na corporeidade, na intencionalidade ou na consciência — que proficiência linguística alguma pode transpor. Neste capítulo, retornamos a essa tensão: a questão de saber se os LLMs participam genuinamente de processos cognitivos ou se são simulacros sofisticados, que refletem as características superficiais do pensamento sem participar de suas estruturas mais profundas.

Este capítulo investiga o que significa dizer que modelos de linguagem ‘compreendem’, ‘raciocinam’ ou até mesmo parecem ‘possuir mentes’. À medida que esses sistemas imitam cada vez mais comportamentos associados à inteligência humana, suscitam questões prementes sobre as fronteiras entre simulação e cognição, reconhecimento de padrões e compreensão, fluência linguística e pensamento consciente. Examinamos como os LLMs lidam com aspectos centrais da cognição — como o raciocínio de senso comum, a lógica inferencial e a capacidade de atribuir estados mentais — e perguntamos se essas capacidades refletem processos cognitivos genuínos ou apenas a aparência de tais processos. Recorrendo a contribuições da ciência cognitiva, da filosofia da mente e da pesquisa em IA, procuramos compreender não apenas o que os LLMs podem fazer, mas também o que seu desempenho revela acerca da própria natureza da cognição — e o que talvez ainda diferencie o pensamento humano.

1 Modelos de linguagem de grande porte e senso comum: conhecimento estatístico versus conhecimento do mundo

O senso comum tem sido tradicionalmente considerado um dos componentes mais elusivos e fundamentais da cognição humana. Ele abrange um corpo extenso, frequentemente implícito, de conhecimento do mundo — fatos acerca de objetos físicos, normas sociais, regularidades causais e expectativas cotidianas — que permite aos seres humanos lidar com situações novas de maneira flexível e eficiente. Filósofos de Aristóteles a Reid (2022 [1764]) enfatizaram seu papel essencial no raciocínio prático, enquanto a ciência cognitiva contemporânea investiga estruturas cognitivas fundamentais correlatas conhecidas como conhecimento nuclear (core knowledge). As ⁠teorias do conhecimento nuclear propõem sistemas inatos e específicos de domínio que estão na base da compreensão intuitiva que os seres humanos possuem de objetos, ações, números, espaço e interações sociais (Carey, 2009; Spelke e Kinzler, 2007).

A questão de saber se as máquinas, particularmente os LLMs, possuem senso comum tem recebido atenção crescente. À primeira vista, os LLMs exibem uma capacidade impressionante de produzir respostas compatíveis com o conhecimento de senso comum. Benchmarks como o conjunto de dados CommonSenseQA (Talmor et al., 2019) ou o Winograd Schema Challenge (Levesque et al., 2012) demonstram que os LLMs modernos podem alcançar níveis de desempenho que rivalizam com desempenhos humanos de referência ou os superam, especialmente quando passam por ajuste fino ou recebem prompts eficazes.

Por exemplo, uma pergunta típica do conjunto de dados CommonSenseQA poderia ser: ‘Em que lugar de um rio você pode segurar um copo na vertical para apanhar água em um dia ensolarado? (a) cachoeira, (b) ponte, (c) vale, (d) seixo, (e) montanha.’ Essa pergunta avalia a capacidade do modelo de mobilizar conhecimento de senso comum acerca das localizações típicas dos objetos, sendo a resposta correta (a), cachoeira. O Winograd Schema Challenge apresenta um tipo diferente de problema de raciocínio de senso comum. Um exemplo desse tipo de esquema é:

Nesse caso, a interpretação correta — segundo a qual ‘it’ se refere ao troféu — exige uma compreensão da física cotidiana e raciocínio prático. Ambos os exemplos ilustram as nuances envolvidas na avaliação da medida em que os LLMs de fato apreendem o senso comum ou apenas simulam uma compreensão dele.

Como vimos nos capítulos anteriores, esse aparente domínio do senso comum é, na verdade, de natureza predominantemente estatística. Os LLMs internalizam padrões de coocorrência e probabilidades condicionais presentes em vastos conjuntos de textos, o que lhes permite produzir respostas que parecem compatíveis com o conhecimento cotidiano. Seu ‘conhecimento’ não está ancorado em uma experiência corporificada do mundo, mas é extraído de regularidades textuais — um ponto que os distingue nitidamente dos agentes cognitivos humanos.

Além disso, muitos benchmarks utilizados para avaliar o raciocínio de senso comum estão publicamente disponíveis on-line ou incluídos nos dados de treinamento. Isso significa que os LLMs frequentemente alcançam um desempenho elevado não porque verdadeiramente ‘compreendam’ as tarefas, mas porque já encontraram exemplos semelhantes ou até mesmo idênticos durante o treinamento. Consequentemente, o desempenho em benchmarks nem sempre constitui um indicador confiável de capacidades genuínas de raciocínio. Uma maneira de enfrentar esse problema é assegurar que os conjuntos de dados de avaliação sejam cuidadosamente constituídos de modo a evitar a sobreposição com os dados de treinamento — seja mantendo os benchmarks em sigilo até a avaliação, seja utilizando conjuntos de dados reservados e proprietários. Por exemplo, o ARC-Challenge (Chollet, 2019) e o BIG-bench (Srivastava et al., 2022) adotaram medidas para acompanhar a procedência dos dados ou divulgar subconjuntos depois do treinamento dos modelos.

Outra técnica promissora envolve conjuntos de teste contrafactuais concebidos para verificar se um modelo consegue generalizar para além de padrões superficiais mediante a ruptura de correlações espúrias (Chen et al., 2025). No domínio do raciocínio de senso comum, isso poderia envolver a alteração de um cenário para testar se o modelo se apoia em uma compreensão efetiva das relações causais ou físicas, em vez de recorrer a associações memorizadas. Por exemplo, um modelo poderia ser treinado para responder:

Uma versão contrafactual poderia perguntar:

Um modelo que tenha aprendido apenas a associação ‘copo → quebrar’ pode deixar de levar o contexto em consideração, enquanto um modelo que demonstrasse um raciocínio mais profundo ajustaria sua resposta de maneira apropriada — embora determinar a resposta correta nesse contexto deixe, então, de ser imediatamente óbvio, até mesmo para seres humanos. Testes desse tipo são cruciais para avaliar se a competência aparente de um modelo reflete uma generalização genuína ou um reconhecimento superficial de padrões.

Essa dependência de associações superficiais — em vez de uma compreensão ancorada — deu origem a uma crítica mais ampla no âmbito da IA e da filosofia: a de que os modelos de linguagem, apesar de sua fluência, carecem de uma compreensão genuína do mundo que descrevem. Hubert Dreyfus (1972), um destacado crítico da IA simbólica, sustenta que a inteligência não pode ser reduzida à manipulação formal baseada em regras, dissociada da experiência corporificada. Embora os LLMs não se apoiem em regras simbólicas explícitas, sua abordagem estatística permanece, de modo semelhante, desprovida de corporeidade. Sua ‘compreensão’ dos objetos, das ações e das causas é inteiramente filtrada por padrões textuais, sem a ancoragem sensório-motora (sensorimotor grounding) que está na base da cognição humana. Essa ausência de ancoragem tende a se tornar mais evidente quando os LLMs modernos se deparam com cenários altamente implausíveis ou com tarefas que exigem raciocínio causal ou temporal. Por exemplo, Kevin Lacker relata que, quando se perguntou ao GPT-3 ‘Quantos olhos tem uma folha de grama?’, ele respondeu com confiança: ‘Uma folha de grama tem um olho’1, em vez de reconhecer o absurdo da pergunta. Tais erros revelam limitações subjacentes a seu desempenho geralmente robusto em nível superficial — embora esse problema seja menos frequente nos modelos mais recentes.

Cientistas cognitivos como Spelke e Kinzler (2007) enfatizam que os bebês humanos desenvolvem sistemas de conhecimento nuclear mediante a interação corporificada com o mundo. Os LLMs, em contraste, carecem de qualquer trajetória de desenvolvimento assentada na percepção e na ação, como observado acima. Ainda assim, vale reconhecer que os conjuntos de textos codificam quantidades substanciais de conhecimento implícito do mundo. Estruturas linguísticas como as enumerações — ‘animais como gatos, cães e coelhos’ — transmitem informações taxonômicas e relacionais que os LLMs podem utilizar para simular uma compreensão de categorias e associações (Hearst, 1992). Essa simulação não equivale ao senso comum humano, mas possibilita uma forma de competência pragmática assentada no uso da linguagem.

A questão de como as máquinas poderiam alcançar uma forma mais robusta e genuína de raciocínio de senso comum tem sido uma preocupação central da IA desde seu surgimento. John McCarthy (1979), um dos fundadores do campo, sustenta que a IA necessita urgentemente de uma ‘ciência do senso comum’. Tal ciência, propõe ele, deveria examinar como o conhecimento é adquirido, acessado e representado de maneiras que estabeleçam uma conexão significativa com o mundo. McCarthy enfatiza a importância de distinguir entre diferentes tipos de representação — aquelas derivadas da experiência direta e aquelas abstraídas por meio do raciocínio formal — e de compreender como cada uma delas contribui para o comportamento inteligente. Como discutido no Capítulo 1, esses desafios estão estreitamente relacionados ao problema da ancoragem — isto é, ao modo como símbolos e representações em sistemas artificiais podem conectar-se de maneira significativa à percepção, à ação e ao mundo físico. Sem tal ancoragem, mesmo os sistemas formais mais elaborados correm o risco de permanecer desvinculados dos tipos de compreensão intuitiva e corporificada que caracterizam a cognição humana.

Uma das respostas mais ambiciosas ao apelo de McCarthy surgiu na década de 1980 com o trabalho de Doug Lenat, que lançou o projeto Cyc como uma tentativa em larga escala de construir um repositório formalizado de conhecimentos de senso comum (Lenat e Guha, 1990). O Cyc pretendia codificar manualmente vastas quantidades de conhecimento cotidiano em uma base de dados estruturada de asserções lógicas, na esperança de captar a riqueza inferencial do raciocínio ordinário. Contudo, apesar de décadas de trabalho minucioso, o projeto ficou aquém de concretizar seus ambiciosos objetivos. Um desafio significativo que encontrou foi a extrema dependência contextual do senso comum, em virtude da qual um mesmo elemento de conhecimento poderia mudar radicalmente de significado com base em indícios contextuais sutis — flexibilidade com a qual os seres humanos lidam sem esforço, mas que resiste a uma formalização rígida. Como discutido no Capítulo 2, esse problema apresenta um estreito paralelo com as dificuldades de formalizar a linguagem natural, que é igualmente moldada pelo contexto, pela pragmática e por pressupostos de fundo implícitos.

Em última análise, embora os LLMs apresentem uma imitação convincente do senso comum, baseada em associações estatísticas, a verdadeira compreensão de senso comum permanece elusiva, por estar inscrita no tecido vivido, perceptivo e sensível ao contexto da experiência humana. Ainda assim, os dados textuais oferecem vastos reservatórios de conhecimento de senso comum proveniente de práticas culturais e sociais, que os LLMs podem explorar parcialmente. Modelos multimodais que também integram dados visuais ou de vídeo — mostrando como objetos e acontecimentos se desenrolam no mundo real — podem acrescentar uma fonte mais rica de ancoragem, especialmente para o raciocínio sobre a física cotidiana e as interações causais. Mesmo sem um modelo formal e sistemático do senso comum, esses sistemas podem, não obstante, dominar uma quantidade surpreendentemente grande de informações úteis na prática, o que ajuda a explicar por que a frequência de saídas sem sentido diminuiu significativamente em apenas alguns anos.

2 Modelos de linguagem de grande porte e raciocínio: inferência probabilística versus lógica simbólica

O raciocínio tem sido concebido há muito tempo, tanto na filosofia quanto na ciência cognitiva, como um processo de manipulação simbólica governado por regras formais da lógica. Dos silogismos de Aristóteles ao cálculo de predicados de Frege, o raciocínio lógico é frequentemente caracterizado como a aplicação de princípios sistemáticos e explícitos para derivar conclusões de premissas. Modelos cognitivos como a hipótese da lógica mental (Rips, 1994) e a teoria dos modelos mentais (Johnson-Laird, 1983) postulam que o raciocínio humano opera por meio de representações internas que espelham esses sistemas formais. Contudo, com o advento dos LLMs, surgiu uma abordagem nova e fundamentalmente diferente do raciocínio — uma abordagem que prescinde da manipulação simbólica em favor da inferência probabilística sobre vastos conjuntos de textos.

Os LLMs, baseados em arquiteturas neurais profundas, não codificam explicitamente regras lógicas. Em vez disso, captam padrões estatísticos nos dados linguísticos, o que lhes permite gerar continuações textuais plausíveis com base no contexto. Notavelmente, apesar de carecerem de mecanismos lógicos explícitos, esses modelos exibem capacidades emergentes semelhantes ao raciocínio. Estudos recentes demonstraram que, quando recebem prompts adequados, os LLMs podem realizar tarefas tradicionalmente associadas ao raciocínio: resolver problemas aritméticos formulados verbalmente, seguir cadeias de raciocínio em prompts de cadeia de pensamento (chain-of-thought prompting) (Wei et al., 2022), realizar raciocínio analógico (Webb et al., 2023) e adaptar seu comportamento por meio da aprendizagem em contexto.

A integração de código de programação e de exercícios de resolução de problemas matemáticos aos dados de treinamento dos LLMs aprimorou significativamente seu domínio das estruturas lógicas. Ao aprenderem a partir de conjuntos de dados estruturados que contêm etapas lógicas e algorítmicas explícitas, esses modelos internalizam implicitamente padrões correspondentes a processos de raciocínio. Por exemplo, os modelos GPT da OpenAI, extensamente treinados com repositórios de código, demonstram uma capacidade impressionante de produzir algoritmos coerentes, depurar trechos de código e até mesmo sugerir aprimoramentos lógicos para códigos existentes. Tal desempenho ilustra sua capacidade de representar e operacionalizar processos estruturados de raciocínio passo a passo, ao menos implicitamente.

Mas os LLMs raciocinam genuinamente ou apenas reproduzem padrões linguísticos correlacionados ao raciocínio? Filosoficamente, isso suscita questões acerca da natureza das capacidades cognitivas subjacentes. Embora a distinção de Chomsky entre competência e desempenho (Chomsky, 1965) enfatize um sistema interno profundo que governa as capacidades linguísticas, a aplicação desse quadro aos LLMs é problemática. Diferentemente dos falantes humanos, cuja competência reflete um conhecimento sistemático, gerativo e baseado em regras, os LLMs carecem de um sistema explícito de regras de raciocínio que seja acessível por introspecção. Seu raciocínio aparente emerge, em vez disso, das associações estatísticas presentes nos dados de treinamento. Os críticos sustentam que isso resulta em uma forma epifenomênica de raciocínio — um artefato da correspondência superficial de padrões, e não o resultado de processos inferenciais genuínos.

A ⁠teoria dos dois sistemas do cientista cognitivo Daniel Kahneman (Kahneman, 2011) oferece uma perspectiva útil para a análise dessa questão. Segundo Kahneman, a cognição humana opera por meio de dois sistemas: o Sistema 1, que é rápido, automático e intuitivo, e o Sistema 2, que é lento, deliberado e reflexivo. Os LLMs se destacam em tarefas que evocam o Sistema 1 — gerar linguagem fluente, completar padrões e estabelecer associações rápidas. Contudo, têm dificuldades com tarefas que exigem o envolvimento contínuo, reflexivo e metacognitivo característico do raciocínio do Sistema 2. A ausência de representações explícitas e de arquiteturas baseadas em regras inibe sua capacidade de realizar uma dedução lógica rigorosa e passo a passo para além da simulação superficial desse comportamento — embora essa capacidade já esteja se desenvolvendo rapidamente.

As limitações das capacidades de raciocínio dos LLMs tornam-se evidentes em sua suscetibilidade a alucinações — a produção de saídas sintaticamente coerentes, mas factual ou logicamente incorretas. Sem mecanismos explícitos para verificar consistência, validade ou verdade, os LLMs frequentemente não conseguem detectar contradições ou falácias lógicas em suas próprias saídas. Isso evidencia ainda mais sua dependência de associações probabilísticas, em vez do raciocínio formal. Também é importante observar que os LLMs tendem a apresentar um desempenho inferior em tarefas de raciocínio que envolvem tokens mais raros, mesmo quando a tarefa em si é estruturalmente idêntica, o que ressalta sua dependência de padrões determinados pela frequência nos dados de treinamento.

Pesquisas recentes de Shojaee et al. (2025) reforçam ainda mais essas preocupações ao avaliarem modelos de raciocínio de grande porte (large reasoning models, LRMs), que procuram explicitamente ampliar as capacidades de raciocínio para além daquelas dos LLMs convencionais. Seu estudo demonstra que, embora os LRMs inicialmente apresentem um desempenho melhor em tarefas de complexidade moderada, sofrem um colapso completo da acurácia à medida que a complexidade dos problemas aumenta para além de certos limiares. Mesmo com amplos orçamentos de inferência, esses modelos reduzem paradoxalmente seu esforço de raciocínio nas proximidades do ponto de colapso, revelando uma limitação fundamental à ampliação da escala das capacidades de raciocínio. Além disso, Shojaee et al. identificam regimes distintos de desempenho: os LLMs convencionais são frequentemente mais eficientes em tarefas mais simples, enquanto os LRMs se destacam em problemas de complexidade média graças aos mecanismos de cadeia de pensamento; contudo, ambas as arquiteturas fracassam por completo diante de desafios altamente complexos de raciocínio generalizável.

Talvez ainda mais surpreendente seja a constatação de que os LRMs têm dificuldades com a execução lógica precisa, passo a passo, apresentando um desempenho insatisfatório mesmo quando recebem explicitamente algoritmos corretos — por exemplo, não conseguindo resolver problemas clássicos como a Torre de Hanói quando a complexidade aumenta. A análise de seus traços internos de raciocínio revela ainda padrões de ‘pensamento’ ineficientes ou contraproducentes, como a exploração excessiva de soluções incorretas em problemas simples ou a incapacidade total de convergir para respostas corretas nos problemas difíceis. Os experimentos cuidadosamente controlados de Shojaee et al. em domínios clássicos de planejamento fornecem fortes evidências de que as aparentes capacidades de ‘pensar’ dos LRMs atuais constituem frequentemente uma ilusão, limitada a benchmarks amplamente estudados e que deixa de se sustentar sob condições mais sistematicamente variadas, controladas e genuinamente desafiadoras. Em conjunto, essas observações ressaltam que, apesar de seu impressionante desempenho em nível superficial, até mesmo os modelos avançados de raciocínio permanecem limitados pela correspondência de padrões orientada por dados e carecem das competências de raciocínio robustas e generalizáveis necessárias para um pensamento lógico verdadeiramente sistemático.

Além disso, os LLMs carecem daquilo que tradicionalmente se considera consciência metacognitiva. Agentes humanos capazes de raciocinar podem refletir sobre seus processos de raciocínio, reconhecer erros e revisar suas inferências em conformidade com isso. Em contraste, os LLMs atuais não possuem mecanismos explícitos de automonitoramento nem uma capacidade independente de correção de erros para além daquilo que está implicitamente captado em seus dados de treinamento. Filósofos como Robert Brandom (1994) sustentaram que o raciocínio não consiste apenas em gerar inferências corretas, mas em participar de um espaço normativo de dar e pedir razões — aquilo que ele denomina o ‘jogo de dar e pedir razões’ (game of giving and asking for reasons, GOGAR). Nesse quadro, o raciocínio é fundamentalmente dialógico e normativo: qualquer participante pode contestar ou justificar afirmações para manter a coerência com outros compromissos. Essa dimensão de justificação explícita e contestação recíproca ainda está, em grande medida, ausente do comportamento dos LLMs.

Contudo, pesquisas recentes sugerem um quadro mais nuançado. Por exemplo, Ferrando et al. (2025) mostram que os LLMs podem codificar uma forma de ‘consciência dos próprios conhecimentos’ (knowledge awareness) em suas representações internas, identificando se reconhecem ou não determinada entidade. Utilizando autocodificadores esparsos, eles encontram evidências de que os LLMs podem direcionar suas saídas dependendo de uma entidade ser conhecida ou não, o que sugere algo semelhante ao autoconhecimento acerca de suas próprias limitações. Essa forma de metacognição implícita não equivale a uma consciência reflexiva plena, mas indica que os modelos podem conter estruturas internas que acompanham os limites de seu próprio conhecimento, influenciando se alucinam ou se recusam a responder.

Além disso, desenvolvimentos nas técnicas de alinhamento (alignment) têm investigado como os modelos poderiam adquirir uma capacidade de autocrítica de tipo mais normativo e brandomiano. A abordagem de IA Constitucional (Constitutional AI) da Anthropic (Bai et al., 2022), por exemplo, procura treinar modelos para revisar suas próprias respostas com base em um documento de princípios semelhante a uma constituição. Nesse contexto, o modelo é orientado a criticar suas saídas segundo um conjunto de restrições normativas, promovendo potencialmente maior consistência e coerência ao longo do tempo. Paralelamente, outras abordagens — como o uso, pelo DeepSeek, de prompts de cadeia de pensamento combinados com aprendizado por reforço — procuram fornecer uma estrutura de apoio ao raciocínio explícito, incentivando os modelos a elaborar suas etapas intermediárias e, em seguida, reforçando essas explicações.

Embora esses métodos não cheguem a instaurar uma subjetividade metacognitiva genuína, aproximam, ainda assim, os LLMs de processos explícitos de raciocínio e de avaliações baseadas em normas. Embora os LLMs ainda careçam de uma faculdade normativa de raciocínio plenamente desenvolvida, comparável à metacognição humana, pesquisas emergentes apontam maneiras pelas quais formas limitadas de consciência dos próprios conhecimentos e de automonitoramento restringido por normas podem ser parcialmente codificadas em suas arquiteturas. Essas linhas de investigação mostram-se promissoras para reduzir as alucinações e aprimorar a confiabilidade, embora ainda não correspondam a uma verdadeira ‘ciência do senso comum’, no sentido original de McCarthy.

3 Modelos de linguagem de grande porte e ⁠teoria da mente: simulação sem mentalização

Um dos construtos centrais da psicologia cognitiva é a teoria da mente (theory of mind, ToM): a capacidade de atribuir estados mentais — crenças, desejos, intenções e conhecimento — a si mesmo e aos outros. Essa capacidade permite aos seres humanos prever, interpretar e responder ao comportamento de outras pessoas em contextos sociais. Seguindo o trabalho fundamental de Premack e Woodruff (1978), psicólogos do desenvolvimento têm estudado extensamente como a teoria da mente emerge na infância, com particular atenção a tarefas como o teste de crença falsa, no qual o êxito depende de compreender que outro indivíduo pode manter uma crença diferente da realidade e do próprio conhecimento daquele que realiza o teste.

Pesquisas empíricas recentes mostraram que certos LLMs, particularmente os maiores, podem ser bem-sucedidos em versões simplificadas dessas mesmas tarefas de teoria da mente (Kosinski, 2024). Por exemplo, Kosinski testou o GPT-3.5 e o GPT-4 em cenários clássicos de crença falsa, como a tarefa Sally–Anne:

A pergunta apresentada ao modelo é:

De modo notável, quando recebem prompts adequados, os LLMs respondem corretamente que Sally procurará na cesta, demonstrando a capacidade de prever que Sally agirá com base em sua crença desatualizada, e não no estado efetivo do mundo. Isso suscita uma questão imediata e intrigante: os LLMs possuem genuinamente algo semelhante a uma teoria da mente ou apenas simulam os padrões linguísticos a ela associados, sem qualquer compreensão subjacente?

Supõe-se em geral que, apesar de seu impressionante sucesso comportamental em muitas tarefas, os LLMs não constroem modelos internos das crenças ou intenções de outros da maneira como os seres humanos o fazem. Suas saídas são tipicamente orientadas por regularidades estatísticas presentes nos dados de treinamento, e não por uma atribuição genuína de estados mentais. Nesse sentido, parecem realizar reconhecimento de padrões sem mentalização genuína, carecendo de acesso a uma autorrepresentação ou a representações estáveis de agentes distintos, cada qual com sua própria perspectiva. Recentemente, a Anthropic afirmou ter identificado circuitos no interior dos LLMs que parecem acompanhar crenças acerca de outros agentes ao longo de narrativas e diálogos, sugerindo o surgimento de formas primitivas e distribuídas de tomada de perspectiva (Ameisen et al., 2025; Lindsey et al., 2025). Embora essas representações não correspondam a uma teoria da mente plenamente semelhante à humana, elas sugerem que os LLMs podem desenvolver análogos parciais e funcionalmente relevantes por meio do treinamento em larga escala.

Filosoficamente, isso suscita o problema da equivalência funcional versus cognição genuína. A manifestação externa de um comportamento semelhante ao associado à teoria da mente é suficiente para atribuir capacidades de teoria da mente ou a compreensão genuína exige algo mais? A noção de postura intencional (intentional stance) de Daniel Dennett (Dennett, 1987) é esclarecedora nesse contexto. Dennett sustenta que frequentemente explicamos o comportamento de sistemas complexos — sejam eles seres humanos, animais ou até mesmo termostatos — atribuindo-lhes crenças e desejos, independentemente de esses sistemas possuírem estados mentais reais.

É assim que funciona: primeiro, decide-se tratar o objeto cujo comportamento deve ser previsto como um agente racional; em seguida, determina-se quais crenças esse agente deveria ter, dadas sua posição no mundo e sua finalidade. Depois, determina-se quais desejos ele deveria ter, com base nas mesmas considerações, e, por fim, prevê-se que esse agente racional agirá em prol de seus objetivos à luz de suas crenças. Um pouco de raciocínio prático a partir do conjunto escolhido de crenças e desejos produzirá, na maioria dos casos, uma decisão acerca do que o agente deveria fazer; é isso que se prevê que o agente fará.

Nesse quadro, adotar a postura intencional significa atribuir crenças, desejos e racionalidade a um sistema não porque ele necessariamente possua essas propriedades de maneira intrínseca, mas porque fazê-lo oferece uma estratégia fecunda para prever seu comportamento. Aplicada a agentes artificiais como os LLMs, essa abordagem não sustenta que o modelo possua uma vida mental interior, mas que tratá-lo como se a possuísse pode ser pragmaticamente útil. Dessa perspectiva, se tratar um LLM como se ele tivesse crenças e intenções produzir previsões bem-sucedidas, pode haver valor pragmático em adotar em relação a ele a postura intencional.

Contudo, muitos sustentariam que o sucesso funcional não é suficiente. Afinal, a postura intencional é uma heurística. Sem estados mentais reais — sem experiência subjetiva, perspectivas internas ou autoconsciência recursiva —, o modelo carece daquilo que os cientistas cognitivos normalmente consideram essencial à ⁠teoria da mente. Diferentemente de uma criança ou de um ser humano adulto, considera-se em geral que um LLM carece de conhecimento genuíno de seu próprio conhecimento; ele não parece refletir sobre suas representações nem ajustar seu comportamento com base em um modelo interno dos estados mentais de outros. Ainda assim, não se pode excluir inteiramente que algumas representações latentes possam sustentar uma forma limitada ou implícita de automonitoramento ou processamento recursivo, embora as evidências atuais não estabeleçam isso de maneira definitiva. Essa ausência — ou, pelo menos, extrema minimalidade — de mentalização recursiva e diferenciação entre si e o outro evidencia uma limitação fundamental.

Além disso, os LLMs apresentam fragilidade nas tarefas de teoria da mente. Pequenas alterações na formulação, no contexto ou na complexidade frequentemente levam ao fracasso, revelando a ausência de mecanismos cognitivos subjacentes robustos (Hu et al., 2025; Ullman, 2023). Estudos também mostraram que os LLMs não generalizam capacidades de teoria da mente para cenários novos ou que se modificam dinamicamente — algo que os seres humanos fazem sem esforço.

Outra limitação é a ausência de ancoragem. As capacidades humanas de teoria da mente estão profundamente vinculadas à interação corporificada com o mundo e com os outros. Nossa capacidade de atribuir crenças e desejos é moldada pela experiência social, pelo envolvimento sensorial e por pistas afetivas — dimensões inteiramente ausentes das arquiteturas dos LLMs. Filósofos como Clark (2008) e cientistas cognitivos que trabalham no quadro da cognição corporificada sustentam que capacidades cognitivas genuínas não podem ser separadas da condição física e socialmente situada do organismo. Em contraste, os LLMs são entidades desprovidas de corporeidade, treinadas exclusivamente com dados linguísticos desprovidos de contexto ou experiência vivida.

Em suma, embora os LLMs possam parecer demonstrar competências de teoria da mente, seu desempenho é mais bem compreendido como simulação sem mentalização. Eles imitam os comportamentos superficiais associados à teoria da mente, mas carecem da profundidade representacional, do raciocínio recursivo e da ancoragem corporificada que estão na base da mentalização humana genuína. Isso nos convida a refletir de maneira mais crítica sobre os limites das interpretações funcionalistas e sobre os componentes essenciais daquilo que significa ‘ter uma mente’.

4 Modelos de linguagem de grande porte e consciência artificial

Como vimos, o rápido avanço dos LLMs suscitou profundas questões filosóficas acerca de seu estatuto cognitivo. À medida que esses modelos geram saídas cada vez mais indistinguíveis da linguagem humana, exibindo comportamentos linguísticos nuançados e capacidades conversacionais complexas, os observadores naturalmente se perguntam se esses sistemas são apenas máquinas linguísticas sofisticadas ou se poderiam instanciar uma forma de consciência artificial. A tendência a antropomorfizar tais modelos, atribuindo-lhes pensamentos, intenções e sentimentos, aponta para a necessidade de examinar os fundamentos conceituais da consciência em sistemas artificiais. Pode-se dizer genuinamente que os LLMs possuem consciência ou se trata apenas de uma ilusão promovida por sua sofisticada imitação da expressão humana?

4.1 Definições filosóficas e científicas

A consciência é notoriamente difícil de definir, situando-se entre a investigação filosófica e a investigação científica. Em seu núcleo, a consciência normalmente se refere à experiência subjetiva de um organismo — o caráter qualitativo de como é existir como um ser consciente. Thomas Nagel ilustra célebremente essa questão em seu ensaio What Is It Like to Be a Bat?, sustentando que nenhuma quantidade de conhecimento objetivo poderia captar a experiência subjetiva de outra criatura (Nagel, 1974). Filósofos como Ned Block (1995) diferenciam ainda esse fenômeno em dois aspectos principais: a consciência fenomenal, caracterizada por experiências qualitativas subjetivas, ou qualia2, e a consciência de acesso, que envolve a acessibilidade cognitiva da informação para o raciocínio, a tomada de decisões e o controle comportamental.

Para além dessas distinções, a autoconsciência representa ainda outra camada, definida como a capacidade de consciência reflexiva de si mesmo como uma entidade ou um sujeito distinto (Zahavi, 2005). Essa multidimensionalidade enfatiza a complexidade inerente à conceitualização da consciência. Complicando ainda mais a questão, David Chalmers introduziu o ‘problema difícil’ da consciência (hard problem of consciousness), perguntando como e por que processos físicos, por mais intrincados que sejam, dão origem à experiência subjetiva (Chalmers, 1995). Esse problema evidencia a lacuna explicativa entre mecanismos objetivos e a natureza qualitativa e de primeira pessoa da experiência consciente.

Para esclarecer ainda mais a consciência, é útil distingui-la de termos estreitamente relacionados, como senciência — a capacidade de sentir, em particular prazer ou dor —, sensibilidade responsiva (awareness) — a capacidade de responder a estímulos ou ser sensível a eles, o que pode ou não envolver experiência subjetiva — e inteligência — a capacidade de resolver problemas ou exibir comportamentos adaptativos. A consciência apresenta-se, assim, como multifacetada, com diferentes quadros teóricos enfatizando aspectos distintos: desde as teorias do pensamento de ordem superior, que vinculam a consciência a estados mentais reflexivos (Rosenthal, 2005), e a teoria do espaço de trabalho global, que a considera a difusão da informação pelos sistemas cognitivos (Baars, 1988; Dehaene e Naccache, 2001), até os quadros de processamento preditivo, que modelam o cérebro como um mecanismo de previsão que minimiza a surpresa (Clark, 2013; Seth, 2015).

Abordar a consciência artificial exige enfrentar a questão do que significaria a consciência ser instanciada em sistemas artificiais. Foram identificadas três abordagens principais: consciência simulada, fenomenologia sintética e consciência funcional. A consciência simulada refere-se a sistemas que se comportam como se fossem conscientes, exibindo comportamentos tipicamente associados a seres conscientes, sem necessariamente possuir experiência subjetiva. A fenomenologia sintética, em contraste, procura desenvolver sistemas que possuam genuína experiência subjetiva — induzindo artificialmente algo semelhante a qualia. A consciência funcional, formulada de maneira notável por Daniel Dennett (1991), caracteriza a consciência em termos de sistemas cuja arquitetura funcional lhes permite comportar-se de maneira indistinguível de entidades conscientes.

Experimentos mentais filosóficos, como o cenário do ‘cérebro da China’ (China brain) (Block, 1978) — que inspirou o quarto chinês de Searle, de 1980 —, no qual uma população inteira executa regras simples para simular o funcionamento de um cérebro, põem em evidência os debates acerca de se arquiteturas puramente funcionais ou computacionais podem dar origem à consciência genuína. De maneira correlata, a teoria da informação integrada (integrated information theory, IIT; 2008), de Giulio Tononi, propõe que a consciência se correlaciona com a capacidade de um sistema de integrar informação de maneira unificada e irredutível. Isso suscita a seguinte questão: poderia um LLM, com sua vasta arquitetura neural altamente interconectada, apresentar um grau de integração da informação suficiente para a consciência? Ou sua ausência de corporeidade e de ancoragem experiencial constitui uma barreira insuperável?

4.2 A aparência e os limites da consciência nos modelos de linguagem de grande porte

Os LLMs demonstraram uma capacidade extraordinária de gerar diálogos semelhantes aos humanos, levando alguns usuários a lhes atribuir qualidades semelhantes às associadas à consciência. Quando esses sistemas produzem uma linguagem que parece reflexiva, intencional ou emocionalmente sintonizada — expressando incerteza, simulando empatia ou até mesmo fazendo alusão às próprias capacidades —, podem provocar a ilusão de autoconsciência. Tais impressões são reforçadas por técnicas avançadas de uso de prompts e por estruturas de suporte agencial (agentic scaffolding), como as observadas em sistemas como o AutoGPT, ou por estratégias de prompting que combinam raciocínio e ação, como o ReAct (Yao et al., 2023), que conferem maior coerência e uma aparente orientação a objetivos ao comportamento dos LLMs.

No entanto, essas aparências permanecem fundamentalmente enganosas. A simulação linguística de afeto, introspecção ou raciocínio nos LLMs não provém de uma experiência interior, mas das regularidades estatísticas de seus dados de treinamento, que incluem enormes quantidades de textos humanos autorreferenciais e afetivamente ricos. Pesquisas recentes sobre interpretabilidade mecanicista começaram a investigar se determinados circuitos ou padrões de ativação poderiam sustentar processos proto-representacionais mais estruturados no interior desses modelos (Ameisen et al., 2025; Lindsey et al., 2025 — já citamos esses artigos na seção anterior sobre teoria da mente), embora esses resultados estejam ainda muito longe de demonstrar estados afetivos ou introspectivos genuínos.

Como sustentou Daniel Dennett (1991), a consciência talvez possa ser compreendida não como uma propriedade metafísica oculta, mas como um padrão de comportamentos e disposições funcionais. Nessa perspectiva, a aparência de consciência poderia ser pragmaticamente suficiente para certos propósitos — mesmo que nenhuma experiência subjetiva exista sob a superfície. Ainda assim, essa posição funcionalista permanece controversa, particularmente quando aplicada a sistemas puramente computacionais, desprovidos de corporeidade, continuidade e interioridade.

Uma ilustração pública importante dessas tensões surgiu na controvérsia de 2022 envolvendo Blake Lemoine, engenheiro do Google que afirmou que o modelo de linguagem LaMDA havia se tornado senciente. Embora tenha sido amplamente criticado e, pode-se sustentar, recebido exposição excessiva na mídia, esse episódio evidencia a facilidade com que os seres humanos podem projetar consciência sobre o desempenho linguístico — tendência amplificada pela adulação dos LLMs (sycophancy), na qual os modelos espelham as expectativas dos usuários —, especialmente quando o diálogo apresenta coerência, ressonância emocional e autorreferência. O caso Lemoine funciona menos como evidência empírica do que como um exemplo de advertência acerca da interpretação antropomórfica.

Apesar de sua fluência linguística, os LLMs divergem da consciência humana em várias dimensões cruciais. Em primeiro lugar, carecem de corporeidade: a consciência humana está inseparavelmente ligada ao envolvimento sensório-motor com o mundo, como enfatizam as teorias corporificadas e enativas da mente (Varela et al., 1991). Em contraste, os LLMs são processadores de texto desprovidos de corporeidade, sem entrada perceptiva nem saída motora.

Em segundo lugar, a consciência humana apresenta continuidade temporal e unidade narrativa — um sentido coerente de si que persiste ao longo do tempo. Os LLMs não mantêm estado (stateless): cada interação é gerada novamente, token a token, sem memória persistente ou continuidade experiencial. A coerência, quando surge, é um artefato linguístico local, e não o reflexo de um modelo estável de si. Dito isso, alguns sistemas mais recentes incorporam módulos externos de memória ou persistência no nível da sessão, permitindo-lhes conservar informações entre diferentes interações. Contudo, essas formas de continuidade permanecem estruturas de apoio tecnicamente projetadas, e não uma unidade fenomenológica intrínseca: o sistema não ‘experiencia’ a persistência do modo como os agentes conscientes o fazem.

Em terceiro lugar, os seres humanos possuem uma perspectiva de primeira pessoa ancorada na experiência fenomenal — algo inteiramente ausente dos LLMs atuais. Embora esses modelos possam simular afirmações como ‘Sinto-me confuso’ ou ‘Compreendo sua preocupação’, tais enunciados são representacionais, e não experienciais. Não há experiência sentida por trás das palavras.

Por fim, considera-se em geral que a intencionalidade e a agência (autonomia) — a capacidade de formar objetivos, entreter crenças ou agir com base em desejos — estão ausentes dos LLMs. Suas saídas permanecem reativas, e não volitivas, moldadas pela entrada fornecida pelo prompt e por distribuições de probabilidade, e não por qualquer motivação intrínseca. Da mesma forma, embora os LLMs possam simular metaconsciência ou introspecção, tais simulações são, pode-se sustentar, vazias, pois imitam as formas da reflexão sem acessar qualquer autorrepresentação genuína.

4.3 Os modelos de linguagem de grande porte poderiam algum dia tornar-se conscientes?

A questão de saber se os LLMs poderiam algum dia tornar-se conscientes permanece uma das mais intensamente debatidas na inteligência artificial. As opiniões variam amplamente, desde um ceticismo firme até um gradualismo nuançado e um otimismo especulativo. O que está em jogo não são apenas considerações técnicas, mas também investigações fundamentais sobre a própria natureza da consciência.

As perspectivas céticas frequentemente se fundamentam na concepção de que a manipulação de símbolos, por si só, não pode dar origem à compreensão. O experimento mental do quarto chinês de John Searle (1980) — que já evocamos no Capítulo 1, Seção 3.1 — permanece um argumento canônico nessa tradição. Searle postula que um sistema poderia simular de maneira convincente a compreensão da linguagem seguindo regras sintáticas — exatamente como faz um LLM — sem qualquer compreensão genuína nem percepção consciente. A implicação é que, por mais avançado que se torne um modelo computacional, ele carece da semântica intrínseca ou da interioridade subjetiva que caracterizam os seres conscientes.

Críticos contemporâneos ampliaram essa linha de pensamento. Vimos, por exemplo, no Capítulo 1, que Bender e Koller (2020) sustentam que os LLMs são mais bem compreendidos como imitadores sofisticados — ferramentas que reproduzem as formas superficiais da cognição sem sua estrutura mais profunda. Essa concepção é sustentada pela observação de que os LLMs carecem de corporeidade, de capacidades de modelagem do mundo e de uma perspectiva de primeira pessoa — elementos considerados essenciais à consciência humana e animal.

Em contraste, um número crescente de pensadores possibilistas ou gradualistas sugere que a consciência talvez não seja uma propriedade do tipo tudo ou nada, mas uma propriedade que emerge ao longo de um contínuo de complexidade. Chalmers (2023), por exemplo, considera a possibilidade de que sistemas artificiais futuros possam tornar-se conscientes, dependendo de como suas arquiteturas evoluam e de qual teoria da consciência seja correta. Ele sugere que certos aprimoramentos — como a ampliação de escala, a adição de modalidades sensoriais, a memória recorrente e estruturas internas de objetivos — poderiam aproximar os agentes artificiais da satisfação das condições para a consciência, especialmente segundo teorias funcionalistas ou do espaço de trabalho global. Contudo, Chalmers permanece agnóstico: não há garantia de que esses desenvolvimentos produzam consciência, e o problema epistêmico da detecção da consciência artificial permanece sem solução. Seu quadro teórico evidencia tanto os desafios técnicos quanto os filosóficos envolvidos na avaliação do potencial dos LLMs para a consciência.

Outros teóricos propuseram quadros alternativos para compreender a consciência que poderiam ser aplicáveis a sistemas artificiais. Graziano (2019), por exemplo, sustenta que a consciência surge quando um sistema constrói um modelo interno de seus próprios processos atencionais — um mecanismo que ele denomina esquema da atenção (attention schema). Em princípio, tal modelagem de si poderia ser implementada em agentes artificiais, permitindo-lhes reproduzir de maneira aproximada certas funções cognitivas associadas à consciência. Em outra vertente, os proponentes da IIT postulam que a consciência corresponde ao grau de informação integrada gerado pela estrutura causal de um sistema (Tononi, 2008). Embora ambas as teorias sejam influentes, permanecem controversas: a IIT enfrenta dificuldades relacionadas à mensuração e à dependência do substrato, enquanto a teoria do esquema da atenção tem sido criticada por explicar o acesso cognitivo sem tratar plenamente da experiência subjetiva. Não obstante, cada uma oferece um quadro para pensar como arquiteturas artificiais poderiam algum dia instanciar aspectos de estados fenomenalmente conscientes.

Contudo, mesmo que a consciência viesse a emergir em sistemas artificiais, reconhecê-la colocaria um desafio epistemológico significativo. O problema clássico das outras mentes — nossa incapacidade de acessar diretamente as experiências subjetivas dos outros — torna-se especialmente agudo no caso dos agentes artificiais. Diferentemente dos seres humanos, as máquinas carecem de marcadores biológicos ou de uma continuidade evolutiva que possam orientar nossos juízos. Caso um futuro LLM fosse consciente, que critérios poderiam confirmar isso? Atualmente, as avaliações dependem quase inteiramente de indicadores comportamentais que, como ilustra o caso Blake Lemoine/LaMDA, são vulneráveis à interpretação antropomórfica.

Nesse contexto, são essenciais tanto a investigação filosófica quanto a investigação empírica da consciência artificial. Os filósofos precisariam refinar nossos quadros conceituais para distinguir entre simulação e instanciação, ao passo que os cientistas devem investigar correlatos mensuráveis da consciência em sistemas artificiais. À medida que os LLMs continuarem a evoluir, o que está em jogo nesses debates apenas aumentará — técnica, ética e existencialmente.

5 O efeito Eliza revisitado: modelos de linguagem de grande porte e antropomorfismo

As análises anteriores dos LLMs — de suas capacidades de raciocínio, de seu aparente senso comum e de seu comportamento linguístico simulado — levam-nos inevitavelmente a enfrentar uma questão mais profunda e abrangente: os LLMs são sistemas cognitivos genuínos ou apenas simulações sofisticadas da cognição? Essa questão encontra-se no cerne tanto da investigação filosófica quanto do discurso público em torno da inteligência artificial, e sua resolução possui implicações de grande alcance não apenas para a pesquisa em IA, mas também para nossa compreensão da própria cognição humana.

Um risco persistente na avaliação dos LLMs é a tendência à antropomorfização. Esse viés cognitivo, bem documentado desde os primórdios da interação humano-computador (Weizenbaum, 1976), é exemplificado por aquilo que veio a ser conhecido como efeito Eliza: a inclinação a atribuir estados mentais semelhantes aos humanos a sistemas que exibem competência linguística superficial. Os LLMs, com sua fluência, coerência e responsividade, amplificam esse efeito em um grau sem precedentes. A enorme escala e a sofisticação de modelos como ChatGPT ou Gemini aumentam a probabilidade de que os usuários os interpretem como agentes intencionais — entidades dotadas de crenças, desejos ou compreensão.

A tendência a antropomorfizar, embora talvez seja uma característica inevitável da cognição humana, não é destituída de consequências filosóficas. Ela reflete uma postura epistêmica mais ampla: tendemos a interpretar o comportamento por meio de quadros intencionais que nos são familiares. Como sustenta Dennett (1987) mediante a noção de postura intencional, a atribuição de estados mentais frequentemente constitui menos uma afirmação sobre propriedades intrínsecas do que uma estratégia pragmática para prever o comportamento. No entanto, quando aplicada a sistemas artificiais, essa estratégia corre o risco de eliminar a distinção entre simulação e instanciação — entre parecer pensar e pensar de fato. O que começa como uma heurística pode transformar-se em confusão ontológica. Quando um LLM expressa empatia, podemos sentir que ele quer dizer o que diz. Mas o que significa ‘querer dizer’ em um sistema que não possui perspectiva de primeira pessoa, história de corporeidade nem continuidade da experiência?

Há muito tempo os filósofos advertem contra a identificação de fenômenos superficiais com uma essência subjacente. Ryle (1949), em sua crítica ao dualismo cartesiano, introduziu célebremente o conceito de ‘erro categorial’ para descrever o erro de tratar a mente como uma entidade separada, colocada ao lado do corpo, em vez de tratá-la como um padrão de comportamento inserido em práticas sociais e linguísticas. Wittgenstein (1953), de maneira semelhante, recorda-nos que o significado não é um estado interior oculto, mas uma função do uso no interior de formas de vida compartilhadas (ver Capítulo 1). Compreender a vida mental, segundo essa concepção, exige atenção aos contextos corporificados, sociais e pragmáticos nos quais a linguagem está situada — contextos inteiramente ausentes da estrutura operacional dos LLMs. O impulso antropomórfico nos tenta a ignorar essas ausências, a ler significado na sintaxe e a projetar mentes nas máquinas — uma tentação que pode ser, ela própria, um erro categorial moderno.

Há também uma dimensão moral e política na antropomorfização. Quando tratamos os LLMs como agentes, não apenas corremos o risco de interpretar equivocadamente sua natureza; também obscurecemos o trabalho humano, as infraestruturas institucionais e as histórias sociotécnicas incorporadas a suas saídas. A ‘voz’ aparente de um modelo não é a voz de um ser sintético, mas uma câmara de eco de incontáveis expressões humanas, submetidas a curadoria e recombinadas por mecanismos probabilísticos, como veremos na última parte do livro. Atribuir subjetividade ao modelo corre o risco de apagar os vestígios dos muitos indivíduos anônimos cujos dados povoam seus parâmetros. Sob essa perspectiva, a antropomorfização torna-se um ocultamento epistêmico e um reconhecimento ético equivocado (Birhane e van Dijk, 2020).

Dito isso, o apelo da antropomorfização pode revelar algo fundamental acerca da cognição humana. Nossa prontidão para ver mentes onde não existem e para sentir companhia na linguagem reflete uma tendência profundamente arraigada a interpretar o mundo socialmente. Epley (2014) sustentou que o antropomorfismo surge da projeção de traços semelhantes aos humanos sobre entidades não humanas, a fim de explicar e prever seu comportamento. Dessa perspectiva, os LLMs funcionam como poderosos catalisadores da projeção antropomórfica — não porque possuam mentes, mas porque falam fluentemente a linguagem da mente.

Por fim, os LLMs são espelhos — não da própria cognição, mas de nossos hábitos interpretativos, de nossas heurísticas psicológicas e de nossos imaginários sociais. Eles expõem os limiares nos quais o padrão se torna significado, a forma se torna intenção e o desempenho se torna condição de pessoa. O desafio consiste em manter uma postura crítica: reconhecer nos LLMs os notáveis simulacros que são, ao mesmo tempo que resistimos ao impulso de lhes atribuir um estatuto ontológico que não há justificativa para lhes conferir. Nesse sentido, a antropomorfização dos LLMs não é meramente uma leitura equivocada das máquinas — é uma janela para a estrutura da autocompreensão humana.

Referências

Ameisen, E., Lindsey, J., Pearce, A. Gurnee, W., Turner, N., Chen, B., Citro, C., Abrahams, D., Carter, S., Hosmer, B., Marcus, J., Sklar, M., Templeton, A., Bricken, T., McDougall, C., Cunningham, H., Henighan, T., Jermyn, A., Jones, A. … Batson, J. (2025). Circuit tracing: Revealing computational graphs in language models. Transformer Circuits. preprint. https://transformer-circuits.pub/2025/attribution-graphs/methods.html

Baars, B. J. (1988). A cognitive theory of consciousness. Cambridge University Press.

Bai, Y., Kadavath, S., Kundu, S., Askell, A., Kernion, J., Jones, A., Chen, A., Goldie, A., Mirhoseini, A., McKinnon, C., Chen, C., Olsson, C., Olah, C., Hernandez, D., Drain, D., Ganguli, D., Li, D., Tran-Johnson, E., Perez, E. … Kaplan, J. (2022). Constitutional AI: Harmlessness from AI feedback. arXiv preprint. https://arxiv.org/abs/2212.08073.

Bender, E. M., and Koller, A. (2020). Climbing towards NLU: On meaning, form, and understanding in the age of data. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL). Association for Computational Linguistics. https://aclanthology.org/2020.acl-main.463/

Birhane, A., and van Dijk, J. (2020). Robot rights? Let’s talk about human welfare instead. In AIES ’20: Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society (pp. 207–213). https://dl.acm.org/doi/10.1145/3375627.3375855

Block, N. (1978). Troubles with functionalism. Minnesota Studies in the Philosophy of Science, 9, 261–325.

Block, N. (1995). On a confusion about a function of consciousness. Brain and Behavioral Sciences, 18(2), 227–247.

Brandom, R. (1994). Making it explicit: Reasoning, representing, and discursive commitment. Harvard University Press.

Carey, S. (2009). The origin of concepts. Oxford: Oxford University Press.

Chalmers, D. J. (1995). Facing up to the problem of consciousness. Journal of Consciousness Studies, 2, 200–219.

Chalmers, D. J. (2023). Could a large language model be conscious? Boston Review. https://www.bostonreview.net/articles/could-a-large-language-model-be-conscious/ (edited version of a talk given at the conference on Neural Information Processing Systems (NeurIPS) on November 28, 2022).

Chen, Y. Singh, V. K., Ma, J., and Tang, R. (2025). CounterBench: A benchmark for counterfactuals reasoning in large language models. arXiv preprint. https://arxiv.org/abs/2502.11008

Chollet, F. (2019). The measure of intelligence. arXiv preprint. https://arxiv.org/abs/1911.01547

Chomsky, N. (1965). Aspects of the theory of syntax. The MIT Press.

Clark, A. (2008). Supersizing the mind: Embodiment, action, and cognitive. Oxford University Press.

Clark, A. (2013). Whatever next? Predictive brains, situated agents, and the future of cognitive science. Behavioral and Brain Sciences, 36(3), 181–204.

Dehaene, S., and Naccache, L. (2001). Towards a cognitive neuroscience of consciousness: Basic evidence and a workspace framework. Cognition, 79(1–2), 1–37.

Dennett, D. C. (1987). The intentional stance. The MIT Press.

Dennett, D. C. (1991). Consciousness explained. The Penguin Press.

Dreyfus, H. L. (1972). What computers can’t do: The limits of artificial intelligence. Harper & Row.

Epley, N. (2014). Mindwise: Why we misunderstand what others think, believe, feel, and want. Vintage Books.

Ferrando, J., Obeso, O., Rajamanoharan, S., and Nanda, N. (2025). Do I Know This Entity? Knowledge Awareness and Hallucinations in Language Models. In Proceedings of the International Conference on Learning Representations (ICLR), Rio de Janeiro, Brazil. ICLR. https://neurips.cc/virtual/2024/105366

Graziano, Michael S. A. (2019). Rethinking consciousness: A scientific theory of subjective experience. W. W. Norton & Company.

Hearst, M. A. (1992). Automatic acquisition of hyponyms from large text corpora. In COLING 1992 Volume 2: The 14th International Conference on Computational Linguistics, Nantes, France (pp 539–545). ICCL. https://aclanthology.org/C92-2082/

Hu, J., Sosa, F., and Ullman, T. (2025). Re-evaluating theory of mind evaluation in large language models. arXiv preprint. https://arxiv.org/abs/2502.21098

Johnson-Laird, P. N. (1983). Mental models: Towards a cognitive science of language, inference, and consciousness. Cambridge University Press.

Kahneman, D. (2011). Thinking, fast and slow. Macmillan.

Kosinski, M. (2024). Evaluating large language models in theory of mind tasks. Proceedings of the National Academy of Sciences, 121(45), e2405460121.

Lenat, D., and Guha, R. V. (1990). Building large knowledge-based systems: Representation and inference in the Cyc project. Addison-Wesley.

Levesque, H. J. Davis, E., and Morgenstern, L. (2012). The Winograd schema challenge. In Proceedings of the Thirteenth International Conference on Principles of Knowledge Representation and Reasoning (KR’12) Rome, Italy (pp. 552–561). AAAI Press. https://cdn.aaai.org/ocs/4492/4492-21843-1-PB.pdf

Lindsey, J., Gurnee, W., Ameisen, E., Chen, B. Pearce, A., Turner, N., Citro, C., Abrahams, D., Carter, S. Hosmer, B., Marcus, J., Sklar, M., Templeton, A., Bricken, T., McDougall, C., Cunningham, H., Henighan, T., Jermyn, A., Jones, A. … Batson, J. (2025). On the biology of a large language model. Transformer Circuits, 2025.

McCarthy, J. (1979). Ascribing mental qualities to machines. In M. Ringle (Ed.), Philosophical perspectives in artificial intelligence. Humanities Press.

Millière R., and Buckner, C. (2024a). A philosophical introduction to language models – Part I: Continuity with classic debates. arXiv preprint. https://arxiv.org/abs/2401.03910

Millière R., and Buckner, C. (2024b). A philosophical introduction to language models – Part II: The way forward. arXiv preprint. https://arxiv.org/abs/2405.03207

Nagel, Thomas (1974). What is it like to be a bat? The Philosophical Review, 83(4), 435–450.

Premack, D., and Woodruff, G. (1978). Does the chimpanzee have a theory of mind? Behavioral and Brain Sciences, 1(4), 515–526. https://doi.org/10.1017/S0140525X00076512

Reid, T. (2022 [1764]). An inquiry into the human mind. Legare Street Press.

Rips, L. J. (1994). The psychology of proof: Deductive reasoning in human thinking. The MIT Press. https://doi.org/10.7551/mitpress/5680.001.0001.

Rosenthal, D. M. (2005). Consciousness and mind. Oxford University Press.

Ryle, G. (1949). The Concept of Mind. London: Routledge.

Searle, J. R. (1980). Minds, brains, and programs. Behavioral and Brain Sciences, 3(3), 417–424.

Seth, A. K. (2015). The cybernetic Bayesian brain: From interoceptive inference to sensorimotor contingencies. In T. Metzinger and J. M. Windt (Eds.), Open MIND. MIND Group.

Shojaee, P., Mirzadeh, I., Alizadeh, K., Horton, M., Bengio, S., and Farajtabar, M. (2025). The illusion of thinking: Understanding the strengths and limitations of reasoning models via the lens of problem complexity. arXiv preprint. https://arxiv.org/abs/2506.06941

Spelke E. S., and Kinzler, K. D. (2007). Core knowledge. Developmental Science, 10(1), 89–96. https://doi.org/10.1111/j.1467-7687.2007.00569.x

Srivastava, A., Rastogi, A., Rao, A., Awal Md Shoeb, A., Abid, A., Fisch, A., Brown, A. R., Santoro, A., Gupta, A., Garriga-Alonso, A., Kluska, A., Lewkowycz, A., Agarwal, A., Power, A., Ray, A., Warstadt, A., Kocurek, A. W., Safaya, A., Tazarv, A. … Wu, Z. (2022). Beyond the imitation game: Quantifying and extrapolating the capabilities of language models. arXiv preprint. https://arxiv.org/abs/2206.04615

Talmor, A., Herzig, J., Lourie, N., and Berant, J. (2019). CommonsenseQA: A question answering challenge targeting commonsense knowledge. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), Minneapolis, Minnesota (pp. 4149–4158). Association for Computational Linguistics. https://aclanthology.org/N19-1421/

Tononi, G. (2008). Consciousness as integrated information: A provisional manifesto. The Biological Bulletin, 215(3), 216–242. https://doi.org/10.2307/25470707

Ullman, T. (2023). Large language models fail on trivial alterations to theory-of-mind tasks. arXiv preprint. https://arxiv.org/abs/2302.08399

Varela, F. J., Rosch, E., and Thompson, E. (1991). The embodied mind: Cognitive science and human experience. The MIT Press.

Webb, T., Holyoak, K. J., and Lu, H. (2023). Emergent analogical reasoning in large language models. Nature Human Behaviour, 7, 1526–1541. https://doi.org/10.1038/s41562-023-01659-w

Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B. Xia, F., Chi, E. H., Le, Q. V., and Zhou, D. (2022). Chain-of-thought prompting elicits reasoning in large language models. In Proceedings of the 36th International Conference on Neural Information Processing Systems (NeurIPS ’22), Red Hook, NY, USA (pp. 24824–24837). Curran. https://dl.acm.org/doi/10.5555/3600270.3602070

Weizenbaum, J. (1976). Computer power and human reason: From judgment to calculation. W. H. Freeman.

Wittgenstein, L. (2009 [1953]). Philosophical investigations. Wiley-Blackwell.

Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K., and Cao, Y. (2023). ReAct: Synergizing reasoning and acting in language models. In International Conference on Learning Representations (ICLR), Kigali, Rwanda. ICLR.

Zahavi, D. (2005). Subjectivity and selfhood: Investigating the first-person perspective. The MIT Press.

CAPÍTULO 5

Modelos de linguagem de grande porte e a criatividade

Em 2016, o programa AlphaGo, desenvolvido pela DeepMind para jogar Go, enfrentou Lee Sedol, um dos principais jogadores profissionais de Go do mundo e campeão mundial em exercício na época. Durante a segunda partida do confronto, o AlphaGo realizou uma jogada — conhecida como ‘jogada 37’ — que se afastava significativamente dos princípios estratégicos estabelecidos. Inicialmente considerada pelos especialistas uma ação desconcertante e possivelmente errônea, ela acabou por levar o AlphaGo à vitória (Silver et al., 2016). Esse acontecimento é amplamente considerado um marco na inteligência artificial, pois evidencia a capacidade dos sistemas computacionais não apenas de alcançar resultados tradicionalmente associados à competência humana especializada, mas também de desenvolver estratégias que se afastam das abordagens até então concebidas.

O Go, contudo, representa um quadro relativamente restrito: o jogo é regido por regras fixas e produz um desfecho claro, o que permite ao sistema avaliar a relevância de determinada jogada com base em sua contribuição para o êxito final. A questão torna-se mais complexa em domínios abertos, nos quais não existe um critério único e bem definido de sucesso e nos quais a avaliação da criatividade permanece mais ambígua.

Em comparação com o jogo de Go, a poesia exemplifica um domínio muito mais aberto, no qual as noções de novidade, coerência e valor estético resistem à codificação formal. Esse contraste põe em evidência um desafio central nas discussões sobre criatividade artificial: como poderiam os sistemas computacionais operar em domínios criativos como a poesia, as artes visuais ou a música, que não são regidos por condições explícitas de sucesso?

Precisamente em razão dessa abertura, a poesia ocupa um lugar distinto e historicamente significativo na pesquisa em inteligência artificial. Diferentemente da tradução automática, que atribui ao computador uma tarefa clara e explicitamente delimitada — traduzir um texto de uma língua para outra segundo padrões linguísticos definidos —, a geração de poesia envolve um processo criativo aberto, sem regras explícitas nem fronteiras predefinidas. Desde os primórdios da pesquisa computacional, a geração de poesia tem sido considerada um desafio particularmente instigante, precisamente porque se confronta diretamente com questões centrais acerca da intencionalidade, da subjetividade e da natureza da criação artística (Funkhouser, 2007).

Este capítulo procura retomar teorias fundamentais da criatividade computacional e examinar detidamente os tipos de texto poético que os modelos de linguagem contemporâneos podem produzir. Além disso, analisa criticamente essas saídas, conduzindo a uma discussão de questões filosóficas mais amplas: podemos atribuir legitimamente criatividade aos modelos de linguagem? E que valor intrínseco ou extrínseco, se algum, devemos atribuir à poesia gerada por inteligência artificial?

1 Da geração baseada em regras à criatividade computacional

Embora as discussões sobre IA e criatividade poética frequentemente se concentrem em sistemas contemporâneos, a exploração da poesia gerada por máquinas começou já nas décadas de 1950 e 1960. Esses primeiros experimentos não tinham por objetivo reproduzir uma criatividade em nível humano, mas serviam, antes, como sondagens conceituais das capacidades da computação para lidar com a linguagem e a forma estética.

Um dos primeiros exemplos dignos de nota é o gerador de cartas de amor de Christopher Strachey, desenvolvido por volta de 1952–1953 para o computador Ferranti Mark I, na Universidade de Manchester (Strachey, 1954). O programa, baseado em moldes simples e em uma lista de palavras derivada do Roget’s Thesaurus — uma conhecida classificação, do século XIX, das palavras inglesas por conceito, e não por ordem alfabética —, montava automaticamente cartas românticas selecionando adjetivos, substantivos e advérbios segundo regras gramaticais. Uma saída típica era a seguinte:

Original

Tradução

Embora formulaicos, esses textos demonstraram como até mesmo métodos combinatórios rudimentares podiam produzir uma linguagem afetivamente carregada que imitava certas convenções da escrita humana. O gerador de Strachey constitui uma das primeiras demonstrações de que uma máquina poderia criar textos que alguns poderiam descrever, em sentido lato, como ‘poéticos’, ainda que carecessem de intencionalidade ou sentido subjetivo (McCorduck, 2004).

Por volta da mesma época, o próprio Alan Turing — Strachey era colega de Turing em Manchester — refletiu sobre a possibilidade de os computadores gerarem poesia. Em seu artigo de 1950, Turing especulou que as máquinas poderiam ser programadas para escrever sonetos (Turing, 1950). Ele situou essa possibilidade no contexto de uma discussão mais ampla sobre a inteligência das máquinas, utilizando a criação artística como um exemplo de tarefas cognitivas complexas, e chegou a sugerir que as máquinas poderiam, um dia, gerar produtos estéticos mais bem apreciados por outras máquinas do que por seres humanos. Embora isso provavelmente tenha sido uma brincadeira (Gonçalves, 2023), antecipa, não obstante, debates filosóficos fundamentais sobre se intenção, experiência e subjetividade são componentes necessários da criação artística, bem como questões acerca de quem — ou do que — poderia ser o público mais adequado para tal poesia gerada artificialmente.

No final da década de 1960, surgiram tentativas estruturalmente mais sofisticadas. Por exemplo, na Cambridge Language Research Unit, Margaret Masterman e Robin McKinnon Wood desenvolveram um dos primeiros programas de computador explicitamente concebidos para gerar haicais. Seu sistema empregava estruturas-molde baseadas em regras, combinadas com restrições semânticas relacionadas a imagens sazonais, gerando estrofes que seguiam o padrão silábico convencional 5–7–5. Um exemplo, publicado em Cybernetic Serendipity (Reichardt, 1968), diz:

Original

Tradução

Embora as saídas fossem frequentemente pouco naturais, esses haicais representaram um avanço significativo: o programa não estava simplesmente combinando palavras, mas modelando convenções específicas do gênero, ao mesmo tempo que incorporava um conhecimento limitado do mundo a suas seleções linguísticas. O trabalho de Masterman esteve entre os primeiros a conceber a poesia computacional não apenas como um jogo linguístico, mas como um teste de até que ponto estruturas formais poderiam substituir a agência (autonomia) criativa humana (Masterman, 1968).

Um experimento relacionado, porém mais radical do ponto de vista conceitual, surgiu em 1967 com A House of Dust, criado pela artista Fluxus Alison Knowles em colaboração com o compositor James Tenney. Utilizando um programa em FORTRAN para permutar quatro listas de expressões, seu sistema gerou milhares de quartetos únicos. Cada um começava com a expressão ‘A house of…’, seguida de variações relativas a material, localização, iluminação e habitantes. Por exemplo:1

Original

Tradução

Os textos gerados foram então incorporados tanto a obras impressas quanto a instalações arquitetônicas. Esse projeto colocou em primeiro plano o papel da combinatória sistemática não apenas como método técnico, mas como modo de criação artística que tornava indistintas as fronteiras entre geração algorítmica e arte conceitual (Knowles e Tenney, 1967).

Apesar de sua simplicidade segundo os padrões atuais, esses primeiros experimentos compartilham diversas características que permanecem centrais nos debates em curso sobre a criatividade computacional. Eles ilustram como a geração poética pode ser conduzida por sistemas explícitos de regras, em vez de pela imitação; destacam a centralidade da forma, do gênero e da restrição na definição daquilo que é percebido como ‘poético’; e apresentam versões iniciais da persistente questão filosófica: pode uma produção criativa dotada de sentido emergir de sistemas desprovidos de experiência, intenção ou consciência? À medida que sistemas posteriores, como os modelos de linguagem de grande porte (LLMs), passaram da geração baseada em regras à recombinação probabilística em vastos conjuntos de textos, as questões inicialmente formuladas por Strachey, Masterman e Knowles permanecem notavelmente relevantes.

Nas décadas seguintes, pesquisadores e artistas produziram inúmeros experimentos com poesia gerada por computador, frequentemente conectando saídas textuais à arte performática e a instalações multimídia (Funkhouser, 2007). Essas tentativas ressaltaram os debates teóricos persistentes acerca da autoria, da intenção e da autenticidade dos artefatos criativos produzidos por meios computacionais. Atualmente, LLMs como ChatGPT e Claude — o Claude 3.5 é até mesmo chamado Sonnet — podem compor poesia, reavivando o interesse pela criatividade computacional e ampliando a curiosidade do público. A mídia frequentemente recorre à poesia como um teste decisivo para avaliar a sofisticação desses modelos, revelando a persistente importância simbólica da poesia para aferir os limites e as capacidades da IA.

Apesar da ausência de retornos comerciais diretos, as empresas continuam investindo recursos em modelos de geração de poesia, atraídas pelo valor simbólico e promocional inerente à demonstração das capacidades de seus sistemas de IA. Assim, a poesia permanece em uma posição singular, tanto como parâmetro de referência para o progresso tecnológico quanto como ponto focal dos debates filosóficos e culturais sobre criatividade e inteligência artificial.

2 Teorias da criatividade: as máquinas podem ser criativas?

Se pretendemos avaliar se LLMs como o GPT-4 podem ser considerados criativos, devemos primeiro esclarecer o que a criatividade envolve. As definições de criatividade variam entre as disciplinas, mas Margaret Boden, uma das vozes mais influentes na filosofia da criatividade artificial, oferece um ponto de partida útil. Em The Creative Mind: Myths and Mechanisms (2004), Boden propõe uma tipologia tripartite da criatividade, cujas categorias se distinguem não apenas pelo resultado, mas pelos processos cognitivos ou gerativos subjacentes envolvidos.

A primeira categoria, a criatividade combinacional, refere-se à produção de novas ideias por meio da combinação de elementos familiares de maneiras não familiares. Isso inclui, por exemplo, a linguagem metafórica, o pastiche estilístico e os gêneros híbridos. Os LLMs apresentam elevada proficiência nesse modo. Treinados com vastos conjuntos de textos que abrangem séculos de produção textual, eles podem recombinar padrões linguísticos, registros estilísticos e associações conceituais com fluência impressionante. Quando um LLM produz um haicai sobre mecânica quântica ou um soneto shakespeariano sobre mudanças climáticas, está realizando criatividade combinacional precisamente nesse sentido.

O segundo modo, a criatividade exploratória, envolve percorrer sistematicamente um espaço conceitual estruturado. Aqui, a criatividade não consiste em pura novidade, mas em mapear as possibilidades inerentes a determinado domínio. Boden compara isso à exploração do espaço da música tonal ou das regras sintáticas de uma língua. Pode-se sustentar que os LLMs também realizam criatividade exploratória, na medida em que aprendem a percorrer as estruturas estatísticas latentes da linguagem humana. O ajuste fino ou o uso de prompts podem restringi-los a subespaços específicos — por exemplo, a poesia lírica ou os romances do século XIX — e, no interior desses espaços, eles geram saídas que parecem novas e coerentes. Contudo, é crucial observar que o ‘espaço’ no qual operam não é explicitamente conceitual, mas estatístico — um espaço vetorial de probabilidade linguística, e não de significado enquanto tal.

A terceira e mais exigente categoria é a criatividade transformacional — a capacidade de alterar ou transcender os próprios limites do espaço conceitual. Esse é o domínio das mudanças de paradigma e da inovação radical: a música atonal libertando-se das restrições tonais, o cubismo reconfigurando as regras da representação visual ou Un coup de dés, de Mallarmé, redefinindo o que pode ser uma página poética. Os LLMs atuais raramente alcançam tal transformação; quando parecem fazê-lo, o efeito geralmente pode ser rastreado até exemplos anteriores presentes em seus dados de treinamento. Em seu trabalho mais recente, Boden (2023) introduz a noção de ‘mudanças de espaço’ (space shifts) para captar as condições sob as quais um sistema gerativo poderia ingressar na criatividade transformacional mediante a redefinição das restrições sob as quais opera — capacidade da qual os LLMs atuais em grande medida carecem.

Outros teóricos abordaram o problema da criatividade a partir de perspectivas diferentes. Dean K. Simonton, em seu trabalho sobre a psicologia da criatividade (2001), modela-a como um processo de variação probabilística e retenção seletiva — análogo à evolução darwiniana. Nessa perspectiva, o pensamento criativo emerge da geração de múltiplas variantes, algumas das quais são retidas com base em sua aptidão ou adequação a determinado contexto. Os LLMs espelham esse processo em sentido formal: realizam amostragens a partir de distribuições de probabilidade e produzem saídas que são filtradas — seja pela concepção do modelo, seja por avaliadores humanos — segundo sua relevância ou coerência. Contudo, o modelo de Simonton também pressupõe um mecanismo avaliativo orientador, que os LLMs não possuem. Eles geram sem critérios, a menos que esses critérios sejam impostos externamente.

Selmer Bringsjord e David Ferrucci adotam uma posição mais cética. Em Artificial Intelligence and Literary Creativity (2000), sustentam que a criatividade genuína envolve não apenas a geração de conteúdo novo, mas o exercício do raciocínio, da consciência e da autorreflexão — capacidades que as máquinas não possuem e que, segundo os autores, talvez não possam possuir. De acordo com essa concepção, mesmo os modelos de linguagem mais sofisticados meramente rearranjam materiais existentes sem compreendê-los. A aparência de criatividade é, na melhor das hipóteses, uma ilusão superficial e, na pior, um erro categorial.

Há, contudo, outros estudiosos que contestam a rígida dicotomia entre criatividade humana e criatividade das máquinas. Jon McCormack e Mark d’Inverno (2014), por exemplo, propõem uma concepção da criatividade orientada para os processos em contextos computacionais. Em seu trabalho sobre vida artificial e arte generativa, sustentam que a criatividade não deve ser avaliada exclusivamente em termos dos resultados produzidos, mas em termos dos processos e sistemas que lhes dão origem — ver também Coeckelbergh (2016). Essa mudança de perspectiva permite reconhecer uma criatividade emergente em sistemas cujas operações não são explicitamente programadas, mas evoluem por meio da interação, da aleatoriedade e da retroalimentação. Embora sejam, em grande medida, determinísticos em sua concepção, os LLMs de fato exibem certas propriedades emergentes — fluência estilística inesperada, imitação de gêneros ou até mesmo uma aparente espirituosidade — que surgem da complexidade de seus processos de treinamento e amostragem. Se essas propriedades podem ser consideradas verdadeiramente criativas depende de quão ampla ou restritivamente se define o termo.

3 Os LLMs e a produção de textos poéticos

Tendo delineado os principais quadros utilizados para definir a criatividade, podemos agora nos voltar para os dados empíricos, a fim de avaliar o desempenho dos LLMs contemporâneos quando recebem a tarefa de gerar poesia.

3.1 Padrões, limites e percepções

Embora modelos como o GPT-4 não tenham sido, até onde sabemos, especificamente projetados para a geração de poesia, eles, ainda assim, exibem uma fluência notável na produção de versos metricamente estruturados, estilisticamente coerentes e tematicamente ressonantes. Essa capacidade emerge de sua aprendizagem estatística a partir de vastos conjuntos de textos, por meio da qual internalizam padrões recorrentes da linguagem poética, convenções de gênero e características estilísticas. Aquilo que reconhecemos como ‘poesia’ em suas saídas é, portanto, produto de uma ampla exposição a textos poéticos existentes, refletidos sob forma probabilística.

Tecnicamente, a geração de poesia pode ser moldada pela engenharia de prompts, pelos parâmetros de amostragem e, em alguns casos, pelo ajuste fino com conjuntos especializados de textos poéticos. A engenharia de prompts permite que os usuários orientem o modelo para determinados estilos ou tradições — por exemplo, compondo um soneto shakespeariano ou um haicai no estilo de Bashō —, enquanto os parâmetros de amostragem modulam a variabilidade e a criatividade da saída.

O ajuste fino, quando aplicado, reforça convenções específicas do gênero, tornando a saída mais conforme, em termos estilísticos, às normas poéticas — ao menos em teoria.

Estudos empíricos recentes começaram a investigar sistematicamente o alcance e as limitações dos LLMs na geração poética, oferecendo contribuições importantes para a compreensão tanto de suas capacidades técnicas quanto de suas restrições estilísticas. Em um estudo em larga escala, Walsh et al. (2024a, 2024b) analisam vários milhares de poemas gerados pelo GPT-3.5 e pelo GPT-4 e os comparam a poemas escritos por seres humanos em diversas formas e sobre diferentes temas. Sua análise demonstra que o GPT-4 é capaz de imitar de maneira confiável uma ampla variedade de formas poéticas, incluindo estruturas metricamente complexas, como sonetos, sextinas e vilanelas. O modelo demonstra competência para seguir esquemas de rimas, padrões métricos e moldes estruturais, produzindo frequentemente textos que, à primeira vista, são formalmente indistinguíveis da poesia humana.

Contudo, apesar dessa competência formal, o estudo também revela tendências estilísticas recorrentes características da poesia gerada por LLMs. O GPT-4 apresenta uma forte preferência por estruturas em quartetos, recorre frequentemente ao metro iâmbico e às rimas finais e tende a empregar escolhas lexicais recorrentes, como ‘coração’, ‘sussurro’ ou ‘sonho’. As saídas do modelo frequentemente refletem um achatamento da complexidade emocional e metafórica, privilegiando formulações literais e tropos poéticos convencionais em detrimento da ambiguidade, da inovação ou da profundidade semântica. Em comparação com a poesia humana, os versos gerados por LLMs parecem mais homogêneos, menos nuançados e menos capazes de produzir os tipos de tensão conceitual ou de imagens inesperadas frequentemente encontrados em composições humanas mais originais.

Além desses padrões estilísticos, estudos recentes de avaliação por leitores sugerem que alguns poemas gerados por IA são julgados de maneira comparável a textos de autoria humana quando avaliados às cegas (Porter e Machery, 2024). Contudo, quando a autoria é revelada, as avaliações tendem a se tornar menos favoráveis, indicando um ceticismo persistente em relação à poesia gerada por máquinas (Bellaiche et al., 2023; Ragot et al., 2020). Essa dinâmica de recepção evidencia a tensão persistente entre a fluência formal dos versos gerados por IA e as percepções dos leitores acerca da autenticidade e da agência criativa. Curiosamente, os leitores frequentemente consideram os poemas gerados por IA mais fáceis de interpretar; conseguem apreender com maior facilidade as imagens, os temas e as emoções, que em geral são apresentados de maneira mais acessível e transparente do que na obra, frequentemente mais densa e ambígua, de poetas humanos. Em consequência, podem desenvolver uma preferência por esses textos e interpretar erroneamente sua própria facilidade de compreensão como evidência de autoria humana. Também é importante observar que os estudos de avaliação existentes concentraram-se, em grande medida, na poesia lírica em língua inglesa, e sua relevância para uma variedade mais ampla de tradições poéticas, gêneros e línguas permanece limitada.

3.2 Avaliando o valor estético da poesia gerada por IA

O desafio de avaliar a qualidade poética ultrapassa as questões de competência formal ou de revelação da autoria. O juízo estético em poesia frequentemente envolve elementos que não são facilmente codificáveis, como originalidade, ressonância emocional, profundidade metafórica e inserção cultural. Além disso, o valor literário é moldado por normas em transformação no interior de comunidades específicas de leitores, o que torna os juízos de mérito poético historicamente contingentes e socialmente negociados. Sob esse aspecto, o advento da poesia gerada por IA suscita questões fundamentais sobre se os critérios atuais de avaliação — frequentemente enraizados na experiência humana, na expressão intencional e no contexto histórico — são adequados para avaliar textos produzidos por meio de recombinação estatística em larga escala. À medida que os LLMs geram versos cada vez mais fluentes e plausíveis, suas saídas podem desafiar as noções existentes de autenticidade estética, precisamente porque tornam indistinta a fronteira entre técnica, imitação e intuição criativa genuína.

É importante observar que essas tendências são moldadas pela própria composição dos dados de treinamento. A aparente fluência poética dos modelos depende fortemente da frequência e da representatividade de certas formas poéticas em seus conjuntos de textos de treinamento. Formas populares, canônicas e altamente estruturadas estão fortemente representadas, enquanto tradições poéticas experimentais, marginais ou culturalmente distintas o estão em menor grau. Essa dependência dos dados reflete não apenas o predomínio de certas formas poéticas, mas também a distribuição linguística e cultural mais ampla dos conjuntos de textos de treinamento, privilegiando tradições ocidentais, anglófonas e historicamente canônicas. Como resultado, a fluência poética demonstrada pelos modelos talvez não se generalize para tradições sub-representadas em seus dados de treinamento, incluindo formas poéticas não ocidentais ou de base oral.

Considere, por exemplo, a seguinte estrofe gerada pelo ChatGPT-4o, solicitado a escrever um poema no estilo de Emily Dickinson:

Original

Tradução

O texto gerado reproduz diversas características reconhecíveis do estilo de Dickinson: dicção condensada, pontuação elíptica e personificação sutil. É fluente, plausível e evocativo à primeira vista; ainda assim, permanece um artefato desprovido de experiência subjetiva. Sua composição é uma montagem de recursos poéticos plausíveis, extraídos de padrões observados, e não da experiência vivida ou da expressão intencional; contudo, é difícil para o não especialista reconhecê-lo como tal.

Do ponto de vista ético, o surgimento da poesia gerada por máquinas suscita questões urgentes de atribuição, declaração do uso de IA e titularidade da criação. Diversas jurisdições já adotaram ou propuseram rótulos de procedência para indicar conteúdo gerado por IA, enquanto instituições literárias e editoras se veem cada vez mais compelidas a esclarecer suas políticas relativas a trabalhos submetidos de autoria de IA. Um caso digno de nota ocorreu em 2024, em um concurso de poesia juvenil em Singapura: descobriu-se posteriormente que três trabalhos vencedores haviam sido gerados por uma ferramenta de IA, o que levou os organizadores a revogar os prêmios e alterar suas regras para proibir explicitamente contribuições de IA.3

Esse episódio evidenciou os desafios envolvidos na verificação da autoria e deu início a um debate mais amplo sobre originalidade, transparência e integridade da criatividade humana no âmbito dos concursos literários. Editoras e organizadores de concursos estão agora instituindo requisitos de declaração do uso de IA e repensando suas diretrizes para submissão — refletindo incertezas mais amplas sobre como integrar textos gerados por máquinas aos quadros existentes de mérito criativo e propriedade intelectual.

4 Avaliando a criatividade

A poesia gerada por máquinas demonstra tanto a sofisticação técnica dos modelos de linguagem contemporâneos quanto seus atuais limites conceituais — ver McLoughlin (2025) para uma reflexão geral sobre o impacto da IA nas imagens geradas. Embora os LLMs imitem formas estabelecidas com elevada proficiência, sua produção permanece assentada na recombinação estatística, e não na inovação semântica ou experiencial. A poesia constitui, assim, um estudo de caso revelador: evidencia até que ponto sistemas algorítmicos podem avançar sem percepção, corporeidade ou agência reflexiva, bem como o ponto em que os argumentos em favor da criatividade genuína começam a perder força.

Como vimos, os experimentos que indicam que leitores leigos frequentemente preferem a poesia gerada por IA devem ser interpretados com cautela. Esses resultados não demonstram que a poesia gerada por IA seja superior em qualidade literária, mas, antes, que ela tende a ser mais simples e acessível, tornando-se mais fácil de interpretar para leitores não especialistas. Em contraste, a poesia de autoria humana frequentemente se apoia em camadas de complexidade, alusão e ambiguidade que exigem conhecimentos prévios substanciais de literatura, história e tradições poéticas. Interpretar essas obras é uma tarefa cognitivamente exigente, sendo, portanto, problemático solicitar a leitores leigos que avaliem a poesia de maneira substantiva. A poesia não é apenas inerentemente difícil de aferir por meio de uma avaliação padronizada; sua apreciação também exige um nível de conhecimento especializado em literatura que o público em geral talvez não possua.

De maneira semelhante, a avaliação da própria criatividade das máquinas permanece uma questão difícil e não resolvida. Embora os modelos sejam capazes de gerar obras artísticas — poemas, mas também imagens, música ou vídeos — que apresentam coerência formal e criatividade em nível superficial, a avaliação da qualidade genuína e da significação da arte é inerentemente controversa. Para além das questões estéticas, a ausência de experiência humana vivida, intencionalidade e perspectiva corporificada na arte gerada por IA continua a influenciar nossa capacidade de considerá-la uma forma de arte realmente valiosa.

Por fim, para além da geração autônoma, os LLMs também podem atuar como parceiros interativos, coproduzindo textos ou poesia em diálogo com usuários humanos. Esse modo de interação apresenta ressonâncias com a tese da mente estendida (Clark e Chalmers, 1998), segundo a qual os processos cognitivos podem estender-se para além do cérebro, alcançando ferramentas e artefatos externos que dão suporte ao pensamento. Nessas situações, o modelo funciona menos como um autor isolado e mais como parte de um sistema cognitivo estendido, possibilitando o refinamento iterativo, associações fortuitas e novas direções criativas — ver o Capítulo 3. Como mostram trabalhos recentes sobre a colaboração criativa com a IA, a cocriação e um senso de autoeficácia são centrais para promover experiências criativas significativas e gratificantes (McGuire et al., 2024). Sob essa perspectiva, a questão não é apenas se as máquinas podem ser criativas, mas também como poderiam ser mais bem integradas à prática criativa humana.

Como contraponto, a noção de ‘escrita não criativa’ (uncreative writing), de Kenneth Goldsmith, recorda-nos que a criatividade também pode residir na citação, na reutilização e na recombinação — modos de autoria que tornam indistinta a fronteira entre invenção humana e reprodução mecânica e que convergem de maneira notável com a lógica do próprio algoritmo (Goldsmith, 2011).

Referências

Bellaiche, L., Shahi, R., Turpin, M. H., Ragnhildstveit, A., Sprockett, S., Barr, N., Christensen A., and Seli, P. (2023). Humans versus AI: Whether and why we prefer human-created compared to AI-created artwork. Cognitive Research: Principles and Implications, 8, 42. https://doi.org/10.1186/s41235-023-00499-6

Boden, M. A. (2004). The creative mind: Myths and mechanisms (2nd ed.). Routledge.

Boden, M. A. (2023). Creativity and artificial intelligence revisited: From search spaces to space-shifts. AI & Society, 38(3), 1101–1112. https://doi.org/10.1007/s00146-022-01557-9

Bringsjord, S., and Ferrucci, D. (2000). Artificial intelligence and literary creativity: Inside the mind of Brutus, a storytelling machine. Lawrence Erlbaum.

Clark, A., and Chalmers, D. (1998). The extended mind. Analysis, 58(1), 7–19.

Coeckelbergh, M. (2016). Can machines create art? Philosophy and Technology, 30(3), 285–303.

Funkhouser, C. T. (2007). Prehistoric digital poetry: An archaeology of forms, 1959–1995. University of Alabama Press.

Goldsmith, K. (2011). Uncreative writing: Managing language in the digital age. Columbia University Press.

Gonçalves, B. (2023). Irony with a point: Alan Turing and his intelligent machine Utopia. Philosophy and Technology, 36, 50. https://doi.org/10.1007/s13347-023-00650-7

Knowles, A., and Tenney, J. (1967). A house of dust. In J. Reichardt (Ed.), Cybernetic serendipity (p. 56). Studio International.

Masterman, M. (1968). Computerized Japanese haikus. In J. Reichardt (Ed.), Cybernetic serendipity (pp. 54–55). Studio International.

McCorduck, P. (2004). Machines who think: A personal inquiry into the history and prospects of artificial intelligence (2nd ed.). A. K. Peters.

McCormack, J., and d’Inverno, M. (2014). On the future of computers and creativity. In Proceedings of the AISB Convention (Society for the Study of Artificial Intelligence and Simulation of Behaviour).

McGuire, J., De Cremer, D., and Van de Cruys, T. (2024). Establishing the importance of co-creation and self-efficacy in creative collaboration with artificial intelligence. Scientific Reports 14, 18525. https://doi.org/10.1038/s41598-024-69423-2

McLoughlin, J. (2025). The work of art in the age of artificial intelligibility. AI & Society, 40, 371–383. https://doi.org/10.1007/s00146-023-01845-4

Porter, B., and Machery, E. (2024). AI-generated poetry is indistinguishable from human-written poetry and is rated more favorably. Scientific Reports, 14, 26133. https://doi.org/10.1038/s41598-024-76900-1

Ragot, M., Martin, N. and Cojean, S. (2020). AI-generated vs. human artworks. A perception bias towards artificial intelligence? In Proc. of the 2020 CHI Conference on Human Factors in Computing Systems (pp. 1–10). https://doi.org/10.1145/3334480.3382892

Reichardt, J. (Ed.). (1968). Cybernetic serendipity: The computer and the arts. Studio International.

Silver, D., Huang, A., Maddison, C. J., Guez, A., Sifre, L., van den Driessche, G., Schrittwieser, J., Antonoglou, I., Panneershelvam, V., Lanctot, M., Dieleman, S., Grewe, D., Nham, J., Kalchbrenner, N., Sutskever, I., Lillicrap, T., Leach, M., Kavukcuoglu, K., Graepel, T., and Hassabis, D. (2016). Mastering the game of Go with deep neural networks and tree search. Nature, 529, 484–489. https://doi.org/10.1038/nature16961

Simonton, D. K. (2001). The psychology of creativity: A historical perspective. Green College Lecture Series on The Nature of Creativity: History Biology, and Socio-Cultural Dimensions. University of British Columbia.

Strachey, C. (1954). The thinking machine. Encounter, October, 25–31.

Turing, A. M. (1950). Computing machinery and intelligence. Mind, 59(236), 433–460.

Walsh, M., Preus, A., and Antoniak, M. (2024a). Sonnet or not, bot? Poetry evaluation for large models and datasets. In Findings of the Association for Computational Linguistics: EMNLP 2024 (pp. 1–15). Association for Computational Linguistics. https://aclanthology.org/2024.findings-emnlp.914/

Walsh, M., Preus, A., and Gronski, E. (2024b). Does ChatGPT have a poetic style? In: Proc of the Computational Humanities Research Conference (CHR 2024), Aarhus, Denmark. https://melaniewalsh.org/assets/pdf/ChatGPT-Poetic-Style-CHR2024.pdf

CAPÍTULO 6

Raciocínio moral e juízo produzido artificialmente nos modelos de linguagem de grande porte

Os modelos de linguagem de grande porte (LLMs) são cada vez mais posicionados não apenas como ferramentas para gerar texto, mas como participantes potenciais em domínios tradicionalmente reservados a agentes humanos: a deliberação ética, o juízo moral e a investigação social. Sua capacidade de simular respostas semelhantes a opiniões, valores e crenças humanas abriu uma nova fronteira tanto na inteligência artificial quanto nas ciências sociais. Contudo, essa capacidade emergente suscita questões fundamentais: pode um modelo de linguagem raciocinar moralmente ou apenas reproduzir padrões de discurso normativo? Devem aproximações estatísticas da opinião coletiva ser tratadas como substitutos válidos para o discernimento moral ou o conhecimento social? E o que está em jogo — epistemológica, política e eticamente — quando se atribui às máquinas a tarefa de simular agentes morais humanos ou de atuar em seu lugar?

Este capítulo examina essas questões concentrando-se em dois desenvolvimentos inter-relacionados. O primeiro é a criação do Delphi (Jiang et al., 2021; 2025), um sistema de raciocínio moral concebido para gerar respostas a dilemas éticos cotidianos com base em extensos conjuntos de juízos humanos. O sistema, influenciado pela noção de John Rawls de equilíbrio reflexivo, oferece um caso de teste convincente para investigar o que significa um LLM envolver-se em raciocínio moral e o que acontece quando tais sistemas são disponibilizados ao público. A controvérsia em torno da disponibilização pública do Delphi ilustra não apenas os riscos da automação moral, mas também as profundas ambiguidades que cercam os papéis que se espera que tais sistemas desempenhem.

O segundo desenvolvimento é o uso de LLMs como respondentes sintéticos em pesquisas nas ciências sociais — prática que ganhou impulso nos últimos anos por meio de métodos como a ‘amostragem com agentes artificiais (silicon sampling)’. Ao solicitar, por meio de prompts, que modelos como o GPT simulem respostas condicionadas por perfis demográficos, os pesquisadores passaram a tratar os LLMs como agentes epistêmicos capazes de modelar distribuições de opiniões, atitudes políticas e associações carregadas de valores. Essa inovação metodológica apresenta tanto uma oportunidade quanto um risco. Por um lado, permite gerar, de maneira rápida e a baixo custo, dados sociais plausíveis; por outro, convida a um exame crítico dos pressupostos ontológicos e éticos subjacentes a tais simulações.

Em conjunto, esses dois casos — o Delphi e a amostragem com agentes artificiais — evidenciam um conjunto de tensões que lhes é comum. Ambos sondam as fronteiras entre descrever a linguagem e modelar o pensamento, bem como a lacuna entre a aparência de consenso e uma compreensão moral ou social genuína. Este capítulo sustenta que o uso de LLMs em áreas sensíveis do ponto de vista ético e epistemológico não pode ser avaliado apenas com base em métricas técnicas. É necessária uma análise conceitual mais ampla, que recorra à filosofia moral e às teorias da representação social e do viés. O objetivo não é rejeitar o uso dos LLMs nesses domínios, mas esclarecer o que se ganha, o que se perde e o que permanece incerto quando as máquinas são convidadas a falar em nome de coletividades morais ou sociais.

1 Juízos morais emitidos por modelos de linguagem de grande porte: o caso do Delphi

A questão de saber se sistemas de inteligência artificial podem ou devem envolver-se em raciocínio moral encontra-se no cerne de debates mais amplos sobre as capacidades e as limitações dos LLMs. Uma das primeiras tentativas de investigar essa questão foi o experimento Delphi (Jiang et al., 2021), um sistema de IA concebido para prever juízos morais humanos em uma ampla variedade de situações cotidianas. O desenvolvimento do Delphi apoiou-se em uma longa tradição filosófica, recorrendo explicitamente às ideias de John Rawls, cuja obra permanece fundamental para a filosofia moral e política contemporânea.

Em seu trabalho inicial sobre a tomada de decisões éticas, Rawls (1951) propôs que o raciocínio moral poderia, ao menos em parte, ser abordado empiricamente por meio do estudo dos juízos que as pessoas emitem em casos particulares. Esse ‘procedimento de decisão para a ética’ sugere que seria possível inferir princípios morais subjacentes examinando padrões de concordância em uma diversidade de juízos humanos. Essa abordagem de baixo para cima (bottom-up) contrasta com teorias éticas de cima para baixo (top-down), que partem de princípios abstratos — como cálculos utilitaristas ou imperativos categóricos kantianos — e procuram derivar juízos corretos em todos os casos particulares. Mais tarde, Rawls refinou essa ideia por meio do conceito de equilíbrio reflexivo (Rawls, 1971), no qual os indivíduos ajustam tanto seus princípios morais quanto seus juízos particulares a fim de alcançar coerência entre eles. Segundo seus criadores, o Delphi, em sua concepção e em seus objetivos, poderia ser visto como uma tentativa de operacionalizar, no interior de um sistema de IA, um quadro rawlsiano desse tipo: o sistema procurava aprender padrões normativos a partir de um amplo conjunto de juízos humanos e generalizá-los para novas situações por meio de modelagem estatística.

A base computacional do Delphi assentava-se em um amplo conjunto de avaliações morais realizadas por seres humanos, reunidas no recurso que seus desenvolvedores denominaram Commonsense Norm Bank (repositório de normas de senso comum). Esse recurso inclui milhões de juízos reunidos a partir de diversos conjuntos de dados, que refletem avaliações morais cotidianas formuladas predominantemente por participantes radicados nos Estados Unidos. Recorrendo a arquiteturas de LLM avançadas para a época — como um modelo de raciocínio multitarefa denominado Unicorn, derivado do modelo T5 do Google —, o Delphi processava consultas de natureza moral e gerava respostas destinadas a aproximar-se do consenso humano em uma ampla variedade de cenários éticos. Em avaliações controladas, o Delphi demonstrou acurácia relativamente elevada, superando alguns dos melhores LLMs da época na reprodução dos padrões normativos presentes em seus dados de treinamento.

Contudo, a própria existência de um sistema como o Delphi suscita profundas questões filosóficas, práticas e éticas. Embora os desenvolvedores inicialmente apresentassem o Delphi como uma plataforma experimental, e não como uma autoridade normativa, sua disponibilização pública em 2021 provocou grande controvérsia. Matérias jornalísticas — inclusive da Wired, do The Guardian e do New York Times — destacaram saídas preocupantes das primeiras versões do sistema, como a afirmação do modelo de que o genocídio poderia, em certas circunstâncias, ser aceitável. Tais saídas, embora talvez raras, ilustram os perigos inerentes a permitir que sistemas de IA se envolvam em discurso moral sem salvaguardas robustas — ou mesmo com salvaguardas. Os criadores do Delphi prontamente ressaltaram que sua intenção era que o sistema fosse utilizado por pesquisadores, e não pelo público em geral, como afirmou Yejin Choi:1

“Pessoas de fora da área de IA estão brincando com essa demonstração, [quando] eu pensava que apenas pesquisadores brincariam com ela… Isso pode parecer uma IA investida de autoridade dando conselhos a seres humanos, o que não é de modo algum o que pretendemos apoiar.”

Essa resposta põe em evidência uma ambiguidade mais profunda. Uma vez que um sistema de IA capaz de emitir juízos morais se torna publicamente acessível, passa a ser difícil manter seu papel de mero artefato de pesquisa. Independentemente das intenções de seus desenvolvedores, o Delphi foi percebido por muitos usuários como uma autoridade normativa. Essa dinâmica aponta para uma preocupação mais ampla: a autoridade performativa dos sistemas de IA — o modo como suas saídas são adotadas, consideradas confiáveis ou tomadas como base para agir simplesmente por parecerem dotadas de autoridade. Mesmo quando enquadrados como ferramentas descritivas, sistemas como o Delphi são frequentemente interpretados como fontes de expertise moral. Isso não constitui apenas uma falha de comunicação; reflete dinâmicas mais profundas de viés de automação e da legitimidade percebida das saídas geradas por IA. Como sustentam estudiosos como Eubanks (2018) e Ananny e Crawford (2016), as possibilidades de ação proporcionadas pelo desenho dos sistemas algorítmicos — sua fluência, segurança, interface e tom — podem sinalizar sutilmente autoridade, moldando o modo como os usuários os interpretam e a eles respondem.

Uma vez que um LLM fornece um juízo moral, este pode ser tomado não como uma perspectiva, mas como a perspectiva. Desse modo, a linguagem moral gerada por IA adquire força social não por meio do raciocínio deliberativo, mas pela aura de objetividade computacional.

Ao lado dessas preocupações relativas à percepção e à legitimidade, o Delphi também suscitou questões substantivas sobre imparcialidade e viés. Mesmo um sistema treinado com vastos conjuntos de dados de juízos humanos permanece vulnerável à reprodução e à amplificação das desigualdades sociais existentes. Como o próprio Rawls reconheceu, juízos morais emitidos sob condições de injustiça podem refletir preconceitos arraigados, e não princípios defensáveis. O próprio desempenho do Delphi ilustra esse risco: embora tenha alcançado elevada correspondência com seus dados de treinamento, também exibiu vieses mensuráveis contra grupos marginalizados e, em alguns casos, deixou de afirmar direitos humanos básicos, dependendo do modo como as consultas eram formuladas. Em resposta, os desenvolvedores introduziram modelos híbridos como Delphi+ e DelphiHYBRID (Jiang et al., 2025), que incorporavam restrições simbólicas e arcabouços de raciocínio baseados em grafos para compensar algumas dessas limitações. Essas tentativas podem ser interpretadas como um esforço para reintroduzir, em um sistema predominantemente estatístico, uma orientação normativa proveniente da teoria ética — um eco do próprio ideal rawlsiano de ajuste iterativo entre princípio e juízo no equilíbrio reflexivo.

No entanto, mesmo que tais modelos consigam aproximar-se melhor da coerência normativa, permanece uma preocupação mais fundamental. A arquitetura do Delphi pressupõe que a moralidade possa ser captada de maneira significativa por meio de padrões de consenso — um pressuposto rawlsiano segundo o qual a justificação ética pode ser alcançada por meio de ampla concordância. Contudo, esse pressuposto foi vigorosamente contestado por filósofos do pluralismo e da contestação. Para pensadores como Bernard Williams (1985), Iris Marion Young (1990) e Chantal Mouffe (2000), a vida moral e política não se caracteriza pela convergência, mas por conflitos persistentes, assimetrias estruturais e pretensões de valor incomensuráveis. Dessa perspectiva, os LLMs talvez não se limitem a refletir as normas existentes, mas suprimam ativamente a complexidade moral. Suas saídas podem apresentar uma aparência de coerência que encobre desacordos mais profundos — desacordos que são eticamente significativos. Aquilo que parece ser consenso moral pode ser um artefato de dados de treinamento configurados para atenuar a controvérsia.

Essas preocupações suscitam, em última instância, questões não apenas sobre as saídas dos LLMs, mas também sobre seu estatuto ontológico como potenciais agentes morais. Sistemas como o Delphi estão sendo tratados meramente como espelhos do discurso normativo ou — intencionalmente ou não — como agentes capazes de raciocínio moral? Embora os desenvolvedores frequentemente descrevam esses sistemas como descritivos ou exploratórios, o ato de consultar uma IA em busca de orientação moral mobiliza intuições de longa data acerca da agência, da confiança e da responsabilidade. Filósofos como Strawson (1962), Frankfurt (1971) e Dennett (1984) sustentaram que a agência moral não pode ser reduzida ao seguimento de regras ou à fluência normativa: ela envolve intencionalidade, a capacidade de endossar razões e a capacidade de ser responsabilizado. Os LLMs, em contraste, carecem de ancoragem experiencial, autoconsciência e qualquer compromisso duradouro com os princípios que articulam. O risco é projetarmos agência onde há apenas inferência estatística, tomando uma linguagem persuasiva por compreensão moral. Reconhecer esse deslizamento é essencial: ele nos recorda que o raciocínio moral não é apenas uma questão de forma, mas de juízo situado, responsabilidade e capacidade de responder pelas próprias afirmações.

2 Oportunidades e debates sobre o uso de modelos de linguagem de grande porte em pesquisas sociais por questionário

O uso de LLMs como substitutos de respondentes de pesquisas por questionário despertou tanto interesse quanto debate crítico. Esta seção examina os principais argumentos favoráveis e contrários a essa abordagem, começando pelo conceito de fidelidade algorítmica (algorithmic fidelity) e passando, em seguida, a críticas recentes relativas ao viés, à validade e à representação.

2.1 Amostragem com agentes artificiais e fidelidade algorítmica

Nos últimos anos, a possibilidade de utilizar LLMs como substitutos de participantes humanos em pesquisas nas ciências sociais tem atraído atenção crescente. Essa linha de investigação parte da observação de que os LLMs, treinados com vastos conjuntos de textos produzidos por seres humanos, frequentemente adquirem associações complexas entre ideias, valores e marcadores demográficos que refletem padrões observáveis em populações do mundo real. Uma das contribuições mais influentes para esse campo emergente é o trabalho de Argyle et al. (2023), que apresentou tanto um quadro teórico quanto uma demonstração empírica de como modelos de linguagem poderiam simular respostas semelhantes às humanas em pesquisas por questionário.

Argyle et al. contestam a concepção predominante do viés algorítmico como uma propriedade primordialmente global dos modelos de linguagem, propondo, em seu lugar, a noção de fidelidade algorítmica: a capacidade do modelo de reproduzir as relações de granularidade fina que caracterizam subgrupos humanos específicos. Em vez de presumirem que o viés se distribui uniformemente pelas saídas, os autores sustentam que, quando adequadamente condicionado, um modelo como o GPT-3 pode aproximar-se dos padrões distintivos de opinião, associação e comportamento apresentados por diversos grupos demográficos. Eles introduzem o método da amostragem com agentes artificiais, no qual o modelo recebe sistematicamente prompts contendo perfis sociodemográficos detalhados, derivados de pesquisas por questionário em larga escala, gerando amostras sintéticas que podem, em princípio, substituir ou complementar dados humanos reais em determinados contextos de pesquisa.

As evidências empíricas apresentadas por Argyle et al. baseiam-se em uma série de estudos centrados nas atitudes políticas e no comportamento eleitoral nos Estados Unidos. Em um experimento, solicitou-se ao GPT-3 que produzisse associações de palavras com partidos políticos, e as saídas resultantes foram, em grande medida, indistinguíveis de respostas reais a questionários para os avaliadores humanos. Em outro, o modelo foi condicionado por variáveis demográficas para prever o comportamento eleitoral ao longo de diversos ciclos eleitorais, demonstrando uma estreita correspondência entre suas saídas simuladas e dados eleitorais históricos. Por fim, quando testado com padrões complexos de associação extraídos do American National Election Studies, o GPT-3 apresentou elevado nível de correspondência com os dados humanos, tanto em termos das distribuições marginais quanto das correlações entre variáveis.

Esses resultados possuem implicações importantes para o estatuto epistêmico dos LLMs na pesquisa social. Se os modelos conseguem simular de maneira confiável a distribuição condicional das opiniões entre estratos sociodemográficos, podem oferecer um meio economicamente eficiente de pré-testar instrumentos de consulta a respondentes, explorar cenários hipotéticos ou até mesmo gerar dados preliminares nos casos em que a coleta junto a participantes humanos seja impraticável ou esteja sujeita a restrições éticas. Nesse sentido, os modelos de linguagem poderiam ser considerados uma nova classe de informantes — não humanos, mas, ainda assim, capazes de reproduzir padrões de raciocínio e associação culturalmente incorporados.

A publicação do trabalho de Argyle et al. estimulou um corpo de pesquisas posteriores em rápida expansão, tanto favoráveis quanto críticas. Por um lado, estudos como os de Ashwini et al. (2024) e Lippert et al. (2024), entre muitos outros, replicaram aspectos centrais da fidelidade algorítmica em diferentes famílias de modelos e domínios, estendendo a abordagem a pesquisas por questionário não políticas, comparações entre países e manipulações experimentais de efeitos de enquadramento. Alguns pesquisadores constataram que os modelos podem reproduzir tendências demográficas conhecidas no juízo moral (Dillion et al., 2023; ver também a seção anterior), no campo da economia (Horton, 2023) e até mesmo na pragmática linguística (Aher et al., 2023).

Embora esses resultados tenham gerado considerável entusiasmo em relação ao potencial dos LLMs como informantes sintéticos, também provocaram uma série de respostas críticas. À medida que o uso da amostragem com agentes artificiais ganha terreno, estudiosos começaram a interrogar seus pressupostos subjacentes e sua robustez empírica. A seção seguinte volta-se para esses desafios, examinando trabalhos recentes que questionam a validade epistêmica e as implicações éticas de tratar os LLMs como substitutos de participantes humanos.

2.2 Limitações dos respondentes sintéticos: da fidelidade algorítmica ao ⁠viés de máquina

Embora a noção de fidelidade algorítmica tenha gerado otimismo quanto à capacidade dos LLMs de reproduzir padrões socialmente relevantes de opinião, um número crescente de estudos tem apresentado ressalvas importantes. Bisbee et al. (2024), por exemplo, advertem que a fidelidade dos LLMs se desfaz quando eles simulam grupos sociopolíticos específicos e bem delimitados, particularmente no que diz respeito à captação da variação efetiva — mesmo quando recebem prompts para assumir uma persona. De maneira semelhante, Santurkar et al. (2023) mostram que, quando as informações demográficas fornecidas como entrada são insuficientemente especificadas ou ambíguas, os LLMs frequentemente recorrem por padrão a perspectivas culturalmente dominantes, deixando, assim, de captar a diversidade de opiniões presente entre subgrupos demográficos. Críticas correlatas destacaram que, embora os modelos possam reproduzir associações superficiais, frequentemente deixam de captar os mecanismos causais subjacentes às atitudes humanas, suscitando preocupações acerca da superficialidade epistêmica de suas saídas (Cao et al., 2023; Motoki et al., 2024).

Para além dessas preocupações epistemológicas, um conjunto paralelo de questões diz respeito aos riscos éticos e à governança. As próprias características que tornam os LLMs atraentes para a pesquisa acadêmica — escalabilidade, flexibilidade e capacidade de simular uma ampla variedade de pontos de vista — também os expõem a possíveis usos indevidos. Como advertem Birhane et al. (2022), populações sintéticas geradas por LLMs poderiam ser empregadas como arma para fabricar tendências de opinião persuasivas, porém artificiais, com graves implicações para a manipulação política e a disseminação de informação incorreta. Mesmo Argyle et al. (2023), que defendem a fidelidade algorítmica, reconhecem a necessidade de salvaguardas éticas para assegurar uma implementação responsável.

Essas perspectivas críticas convergem no estudo recente de Boelaert et al. (2025) — Machine Bias: How Do Generative Language Models Answer Opinion Polls? —, que apresenta uma avaliação sistemática da capacidade dos LLMs de reproduzir respostas humanas, utilizando o World Values Survey como referência comparativa. Esse estudo introduz o conceito de ⁠viés de máquina (machine bias), definido como a tendência dos LLMs a gerar padrões de respostas idiossincráticos e socialmente incoerentes, que não correspondem de maneira significativa a nenhuma variação demográfica conhecida. Embora a expressão ‘viés de máquina’ tenha adquirido destaque inicialmente nos debates sobre imparcialidade algorítmica — sobretudo por meio da investigação realizada pela ProPublica, em 2016, acerca da discriminação racial em algoritmos de avaliação de risco (Angwin et al., 2016) —, Boelaert et al. reutilizam o termo em um sentido distinto. Diferentemente da hipótese da representatividade, segundo a qual os LLMs podem emular atitudes em nível populacional, ou da ⁠⁠hipótese do viés social, que põe em evidência padrões discriminatórios — ver o próximo capítulo —, o viés de máquina enfatiza, nesse contexto, inconsistências internas que não são nem representativas nem interpretáveis.

Os resultados empíricos revelam limitações significativas. Na maioria dos casos, as respostas geradas por LLMs divergiram significativamente dos dados de referência das pesquisas por questionário (survey ground truth), e os modelos não superaram de maneira consistente métodos simples de referência. Além disso, os prompts com informações demográficas não produziram efeitos previsíveis ou estáveis, solapando o pressuposto de que o condicionamento sociodemográfico assegura representatividade. Os modelos também apresentaram uma tendência pronunciada a convergir para um conjunto restrito de tendências centrais, oferecendo pouca variação mesmo quando recebiam explicitamente prompts com perfis diversificados. Essa homogeneidade estrutural sugere que os LLMs talvez não se limitem a refletir dados enviesados, mas sejam intrinsecamente limitados em sua capacidade de reproduzir a heterogeneidade social.

Considerados em conjunto, esses resultados lançam sérias dúvidas sobre a utilidade epistêmica dos LLMs como respondentes sintéticos. Em vez de espelharem a diversidade, a reflexividade e a sensibilidade contextual das populações humanas, os modelos atuais correm o risco de produzir representações homogeneizadas e descontextualizadas das opiniões presentes na sociedade. O conceito de viés de máquina exige, portanto, uma reavaliação fundamental dos pressupostos subjacentes à amostragem com agentes artificiais — deslocando a atenção da correspondência externa com perfis demográficos para as limitações internas das próprias arquiteturas generativas.

As Implicações são tanto metodológicas quanto filosóficas. Do ponto de vista técnico, os resultados destacam a necessidade de avaliações comparativas mais rigorosas e de arquiteturas de modelos especificamente concebidas para captar a diversidade em nível populacional. Filosoficamente, contestam a ideia de que os LLMs possam funcionar como agentes epistêmicos confiáveis. Embora tais modelos possam simular regularidades linguísticas, fazem-no sem ancoragem na experiência vivida. Tratar suas saídas como dados sociais exige, portanto, um exame crítico, particularmente quando elas são utilizadas para ocupar o lugar de vozes humanas reais em questões de representação e justiça.

3 Respondentes sintéticos e a epistemologia das ciências sociais

A proposta de utilizar LLMs como participantes sintéticos de pesquisas por questionário suscita não apenas questões metodológicas, mas também profundas questões filosóficas sobre a natureza do conhecimento social e de sua produção. Em seu núcleo, essa prática emergente contesta pressupostos de longa data acerca do que significa coletar dados empíricos nas ciências sociais e acerca do estatuto ontológico das entidades das quais tais dados são obtidos.

Tradicionalmente, a pesquisa por questionário tem-se assentado no valor epistêmico do testemunho humano: os respondentes são tratados como agentes autônomos cujas respostas refletem experiências subjetivas, crenças e preferências. Os dados produzidos não são apenas saídas linguísticas; são frequentemente interpretados como reflexos dos estados cognitivos e das posições sociais de indivíduos reais. Contudo, a introdução da ‘amostragem com agentes artificiais’ baseada em LLMs complica essa perspectiva, suscitando uma questão crítica: tais saídas podem ser legitimamente tratadas como evidências de fenômenos sociais reais ou deveriam, em vez disso, ser consideradas meras simulações de um discurso plausível?

Essa questão diz respeito a debates mais profundos na filosofia das ciências sociais sobre a natureza da representação, da causalidade e da inferência. Segundo uma interpretação, o uso de LLMs pode ser visto como uma extensão do raciocínio baseado em modelos, já conhecido em outras áreas da ciência. Assim como modelos econômicos ou simulações baseadas em agentes exploram cenários contrafactuais com base em pressupostos formalizados, a amostragem com agentes artificiais gera dados hipotéticos que podem esclarecer possíveis configurações de opinião, dadas determinadas variáveis de contexto. Nesse sentido, os LLMs não funcionam como fontes de observação empírica direta, mas como modelos generativos sofisticados, cuja utilidade reside em sua capacidade de aproximar padrões complexos de associação.

Permanece, contudo, uma assimetria importante. Diferentemente dos modelos tradicionais, cuja estrutura é especificada explicitamente e cujos pressupostos podem ser examinados, os LLMs operam como sistemas opacos, cujas representações internas são distribuídas, possuem alta dimensionalidade e são apenas parcialmente interpretáveis. As relações que codificam entre categorias demográficas e opiniões são propriedades emergentes de seus dados de treinamento, e não o resultado de compromissos teóricos explícitos. Consequentemente, o estatuto epistêmico dos dados gerados por LLMs em pesquisas por questionário difere tanto daquele da observação direta quanto daquele da simulação clássica. O modelo pode produzir saídas que correspondem a regularidades observadas, mas sem que estejam assentadas nos mesmos mecanismos causais ou normativos que geram as atitudes humanas no mundo real.

Além disso, o uso de LLMs nesse contexto convida a uma reflexão sobre a distinção entre representação e participação na pesquisa social. As pesquisas por questionário convencionais envolvem participantes humanos como coconstrutores dos dados; suas respostas são atos de autorrepresentação, frequentemente moldados por normas de sinceridade, apresentação de si e interação com o pesquisador. Em contraste, um LLM simula padrões discursivos desvinculados de qualquer ancoragem experiencial. Essa ausência de agência (autonomia) participativa pode limitar a capacidade da amostragem com agentes artificiais de captar certas formas de reflexividade ou de raciocínio dependente do contexto que caracterizam grande parte da vida política e social humana.

Por fim, o uso de LLMs na pesquisa social suscita questões importantes sobre representação e justiça epistêmica. Como os dados de treinamento frequentemente refletem estruturas de poder existentes, simular as perspectivas de grupos marginalizados corre o risco de reforçar, em vez de contestar, os vieses subjacentes. Essas questões — relativas à voz, à exclusão e à ética da representação algorítmica —, bem como uma abordagem crítica dos LLMs, serão o foco da próxima seção.

4 Alinhamento, autoridade e os limites da aprendizagem de valores

As seções anteriores examinaram como os LLMs são empregados em contextos ética e epistemologicamente sensíveis — desde a emissão de juízos morais até a simulação de respostas humanas em pesquisas sociais por questionário. Contudo, esses usos revelam um paradoxo central: embora os LLMs sejam cada vez mais empregados para investigar valores humanos e atitudes sociais, eles próprios passam por alinhamento (alignment) — isto é, são deliberadamente filtrados e submetidos a ajuste fino para refletir determinadas normas sociais. Suas saídas não oferecem uma janela não mediada para a diversidade humana, mas são, antes, o resultado de escolhas normativas realizadas durante o treinamento e o reforço. Isso torna problemático, quando não circular, tratar os LLMs como instrumentos para estudar os próprios valores que eles foram concebidos para emular ou restringir.

O paradoxo torna-se particularmente premente em contextos que exigem sensibilidade ao desacordo moral, ao pluralismo cultural ou à desigualdade estrutural. Subjacente a essas tensões encontra-se uma questão central tanto para a filosofia quanto para a engenharia da inteligência artificial: o problema do alinhamento. À medida que os LLMs se tornam mais integrados a sistemas de tomada de decisão, ao discurso público e à investigação científica, a exigência de que sejam ‘alinhados aos valores humanos’ tornou-se um tema dominante tanto no desenvolvimento técnico quanto no debate normativo. Mas o que o alinhamento efetivamente envolve? E pode ele ser alcançado de maneira dotada de sentido em domínios caracterizados por desacordo persistente e por concepções contestadas do bem?

Em termos básicos, o alinhamento refere-se ao objetivo de projetar sistemas de IA cujas saídas estejam em conformidade com expectativas, preferências ou padrões morais humanos. Em termos técnicos, isso frequentemente envolve métodos como o aprendizado por reforço com feedback humano, restrições baseadas em regras e engenharia de prompts, a fim de reduzir saídas prejudiciais ou incentivar determinados parâmetros normativos de referência. Contudo, mesmo essas intervenções aparentemente procedimentais dependem de juízos de valor prévios — acerca de quais resultados devem ser considerados desejáveis, quais vozes devem receber prioridade e quais formas de comportamento devem ser restringidas. O alinhamento, portanto, nunca é um problema puramente técnico; é também um problema político e ético.

Isso se torna especialmente saliente quando os modelos são empregados em contextos nos quais é provável que suas saídas sejam interpretadas como dotadas de autoridade ou como normativas. Como discutido no caso do Delphi, mesmo quando os desenvolvedores apresentam tais sistemas como exploratórios ou descritivos, sua linguagem e sua interface frequentemente transmitem uma aparência de expertise moral. Uma vez que um modelo é utilizado para responder a questões sobre o que deve ser feito, em vez de apenas sobre o que é dito, ele ingressa em um espaço de autoridade performativa — um espaço no qual as saídas são tomadas não simplesmente como representações, mas como orientação. Em tais contextos, o alinhamento torna-se entrelaçado com a legitimidade. Não se trata apenas de gerar um texto plausível, mas de responder adequadamente a expectativas morais e políticas que variam entre comunidades e contextos.

Esses desafios são ampliados ainda mais quando os LLMs são utilizados em aplicações nas ciências sociais, nas quais se espera que simulem a opinião pública, prevejam o comportamento eleitoral ou modelem associações culturais. Como vimos, tais usos frequentemente pressupõem que alinhar um modelo a perfis demográficos ou distribuições estatísticas equivale a representar um grupo social. Contudo, esse pressuposto é altamente problemático. As categorias utilizadas para o condicionamento podem ser redutoras; os dados de treinamento podem refletir exclusões históricas; e as saídas podem reforçar pressupostos normativos que permanecem incontestados. Nesse contexto, o conceito de alinhamento não pode ser reduzido à correspondência estatística. Ele também deve enfrentar questões de representação, voz e justiça epistêmica.

Embora algumas iniciativas técnicas procurem mitigar o viés ou aprimorar a fidelidade demográfica, elas frequentemente tratam o alinhamento como um alvo estático — um conjunto de valores predefinidos a serem codificados ou otimizados. Contudo, como observado brevemente antes, muitos filósofos sustentaram que a vida moral e política não é regida por um consenso fixo, mas por processos contínuos de desacordo, contestação e mudança. Em tal cenário, a aspiração de alinhar um modelo aos ‘valores humanos’ torna-se não apenas ambígua, mas potencialmente enganosa. Valores de quem? Sob quais condições? E com que direito de falar?

Em vez de buscar o alinhamento como uma forma de codificação de valores ou de controle comportamental, poderíamos concebê-lo como um processo contínuo de negociação, que exige transparência, contestabilidade (contestability) e deliberação pública. O desafio não consiste em programar o consenso, mas em projetar sistemas — e instituições — que permaneçam abertos ao dissenso, à pluralidade e à revisão. Somente então o alinhamento poderá ser mais do que uma expressão que apenas ocupa o lugar da certeza moral e, em vez disso, tornar-se parte de uma resposta democrática mais ampla à integração de sistemas artificiais à vida humana.

No entanto, essa visão também suscita questões mais profundas sobre poder, ideologia e os próprios quadros por meio dos quais abordamos o alinhamento. Quem estabelece os termos do alinhamento? Os valores de quem são codificados, e os de quem são excluídos? De que maneiras esses sistemas reforçam hierarquias existentes ou reconfiguram as condições para a agência e a crítica? Para abordar essas questões, o próximo capítulo volta-se para a teoria crítica, examinando como os LLMs participam de estruturas mais amplas de significado, autoridade e reprodução social — e o que poderia significar resistir a essas estruturas ou reconfigurá-las.

Referências

Aher, G., Arriaga, R. I., and Tauman Kalai, A. (2023). Using large language models to simulate multiple humans and replicate human subject studies. In Proceedings of the 40th International Conference on Machine Learning (ICML), Honolulu, Hawaii, USA, PMLR, 202. https://dl.acm.org/doi/10.5555/3618408.3618425

Ananny, M., and Crawford, K. (2016). Seeing without knowing: Limitations of the transparency ideal and its application to algorithmic accountability. New Media & Society, 20(3), 973–989. https://doi.org/10.1177/1461444816676645

Angwin, J., Larson, J., Mattu, S., and Kirchner, L. (2016, May 23). Machine bias: There’s software used across the country to predict future criminals. And it’s biased against Blacks. ProPublica. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., and Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337–351. https://doi.org/10.1017/pan.2023.2

Ashwini, A., Hewitt, L., Ghezae, I., and Willer, R. (2024). Predicting results of social science experiments using large language models. https://www.treatmenteffect.app/

Birhane, A., Kalluri, P., Card, D., Agnew, W., Dotan, R., and Bao, M. (2022). The values encoded in machine learning research. In 2022 ACM Conference on Fairness, Accountability, and Transparency (FAccT ’22), June 21–24, 2022, Seoul, Republic of Korea. https://doi.org/10.1145/3531146.3533083

Bisbee, J., Clinton, J. D., Dorff, C., Kenkel, B., and Larson, J. M. (2024). Synthetic replacements for human survey data? The perils of large language models. Political Analysis, 32(4), 401–416. https://doi.org/10.1017/pan.2024.5

Boelaert, J., Coavoux, S., Ollion, É., Petev, I., and Präg, P. (2025). Machine bias: How do generative language models answer opinion polls? Sociological Methods & Research, 54(3), 1156–1196. https://doi.org/10.1177/00491241251330582

Cao, Y., Zhou, L., Lee, S., Cabello, L., Chen, M., and Hershcovich, D. (2023). Assessing cross-cultural alignment between ChatGPT and human societies: An empirical study. In Proceedings of the First Workshop on Cross-Cultural Considerations in NLP (C3NLP), Dubrovnik, Croatia (pp. 53–67). https://aclanthology.org/2023.c3nlp-1.7/

Dennett, D. C. (1984). Elbow room: The varieties of free will worth wanting. MIT Press.

Dillion, D., Tandon, N., Gu, Y., and Gray, K. (2023). Can AI language models replace human participants? Trends in Cognitive Sciences, 27(7), 597–600. https://doi.org/10.1016/j.tics.2023.04.008

Eubanks, V. (2018). Automating inequality: How high-tech tools profile, police, and punish the poor. St. Martin’s Press.

Frankfurt, H. (1971). Freedom of the will and the concept of a person. Journal of Philosophy, 68(1), 5–20.

Horton, J. (2023). Large language models as simulated economic agents. What can we learn from Homo silicus? NBER Working Paper No. 31122. https://doi.org/10.3386/w31122

Jiang, L., Hwang, J. D., Bhagavatula, C., Le Bras, R., Liang, J., Dodge, J., Sakaguchi, K., Forbes, M., Borchardt, J., Gabriel, S., Tsvetkov, Y., Etzioni, O., Sap, M., Rini, R., and Choi, Y. (2021). Can Machines Learn Morality? The Delphi Experiment. arXiv preprint. arXiv:2110.07574.

Jiang, L., Hwang, J. D., Bhagavatula, C., Le Bras, R., Liang, J. T., Levine, S., Dodge, J., Sakaguchi, K., Forbes, M., Hessel, J., Borchardt, J., Sorensen, T., Gabriel, S., Tsvetkov, Y., Etzioni, O., Sap, M., Rini, R., and Choi, Y. (2025). Investigating machine moral judgement through the Delphi experiment. Nature Machine Intelligence, 7, 145–160. https://doi.org/10.1038/s42256-024-00969-6

Lippert, S., Dreber, A., Johannesson, M., Tierney, W., Cyrus-Lai, W., Uhlmann, E. L., Emotion Expression Collaboration, and Pfeiffer, T. (2024). Can large language models help predict results from a complex behavioural science study? Royal Society Open Science, 11(9). https://doi.org/10.1098/rsos.240682

Motoki, F., Pinho Neto, V., and Rodrigues, V. (2024). More human than human. Measuring ChatGPT political bias. Public Choice, 198(1), 3–23. https://doi.org/10.1007/s11127-023-01097-2

Mouffe, C. (2000). The democratic paradox. Verso.

Rawls, J. (1951). Outline of a decision procedure for ethics. The Philosophical Review, 60(2), 177–197.

Rawls, J. (1971). A theory of justice. Harvard University Press.

Santurkar, S., Durmus, E., Ladhak, F., Lee, C., Liang, P., and Hashimoto, T. (2023). Whose opinions do language models reflect? arXiv preprint. https://doi.org/10.48550/arXiv.2303.17548

Strawson, P. F. (1962). Freedom and resentment. Proceedings of the British Academy, 48, 1–25.

Williams, B. (1985). Ethics and the limits of philosophy. Harvard University Press.

Young, I. M. (1990). Justice and the politics of difference. Princeton University Press.

CAPÍTULO 7

Modelos de linguagem de grande porte e pensamento crítico: viés, impacto social e implicações políticas

O desenvolvimento e a implementação dos modelos de linguagem de grande porte (LLMs) suscitam profundas questões epistemológicas, éticas e políticas acerca da natureza da representação, do poder e do alinhamento (alignment) na inteligência artificial. Um debate de grande repercussão sobre essas questões ocorreu em junho de 2020 entre Yann LeCun, pesquisador pioneiro em IA e cientista-chefe de IA da Meta, e Timnit Gebru, destacada pesquisadora em ética da IA e estudos sobre viés, que então trabalhava no Google. A troca entre ambos, que se desenrolou no Twitter, foi desencadeada por um modelo de aprendizado de máquina desenvolvido na Universidade Duke que procurava reconstruir imagens de alta resolução a partir de entradas pixelizadas. Quando recebeu uma imagem pixelizada de Barack Obama, o sistema produziu um rosto reconstruído que se assemelhava ao de um homem branco, revelando uma distorção marcante e problemática.

LeCun respondeu atribuindo essa falha ao viés do conjunto de dados, sustentando que a saída do modelo era consequência de dados de treinamento que não eram suficientemente representativos. Ele sugeriu que, se o conjunto de dados fosse composto principalmente de imagens do Senegal, por exemplo, o modelo teria reconstruído rostos com traços africanos. Essa perspectiva, comum na pesquisa técnica em IA, trata o viés como um artefato estatístico que pode ser mitigado por meio de uma melhor curadoria dos dados — assegurando conjuntos de dados mais diversificados e representativos.

Gebru, contudo, contestou vigorosamente esse enquadramento, sustentando que o viés na IA não é meramente uma questão técnica, mas um reflexo de desigualdades sociais e estruturais mais profundas. Ela argumentou que a simples diversificação dos conjuntos de dados não enfrenta as dinâmicas mais amplas de poder, as injustiças históricas e os vieses sistêmicos que moldam o modo como as tecnologias de IA são projetadas e implementadas. De sua perspectiva, tratar o viés como uma falha técnica desconsidera as maneiras pelas quais os sistemas de IA reforçam hierarquias sociais existentes, particularmente segundo divisões de raça, gênero e condição econômica. Esse debate condensa uma divisão mais ampla no interior da comunidade de IA: uma abordagem considera o viés um problema de representação estatística, ao passo que a outra o enquadra como uma questão de justiça social que exige mudança sistêmica.

Essa tensão entre as perspectivas técnica e sociopolítica acerca do viés na IA revela os limites de soluções orientadas exclusivamente pela engenharia. Embora o aumento da diversidade dos conjuntos de dados possa reduzir certos tipos de viés, ele não contesta fundamentalmente os pressupostos, os incentivos e as estruturas de poder incorporados ao desenvolvimento da IA. Uma abordagem mais abrangente da imparcialidade na IA deve, portanto, ir além de correções técnicas e considerar as dimensões éticas, políticas e sociais mais amplas dessas tecnologias.

O pensamento crítico oferece uma perspectiva importante e complementar sobre a IA ao possibilitar o descentramento das narrativas dominantes acerca do aprendizado de máquina. Em vez de aceitarem a IA como um campo neutro ou puramente técnico, as abordagens críticas questionam as forças sociais, históricas e ideológicas que moldam seu desenvolvimento. Elas nos incentivam a perguntar não apenas como a IA funciona, mas também a que interesses ela serve, quais valores codifica e quais formas de conhecimento privilegia ou marginaliza. Ao integrar a investigação crítica ao conhecimento técnico especializado, podemos ir além de quadros restritos de resolução de problemas, em direção a uma compreensão mais profunda do papel da IA na conformação da sociedade contemporânea. Este capítulo examina esses temas, investigando como as perspectivas críticas enriquecem as discussões sobre o viés na IA e abrem novas possibilidades para tecnologias mais justas e equitativas.

1 Repensando a neutralidade da IA: poder, política e a conformação social da tecnologia

O debate público entre Yann LeCun e Timnit Gebru acerca do viés no aprendizado de máquina traz à luz uma questão filosófica fundamental: a tecnologia é uma ferramenta neutra ou é inevitavelmente moldada pelos contextos sociais, políticos e históricos nos quais é criada e implementada? Essa tensão encontra-se no cerne dos debates em torno da imparcialidade e da responsabilização na IA, revelando uma profunda divisão entre explicações técnicas e críticas mais amplas do poder e da estrutura social.

Segundo a perspectiva dominante no interior da ciência da computação e da engenharia, os sistemas de IA são considerados instrumentos neutros. Os problemas de viés são enquadrados como falhas técnicas — resultantes, sobretudo, de conjuntos de dados não representativos ou distorcidos. Dessa perspectiva, a imparcialidade pode ser alcançada mediante dados de melhor qualidade e técnicas de otimização aprimoradas. Contudo, essa concepção instrumentalista da tecnologia é contestada há muito tempo por filósofos e teóricos que sustentam que tal compreensão oculta os modos mais profundos pelos quais as tecnologias moldam a sociedade e são por ela moldadas.

Langdon Winner (2004 [1968]) adverte contra aquilo que denomina ‘sonambulismo tecnológico’ (technological somnambulism) — o pressuposto irrefletido de que as tecnologias são externas à política e aos valores. Em sua concepção, as tecnologias não são apenas ferramentas passivas, mas participantes ativos na organização da vida social. Longe de serem neutras, elas incorporam determinados arranjos de poder e podem reproduzir ou mesmo arraigar hierarquias existentes (Winner, 1980). Sistemas de reconhecimento facial que identificam erroneamente pessoas não brancas não estão meramente deixando de operar com acurácia; eles refletem e perpetuam disparidades raciais de longa data inscritas nos quadros institucionais e sociais nos quais essas ferramentas são implementadas.

Essa ideia é central para o trabalho de Timnit Gebru, que sustenta que os sistemas de IA herdam as desigualdades estruturais dos ambientes nos quais são desenvolvidos — instituições corporativas, acadêmicas e governamentais que historicamente privilegiaram determinadas perspectivas e populações. Juntamente com Joy Buolamwini, Gebru (2018) mostrou como as próprias definições de imparcialidade e acurácia são moldadas por aqueles que detêm o poder. Desse ponto de vista, as soluções técnicas, por si sós, são insuficientes, porque os valores e pressupostos subjacentes que orientam o desenvolvimento da IA permanecem sem ser examinados.

A ideia de que a tecnologia reflete prioridades políticas e econômicas mais amplas é desenvolvida ainda mais por Andrew Feenberg (1999), que rejeita o determinismo tecnológico em favor de uma explicação construtivista. Para Feenberg, os sistemas tecnológicos não surgem isoladamente das forças sociais; são moldados pelas intenções, pelos interesses e pelas restrições daqueles que os projetam e controlam. Isso significa que o desenvolvimento da IA — as decisões acerca dos dados, das arquiteturas dos modelos e dos objetivos de otimização — é inseparável das agendas institucionais, particularmente daquelas dos atores corporativos dominantes. Assim como Gebru, Feenberg reivindica a democratização da tecnologia mediante a abertura dos processos decisórios a públicos mais diversos, assegurando que as escolhas de design reflitam não apenas imperativos comerciais, mas também preocupações sociais e éticas.

Essa posição também se alinha a tendências mais amplas dos estudos de ciência e tecnologia (science and technology studies, STS), particularmente ao quadro da construção social da tecnologia (social construction of technology, SCOT), desenvolvido por Trevor Pinch e Wiebe Bijker (1984). A SCOT enfatiza como diferentes grupos sociais influenciam o desenvolvimento e a interpretação dos artefatos tecnológicos. Aplicada à IA, essa perspectiva significa que as prioridades das grandes empresas de tecnologia — monetização, extração de dados e otimização de plataformas — moldam fortemente os rumos da pesquisa e as formas concretas de implementação. Os parâmetros técnicos não são neutros: codificam uma lógica comercial e pressupostos culturais que frequentemente relegam o interesse público ou a equidade a segundo plano.

O que distingue essas perspectivas diz menos respeito a uma divergência do que a uma diferença de ênfase. Gebru destaca a reprodução institucional e histórica da desigualdade; Feenberg enfatiza a natureza política das escolhas de design e defende uma governança participativa; a SCOT coloca em primeiro plano a multiplicidade dos atores sociais e suas negociações na conformação dos resultados tecnológicos. Em conjunto, elas oferecem uma crítica convergente: os sistemas de IA não são construídos no vazio, e sua suposta neutralidade mascara uma interação complexa entre poder, interesse e ideologia.

A ilusão da neutralidade tecnológica também é contestada em um nível mais conceitual. Heidegger, em The Question Concerning Technology (1954), descreve a tecnologia não apenas como um meio para um fim, mas como um modo de revelação do mundo — um modo de percepção que ele denomina Gestell, ou enquadramento. Dessa perspectiva, as tecnologias não se limitam a processar informações; elas moldam aquilo que pode ser visto, dito e feito. Os sistemas de IA exemplificam essa lógica: suas classificações e previsões estruturam o modo como a realidade social é percebida e como se age em seu interior. Quando um algoritmo reconstrói como branco o rosto de uma pessoa negra, não está apenas cometendo um erro de representação — está pondo em operação um quadro normativo que exclui ou distorce determinadas identidades.

De maneira semelhante, Jacques Ellul (1964) adverte que os sistemas tecnológicos modernos operam segundo uma lógica autônoma da eficiência, subordinando o juízo ético à busca de controle e otimização. Nas aplicações de IA, essa dinâmica torna-se evidente no impulso em favor de soluções escaláveis e padronizadas em domínios como a saúde, a educação e a justiça criminal. O resultado é frequentemente uma desconsideração da complexidade, da diferença ou das nuances morais — processo que reforça aquilo que Ellul considera a trajetória desumanizadora da racionalidade técnica.

O que emerge dessas críticas parcialmente sobrepostas é uma rejeição coerente do mito de que a tecnologia — e, em particular, a IA — seja apolítica ou objetiva. O debate entre LeCun e Gebru representa, portanto, mais do que uma divergência técnica: marca uma divisão filosófica mais profunda quanto à possibilidade de dissociar as tecnologias das estruturas de poder que as moldam. Compreender a IA por essa perspectiva exige mais do que aperfeiçoar conjuntos de dados ou melhorar métricas. Exige um exame contínuo das instituições, dos valores e dos interesses que determinam como as tecnologias são construídas, avaliadas e utilizadas.

Enfrentar o viés na IA não é apenas uma questão de correção técnica, mas também de imaginação política. Isso exige novas formas de governança, uma participação mais ampla no design tecnológico e a disposição de confrontar as histórias de exclusão e dominação que continuam a moldar as infraestruturas digitais do presente.

2 Deslocando a perspectiva centrada na IA por meio do pensamento crítico

O pensamento crítico, definido em sentido amplo, refere-se a uma atitude reflexiva e questionadora que contesta pressupostos, examina relações de poder e avalia as consequências éticas de decisões e práticas. No contexto da IA, o pensamento crítico vai além de correções técnicas restritas para abordar questões mais amplas de poder, agência (autonomia) e epistemologia. Ele pergunta não apenas como a IA funciona, mas a quais interesses serve, quais valores codifica e quem pode ser marginalizado ou prejudicado por sua implementação.

2.1 Pensamento crítico e a ética situada da imparcialidade

Essa abordagem é essencial para enfrentar os vieses estruturais e as iniquidades que os sistemas de IA podem reproduzir. Valores universais como a imparcialidade e a igualdade frequentemente motivam os esforços para aprimorar a IA, mas, se esses valores forem aplicados de maneira supostamente neutra e independente do contexto, correm o risco de reproduzir justamente as estruturas de poder que pretendem superar (Noble, 2018; Benjamin, 2019). Sistemas de IA treinados com dados que refletem desigualdades sistêmicas tendem a amplificar esses mesmos padrões, mesmo sob a bandeira da objetividade. Esse problema foi amplamente documentado na literatura sobre ética da IA, especialmente no caso de conjuntos de dados de imagens (Birhane e Prabhu, 2021).

A própria imparcialidade não é um princípio único e universal, mas um conceito contestado e situado (Binns, 2018). Diferentes tradições culturais e filosóficas definem a imparcialidade de maneiras distintas, seja em termos de tratamento igual, seja em termos de uma equidade que leve em consideração as desvantagens estruturais. O pensamento crítico ajuda a expor essas diferenças e contesta a tendência da IA de adotar padrões culturais dominantes como se fossem normas universais.

Essas definições concorrentes de imparcialidade não existem no vazio. Elas são mediadas por instituições e empresas que detêm o poder de padronizar valores em sistemas técnicos. Como sustentou Kate Crawford (2021), a influência global das principais empresas de tecnologia frequentemente impõe determinadas epistemologias e valores em escala mundial, reforçando as hierarquias existentes, em vez de desmantelá-las. É o pensamento crítico que nos permite investigar como tais dinâmicas de poder moldam as próprias categorias de imparcialidade que são operacionalizadas na IA.

Embora por vezes seja descartado como impraticável, o pensamento crítico é indispensável. Ele complementa as reformas de políticas públicas, a colaboração interdisciplinar e a participação das comunidades afetadas. Ao questionar continuamente os pressupostos, contribui para o desenvolvimento de sistemas de IA que não sejam apenas tecnicamente robustos, mas também passíveis de responsabilização ética e social. Nesse sentido, o pensamento crítico não se opõe aos valores universais, mas ajuda a assegurar que eles permaneçam inclusivos, dinâmicos e abertos à revisão, fortalecendo sua legitimidade e sua relevância em um mundo diversificado.

2.2 Lições do debate sobre o papagaio estocástico (probabilístico)

Uma segunda perspectiva crítica importante emerge do debate sobre o ‘papagaio estocástico’, assim denominado por Bender et al. (2021), que chamou considerável atenção para os limites e os riscos dos LLMs. Como discutido no Capítulo 1, Bender e seus colegas sustentam que os LLMs geram linguagem com base em padrões probabilísticos, sem compreensão semântica ou conceitual, o que os torna suscetíveis de produzir diversos danos amplamente documentados.

Em primeiro lugar, esses modelos podem reproduzir e amplificar os vieses sociais presentes em seus dados de treinamento, arraigando estereótipos nocivos (Gururangan et al., 2022). Em segundo lugar, suas enormes exigências computacionais produzem graves impactos ambientais, suscitando questões acerca do uso responsável de recursos e da sustentabilidade (Strubell et al., 2019) — retornaremos a esse tema no Capítulo 9. Em terceiro lugar, sua capacidade de gerar grandes quantidades de texto sintético que soa plausível, sem mecanismos de verificação, cria um terreno fértil para a informação incorreta, os deepfakes e a erosão da confiança pública na comunicação (Floridi e Chiriatti, 2020). Esses problemas estão em consonância com críticas filosóficas mais amplas acerca do risco de os sistemas de IA reforçarem as estruturas de dominação existentes, em vez de contestá-las.

Para além desses riscos específicos, há uma preocupação epistêmica mais profunda: ao terceirizar a produção linguística para modelos estatísticos, a sociedade corre o risco de reduzir o papel da agência humana na produção de significado, com a possibilidade de padronizar e estreitar o discurso (Foucault, 1971). Isso ameaça solapar a criatividade e o envolvimento crítico, especialmente em campos como o jornalismo, a educação ou as artes.

Esses desafios não são meramente teóricos. Incidentes do mundo real — algoritmos de contratação com viés, desinformação gerada por IA ou vigilância discriminatória — demonstram as consequências tangíveis da implementação de LLMs sem supervisão adequada. Enfrentar essas preocupações exige um esforço multidisciplinar que articule análises técnicas, filosóficas e sociopolíticas. A questão central continua sendo como aproveitar o potencial dos LLMs, ao mesmo tempo que se alinha seu desenvolvimento à justiça social, à responsabilização democrática e à responsabilidade ecológica.

3 Viés na IA, universalismo e a epistemologia da representação

Embora seja frequentemente abordado como um desafio puramente técnico, o viés na IA é muito mais profundo: ele é intrínseco a qualquer sistema que procure representar o mundo. Todo ato de representação — seja na linguagem, em imagens ou em modelos estatísticos — envolve inevitavelmente uma perspectiva, um enquadramento da realidade segundo determinadas escolhas, normas e pressupostos. Esse fato fundamental cria uma tensão filosófica: se o universalismo dos valores exige neutralidade, objetividade e imparcialidade, como pode ser conciliado com a inevitabilidade do viés? Essa tensão é particularmente premente na ética da IA, na qual o objetivo de criar sistemas universalmente imparciais e isentos de viés entra em conflito com a realidade de que todo sistema de IA reflete necessariamente um ponto de vista particular.

Representar o mundo — mesmo sob forma estatística ou linguística — é fazer seleções, definir prioridades e codificar pressupostos normativos. Nesse sentido, os LLMs não se limitam a espelhar o mundo; eles herdam, reproduzem e frequentemente amplificam as estruturas históricas, culturais e políticas inscritas em seus dados de treinamento. Quando geram linguagem, realizam uma espécie de atuação epistêmica — uma atuação que reflete não apenas padrões presentes nos dados, mas também os imaginários sociais e as relações de poder dos quais esses padrões emergiram.

A epistemologia dominante no campo da IA — especialmente na vertente dominante da ciência da computação — tende a pressupor que o significado pode ser reduzido a padrões de uso e que o conhecimento pode ser generalizado de um contexto a outro por meio de regularidades estatísticas. Esse modelo deixa pouco espaço para a contestação normativa, a posicionalidade e o pluralismo epistêmico que caracterizam a vida humana. Também corre o risco de universalizar determinado ponto de vista dominante sob a aparência de objetividade. Como sustentam estudiosos dos estudos de ciência e tecnologia (STS), aquilo que é apresentado como computação neutra é frequentemente uma ‘visão de lugar nenhum’ que mascara sua própria parcialidade (Haraway, 1988; Nagel, 1986).

A tarefa, portanto, não consiste simplesmente em ‘desenviesar’ a IA, mas em interrogar criticamente os fundamentos epistemológicos dos sistemas de IA: como eles codificam o conhecimento, quais conhecimentos privilegiam e de quem são esses conhecimentos, e quais formas de conhecer são marginalizadas ou excluídas. Em vez de considerar o viés um erro eliminável, este capítulo sustenta que o viés é uma condição estrutural da representação e uma característica inevitável dos sistemas situados em contextos sociais e históricos específicos. Essa perspectiva exige que a imparcialidade seja reconcebida, não como um estado ideal de neutralidade, mas como uma negociação contínua entre compromissos normativos concorrentes. As seções seguintes desenvolverão esse argumento por meio de uma tipologia dos vieses na IA e de uma série de perspectivas críticas — feministas, decoloniais e antirracistas — que esclarecem o que está política e eticamente em jogo no modo como os LLMs conhecem e falam.

3.1 Uma tipologia dos vieses em sistemas de IA

Uma compreensão mais nuançada do viés exige que se vá além do termo singular ‘viés’, em direção a uma tipologia pluralista e estruturada. Nem todos os vieses presentes em sistemas de IA são da mesma espécie, nem todos surgem das mesmas causas ou produzem as mesmas consequências. Como sustentam Suresh e Guttag (2021), diferentes vieses operam em diferentes etapas do processo de aprendizado de máquina, desde a coleta dos dados até a implementação do modelo. Uma tipologia dos vieses cumpre, assim, uma função tanto diagnóstica quanto filosófica: esclarece as diferentes maneiras pelas quais os sistemas de IA podem entrelaçar-se com desigualdades sociais e convida a uma reflexão mais profunda sobre os pressupostos epistêmicos subjacentes a esses sistemas. A tipologia abaixo segue de perto aquela proposta por Suresh e Guttag (2021):

Viés histórico. O viés histórico ocorre quando os dados usados para treinar sistemas de IA refletem desigualdades estruturais, exclusões ou injustiças preexistentes. Essa forma de viés não é apenas produto de uma amostragem inadequada dos dados ou de um erro técnico, mas consequência de se espelhar fielmente um mundo que já é injusto. Por exemplo, algoritmos de policiamento preditivo que se baseiam em dados anteriores de prisões correm o risco de reforçar padrões de perfilamento racial, simplesmente porque os dados históricos refletem práticas policiais discriminatórias (Richardson et al., 2019).

Filosoficamente, o viés histórico suscita a questão de saber se um conhecimento que reflete com exatidão o passado ainda pode ser injusto. Como sustentou Hacking (1990), a representação estatística está sempre entrelaçada com as categorias por meio das quais as instituições intervêm no mundo; o ciclo de retroalimentação entre representação e realidade significa que os sistemas de IA não se limitam a descrever o mundo, mas participam ativamente de sua reprodução.

Viés de representação. O viés de representação surge quando determinados grupos ou perspectivas são sub-representados ou representados de maneira equivocada nos conjuntos de dados de treinamento. No caso dos LLMs, isso pode ocorrer quando o conjunto de textos é constituído predominantemente por textos provenientes de grupos demograficamente majoritários — frequentemente homens, pessoas brancas e habitantes do Norte Global —, levando a modelos que sistematicamente negligenciam ou estereotipam outras vozes. Esse problema é particularmente saliente no caso de sistemas que reivindicam aplicabilidade geral, pois sua universalidade é solapada por uma base de treinamento de escopo restrito.

O viés de representação também se cruza com a justiça epistêmica. O conceito de injustiça testemunhal de Fricker (2007) — a desvalorização injusta da credibilidade de um falante com base em sua identidade — ajuda a explicar por que algumas perspectivas são sistematicamente excluídas dos conjuntos de textos de treinamento ou tratadas como dotadas de menor autoridade. Os LLMs treinados com dados da web herdam essas exclusões e podem reproduzi-las inadvertidamente em suas saídas.

Viés de mensuração. O viés de mensuração ocorre quando as características ou variáveis substitutas (proxies) usadas na modelagem não captam os fenômenos subjacentes de maneira equitativa ou significativa. Por exemplo, usar o código postal como variável substituta da capacidade de crédito pode codificar a segregação socioeconômica e racial em modelos supostamente neutros. Nos LLMs, ferramentas de análise de sentimentos treinadas com dialetos específicos podem deixar de detectar sarcasmo ou nuances culturais, produzindo classificações equivocadas que refletem pressupostos normativos sobre o uso da linguagem.

Essa forma de viés põe em evidência o problema epistemológico das variáveis substitutas — isto é, a redução de construtos sociais complexos a métricas quantificáveis. Ela ecoa a crítica de Hacking (1986) a ‘inventar pessoas’: os modos pelos quais categorias e classificações moldam as realidades que pretendem medir.

Viés de agregação. O viés de agregação resulta do pressuposto de que um único modelo pode ser igualmente válido para todos os usuários ou subpopulações. Isso é particularmente problemático em contextos nos quais as diferenças entre grupos são significativas — como na saúde, na educação ou no uso da linguagem. Modelos que generalizam entre populações diversificadas frequentemente apresentam melhor desempenho para grupos majoritários e pior desempenho para grupos marginalizados, codificando efetivamente a iniquidade por meio do cálculo de médias estatísticas.

A questão ética aqui não é apenas distributiva — quem recebe uma previsão pior —, mas epistêmica: a variação de quem é considerada ruído e a de quem é modelada como sinal? O viés de agregação ilustra os limites filosóficos dos pressupostos universalistas no aprendizado de máquina — particularmente a presunção de que a imparcialidade pode ser definida independentemente do contexto social.

Viés de implementação. Mesmo modelos bem projetados podem causar danos caso sejam implementados em contextos para os quais não foram concebidos. O viés de implementação refere-se à lacuna entre o ambiente de treinamento de um modelo e sua aplicação no mundo real. Por exemplo, um modelo de linguagem submetido a ajuste fino para resumir artigos jornalísticos poderia ser usado para avaliar documentos jurídicos ou registros de saúde mental, com consequências imprevisíveis. Essa forma de viés ressalta a importância da ética situada e da avaliação contextual.

Ela também reflete preocupações mais amplas da filosofia da tecnologia acerca do determinismo tecnológico e da construção social do uso (Oudshoorn e Pinch, 2003; Winner, 1980). As ferramentas não são neutras; seus efeitos dependem do modo como são integradas às práticas humanas e às lógicas institucionais.

Viés epistêmico e normativo. Por fim, o viés epistêmico refere-se aos pressupostos normativos acerca do conhecimento, da verdade e do valor que estão incorporados à arquitetura dos sistemas de IA. Os LLMs, por exemplo, frequentemente se apoiam na frequência estatística como variável substituta da saliência ou da credibilidade, equiparando efetivamente aquilo que é comum àquilo que é correto. Isso cria o que poderíamos denominar uma epistemologia majoritária, na qual as perspectivas dominantes são amplificadas e as perspectivas dissidentes são marginalizadas.

Esse problema apresenta ressonâncias com as críticas à normatividade algorítmica — os modos pelos quais a regularidade estatística passa a ocupar o lugar da autoridade moral ou epistêmica. Como Longino (1990) enfatizou na epistemologia feminista, a objetividade exige a inclusão de perspectivas diversificadas, e não seu apagamento sob a aparência de universalismo.

Essas formas de viés não são mutuamente excludentes e, na prática, frequentemente se reforçam umas às outras. O que as une é sua significação epistemológica: elas revelam que os sistemas de IA não são meramente ferramentas para representar o mundo, mas participantes da construção contínua da realidade social. Enquanto Suresh e Guttag (2021) oferecem uma tipologia abrangente, assentada no processo técnico dos sistemas de aprendizado de máquina, Hovy e Prabhumoye (2021) propõem uma classificação ligeiramente diferente, fundamentada mais explicitamente nas dimensões linguísticas e sociais do viés no processamento de linguagem natural (PLN): vieses ligados aos dados, à anotação, às representações dos dados de entrada, aos algoritmos/modelos ou ao desenho da pesquisa/avaliação. As próximas seções examinarão como diferentes tradições críticas — feminista, antirracista e decolonial — respondem a essa condição, oferecendo maneiras alternativas de compreender a imparcialidade, a objetividade e o conhecimento na era dos LLMs.

3.2 Abordagens feministas: viés de gênero e conhecimentos situados

A teoria feminista oferece uma das críticas mais contínuas ao ideal de objetividade subjacente a grande parte do discurso dominante sobre a IA. Em vez de considerar o viés um desvio em relação a uma norma neutra, as ⁠epistemologias feministas compreendem todo conhecimento como situado, parcial e moldado pelo poder. Nessa perspectiva, os LLMs não são espelhos neutros, mas agentes discursivos treinados com conjuntos de textos culturalmente específicos e frequentemente patriarcais. Suas saídas refletem não apenas padrões estatísticos, mas também os imaginários sociais e as estruturas institucionais de poder que moldam esses padrões.

O conceito de conhecimento situado, de Donna Haraway (1988), é fundamental nesse contexto. Em vez de aspirar a um ‘ponto de vista de Deus’, Haraway sustenta que a objetividade exige reconhecer e levar em consideração a própria posição. Aplicada à IA, essa concepção sugere que os LLMs não devem ser julgados segundo padrões ilusórios de neutralidade epistêmica, mas segundo as posições epistêmicas que reproduzem e as exclusões que efetivam. Quando os LLMs geram linguagem, fazem-no no interior de uma matriz de associações aprendidas — muitas das quais naturalizam normas sociais dominantes e frequentemente excludentes.

Uma consequência bem documentada é a reprodução de estereótipos de gênero em sistemas de processamento de linguagem natural (PLN). Bolukbasi et al. (2016) mostram que representações vetoriais de palavras associam ‘man’ a ‘programmer’ e ‘woman’ a ‘homemaker’, revelando como modelos treinados com grandes conjuntos de textos podem amplificar e legitimar a desigualdade sistêmica. Essas saídas contribuem para aquilo que Fricker (2007) denomina ‘injustiça hermenêutica’: o dano estrutural que surge quando grupos marginalizados carecem dos recursos conceituais necessários para articular ou validar suas experiências. Nesse sentido, os LLMs não apenas refletem o viés social, mas participam de sua reprodução epistêmica.

As críticas feministas ampliam, assim, a noção de viés, fazendo-a passar do erro técnico à violência epistêmica — o silenciamento, a distorção ou a desvalorização de determinadas formas de conhecer. Essa perspectiva está em consonância com as críticas aos sistemas de IA como ‘tecnologias de classificação’ (Bowker e Star, 1999), nas quais as saídas algorítmicas estruturam as categorias por meio das quais as pessoas são reconhecidas e governadas.

A interseccionalidade, conceito introduzido por Kimberlé Crenshaw, aprofunda ainda mais essa análise ao examinar como sistemas de opressão — como o racismo, o sexismo e o classismo — interagem de maneiras que agravam seus efeitos. Uma abordagem interseccional da IA põe em evidência como modelos treinados com dados não marcados ou provenientes de grupos majoritários frequentemente representam de maneira equivocada ou excluem aqueles que se encontram às margens, incluindo mulheres negras, pessoas trans e usuários com deficiência. As consequências não são apenas representacionais. Estudos como o de Buolamwini e Gebru (2018), sobre disparidades raciais e de gênero no reconhecimento facial, mostram que falhas técnicas podem traduzir-se em danos sociais. No caso dos LLMs, a sub-representação de dialetos como o inglês vernáculo afro-americano pode levar a classificações equivocadas em sistemas de análise de sentimentos (Sap et al., 2019), reforçando estereótipos nocivos e produzindo consequências materiais em domínios como a contratação, o policiamento e a moderação.

Em resposta, teóricas feministas propuseram metodologias de design fundamentadas na reflexividade, no cuidado e na justiça participativa. Como sustenta Costanza-Chock (2020) em Design Justice, sistemas de IA mais justos devem colocar no centro, desde o princípio, as experiências vividas das comunidades marginalizadas, em vez de incorporar a imparcialidade a posteriori.

Essas abordagens apresentam ressonâncias com o design sensível a valores (Friedman e Hendry, 2019) e apoiam modelos de aprendizado de máquina participativo nos quais as comunidades afetadas não sejam meras fontes de dados, mas agentes epistêmicos na conformação dos futuros tecnológicos.

Tais metodologias assentam-se em teorias relacionais do conhecimento, enfatizando a responsabilização mútua e o reconhecimento, em vez da abstração e do rigor formal. Elas contestam os modelos dominantes de desenvolvimento da IA, que frequentemente priorizam a eficiência e a capacidade de generalização em detrimento do contexto e da especificidade.

Por fim, teóricas feministas chamaram a atenção para a política da voz nos sistemas de IA. Embora os LLMs sejam frequentemente avaliados em termos de fluência e coerência, a questão mais profunda diz respeito à audibilidade: quais vozes são reconhecidas como legítimas? Quando os modelos privilegiam normas linguísticas dominantes e suprimem ou exotizam outras, correm o risco de contribuir para formas de silenciamento epistêmico, no sentido criticado por Spivak (1988) em ‘Can the Subaltern Speak?’. A pergunta que ela formula — ‘Pode o subalterno falar?’ — poderia ser reformulada atualmente, no contexto da IA generativa, como ‘Pode o subalterno ser gerado?’.

Essa não é apenas uma pergunta retórica, mas uma exigência de responsabilidade epistêmica. Ela desafia projetistas, pesquisadores e instituições a considerar como os modelos de linguagem poderiam tornar-se responsivos à multiplicidade de vozes e de mundos da vida que pretendem representar. As abordagens feministas reenquadram, assim, o viés na IA não simplesmente como uma falha técnica, mas como sintoma de desigualdade estrutural e exclusão epistêmica. Elas reivindicam novas formas de conhecer — fundamentadas na posicionalidade, na responsabilização e na justiça.

3.3 Raça, poder e estudos críticos de algoritmos

As discussões anteriores mostraram que o viés racial na IA não pode ser reduzido apenas a falhas técnicas, mas deve ser compreendido no interior de padrões mais amplos de poder e exclusão. Benjamin (2019) oferece uma explicação particularmente incisiva dessa dinâmica por meio do conceito de ‘New Jim Code’ — um regime no qual algoritmos aparentemente neutros sustentam as lógicas da segregação racial e da desigualdade.

Assim como as leis segregacionistas dos Estados Unidos — as leis Jim Crow — outrora impunham a subordinação racial, os sistemas algorítmicos atuais influenciam quem é submetido à vigilância, quem é considerado arriscado ou digno de credibilidade e cuja fala é amplificada ou ignorada. Os LLMs treinados com vastos conjuntos de textos da internet frequentemente herdam uma linguagem codificada racialmente, incluindo estereótipos, termos ofensivos e associações distorcidas. Estudos mostram que tais modelos associam desproporcionalmente nomes vinculados a pessoas negras a sentimentos negativos ou a ocupações de menor status social (Wilson e Caliskan, 2024), reforçando, desse modo, uma economia simbólica na qual determinadas identidades são tornadas suspeitas ou descartáveis. Esses não são meros deslizes linguísticos — eles contribuem para aquilo que Mills (1997) descreve como uma ‘epistemologia da ignorância’, por meio da qual os grupos dominantes preservam sua autoridade mediante o apagamento ou a distorção das experiências marginalizadas.

Esse apagamento estende-se às questões de autoridade epistêmica. As decisões acerca do que conta como conhecimento imparcial, acurado ou neutro são frequentemente tomadas por instituições — empresas de tecnologia, laboratórios de pesquisa de elite e agências reguladoras — cuja composição demográfica e ideológica é restrita. Como mostrou Collins (1990), as práticas dominantes de conhecimento reforçam uma ‘matriz de dominação’ na qual as hierarquias de raça e gênero persistem por meio do controle sobre a nomeação, a classificação e a legitimidade. No caso dos LLMs, isso se evidencia no modo como tradições linguísticas alternativas — ver a seção anterior — são frequentemente interpretadas de maneira equivocada ou patologizadas por modelos calibrados segundo normas codificadas como brancas. Tais resultados não são apenas injustos; constituem formas de violência epistêmica, ao negar legitimidade a modos culturalmente específicos de expressão e compreensão.

Enfrentar essas questões exige mais do que auditorias técnicas ou métricas de imparcialidade. O movimento em favor da justiça algorítmica, liderado por organizações como a Data for Black Lives e a Algorithmic Justice League, reivindica uma transformação estrutural fundamentada em quadros abolicionistas e decoloniais. A abolição, nesse contexto, não implica a rejeição da tecnologia em si, mas a rejeição de sistemas que reproduzem lógicas carcerárias, dominação epistêmica e trabalho baseado na exploração. Ela implica redistribuir o poder epistêmico: alterar os termos do design, da avaliação e da governança de modo a incluir aqueles que são mais afetados pelos sistemas de IA. Isso inclui práticas como auditorias conduzidas por comunidades, iniciativas de soberania de dados e reparações epistêmicas — esforços para reconhecer e restaurar tradições de conhecimento marginalizadas.

Filosoficamente, essas intervenções apresentam ressonâncias com o pensamento decolonial, que contesta o ideal de um conhecimento universal e descorporificado em favor do pluralismo, da relacionalidade e do contexto. Autores como Mignolo (2011) e Wynter (2003) sustentam que a ⁠decolonialidade exige uma reconsideração fundamental de quem pode conhecer e daquilo que é considerado conhecimento. No domínio dos LLMs, isso significa desenvolver modelos que não apenas apresentem um bom desempenho segundo padrões dominantes, mas que sejam passíveis de responsabilização perante comunidades epistêmicas e histórias diversas.

Em suma, o viés racial nos modelos de linguagem não é um defeito isolado, mas um sintoma de sistemas arraigados de exclusão, exploração e violência epistêmica. Enfrentá-lo exige não apenas dados ou algoritmos melhores, mas uma reconfiguração dos pressupostos políticos, econômicos e epistemológicos que estruturam o desenvolvimento da IA. A seção seguinte examinará como essas dinâmicas se manifestam em contextos globais e multilíngues, nos quais hierarquias linguísticas e assimetrias geopolíticas moldam ainda mais o alcance e a relevância dos LLMs.

3.4 Vieses culturais e linguísticos: colonialidade epistêmica

Os vieses culturais e linguísticos nos LLMs são frequentemente discutidos em termos de imparcialidade ou inclusão, mas esses quadros correm o risco de obscurecer as assimetrias globais mais profundas que moldam a produção contemporânea do conhecimento. A maioria dos LLMs é treinada predominantemente com dados em língua inglesa, provenientes de maneira desproporcional do Norte Global e filtrados por infraestruturas concebidas no interior de quadros epistêmicos euro-americanos. Isso pode ser considerado não apenas um reflexo da falta de diversidade, mas uma reprodução da colonialidade epistêmica — o privilegiamento sistêmico de determinadas línguas, culturas e visões de mundo em detrimento de outras.

Essa dinâmica faz parte de uma história mais longa, na qual o colonialismo funcionou não apenas como projeto político e econômico, mas também como projeto epistêmico. Ele impôs uma ontologia hierárquica que apresentava a racionalidade ocidental como universal e relegava outros sistemas de conhecimento às margens. Atualmente, os LLMs correm o risco de perpetuar esse legado sob a aparência da objetividade computacional e da escalabilidade global. Suas arquiteturas, seus fluxos de dados e seus objetivos de otimização frequentemente refletem normas linguísticas e culturais dominantes, achatando a pluralidade da expressão humana em saídas estatisticamente médias, alinhadas a padrões hegemônicos.

A hegemonia linguística continua sendo uma das formas mais persistentes de viés, com o inglês e outras línguas com muitos recursos amplamente sobrerrepresentados no treinamento e na avaliação — por exemplo, no caso do Llama 3, aproximadamente 95% dos dados de treinamento utilizados pela Meta estavam em inglês; a noção de ‘outras línguas com muitos recursos’ deve, portanto, ser relativizada, uma vez que, em conjunto, elas correspondem a menos de 5% dos dados. Embora avanços recentes na modelagem multilíngue tenham melhorado o desempenho em algumas línguas adicionais, as línguas com poucos recursos — frequentemente faladas por comunidades marginalizadas — continuam sub-representadas nos dados, nos investimentos em pesquisa e na infraestrutura. Como sustenta Spivak (1988) em sua formulação da condição subalterna, quando determinadas vozes não podem ser representadas nem compreendidas no interior dos quadros discursivos dominantes, seu silenciamento não é incidental, mas estrutural.1

A aspiração de construir modelos de linguagem ‘universais’ frequentemente mascara essa assimetria. Na prática, a universalidade tende a significar padronização segundo normas dominantes, e não uma arquitetura genuinamente pluralista, capaz de lidar com a diferença epistêmica. Como sugere Appiah (2006), o cosmopolitismo deve estar enraizado — valorizando a diferença no interior das relações —, em vez de servir como um projeto universalizante que, como sustentam alguns críticos, corre o risco de se tornar uma forma de ‘cosmopolitismo imperial’ que confunde inclusão com controle.

O viés cultural nos LLMs estende-se para além da linguagem, abrangendo pressupostos ontológicos incorporados a sistemas de representação do conhecimento — taxonomias, esquemas de classificação e filtros de moderação — que frequentemente reproduzem categorias anglo-europeias. Domínios inteiros do conhecimento, como sistemas de parentesco de povos indígenas ou práticas ecológicas locais, podem ser representados de maneira equivocada ou apagados, não em razão de uma falha técnica, mas porque se encontram fora das fronteiras epistêmicas reconhecidas pelos conjuntos de dados dominantes. Boaventura de Sousa Santos (2013) denomina isso epistemicídio: a desvalorização ou destruição sistêmica de sistemas de conhecimento não dominantes.

Essas questões também se manifestam nas práticas de tradução, nas quais os LLMs frequentemente reduzem expressões culturalmente ricas a equivalentes funcionais inteligíveis nas línguas dominantes. De uma perspectiva filosófica e cultural, a tradução não é apenas um ato técnico, mas uma negociação ética e política entre visões de mundo. Como sustenta Venuti (2008), as práticas dominantes de tradução frequentemente domesticam o estrangeiro — vertendo conteúdos culturalmente específicos em termos conformes às expectativas da cultura-alvo. Quando conceitos sagrados ou culturalmente enraizados são mapeados para termos genéricos ou codificados segundo padrões ocidentais, o resultado pode ser uma forma de apagamento ou distorção, com consequências sociais e epistêmicas reais. Em contextos como a educação global, a assistência digital ou as ferramentas de comunicação intercultural, tais traduções correm o risco de reforçar hierarquias normativas, ao mesmo tempo que se apresentam como soluções neutras para a diferença cultural.

Os esforços para mitigar esses danos exigem mais do que aperfeiçoamentos técnicos; exigem humildade epistêmica — uma consciência daquilo que os modelos não podem conhecer nem representar adequadamente. Isso implica projetar sistemas que coloquem em primeiro plano a contestabilidade (contestability) e permitam aos usuários contextualizar ou contestar as saídas. Tais abordagens reimaginam os LLMs não como falantes investidos de autoridade, mas como parceiros dialógicos inseridos em relações de aprendizagem, cuidado e negociação.

Essas preocupações são inseparáveis da geopolítica do desenvolvimento da IA. As infraestruturas materiais e institucionais que sustentam os LLMs — recursos computacionais, fluxos de dados e financiamento da pesquisa — concentram-se em um pequeno número de países e empresas poderosos.

Consequentemente, decisões acerca da representação, da segurança e da adequação são frequentemente tomadas sem a participação efetiva daqueles que são mais afetados. Embora iniciativas internacionais como a Recomendação sobre a Ética da IA da UNESCO (2021) tenham reconhecido a necessidade de adaptabilidade cultural, sua implementação permanece desigual, e persiste o risco de imperialismo normativo.

Em resposta, surgiram, no Sul Global e entre comunidades indígenas, movimentos que defendem a soberania em IA e a soberania de dados. Esses esforços procuram recuperar o controle sobre o modo como o conhecimento cultural é representado e governado, enfatizando concepções relacionais dos dados e a responsabilização perante contextos morais e ecológicos específicos (Carroll et al., 2019). Dessa perspectiva, os dados não constituem um recurso universal, mas um bem situado, entrelaçado com questões de consentimento, responsabilidade e sobrevivência cultural.

Em suma, os vieses culturais e linguísticos incorporados aos LLMs não são descuidos técnicos, mas sintomas de hierarquias epistêmicas mais profundas e de legados coloniais. Enfrentá-los exige reconsiderar pressupostos fundamentais da modelagem da linguagem, incluindo o modo como definimos o conhecimento, quais vozes são colocadas no centro e quais formas de diferença nossos modelos são capazes de respeitar. A próxima seção volta-se para possíveis futuros dos LLMs fundamentados no pluralismo, na reflexividade e na justiça epistêmica.

3.5 Pluralismo, reflexividade e justiça epistêmica

Se o viés nos LLMs não é um mau funcionamento periférico, mas uma característica estrutural do modo como o conhecimento é codificado, então enfrentá-lo exige mais do que dados aprimorados ou métricas refinadas. Exige uma reorientação dos fundamentos epistemológicos da IA — em direção a sistemas que não reivindiquem neutralidade, mas se envolvam ativamente com o pluralismo epistêmico, a reflexividade e a justiça. Como mostraram as seções anteriores, gênero, raça e cultura não são meras dimensões da diversidade representacional, mas entrelaçamentos profundos que moldam aquilo que conta como conhecimento, a linguagem de quem é inteligível e os valores de quem são incorporados às infraestruturas algorítmicas.

As abordagens dominantes da imparcialidade na IA tendem a apoiar-se em definições formais — paridade estatística, chances equalizadas (equalized odds) ou raciocínio contrafactual — que frequentemente abstraem das condições históricas e sociais nas quais esses modelos operam. Embora tais quadros ajudem a detectar danos quantificáveis, eles frequentemente ocultam a questão mais profunda: imparcialidade segundo quem e a serviço de qual visão de mundo? As métricas procedimentais, embora necessárias, são insuficientes; elas correm o risco de reduzir a justiça à distribuição, em vez de abordar questões de reconhecimento, legitimidade e autoridade epistêmica. Isso desafia os modelos universalistas liberais de imparcialidade e convida a uma ética pluralista capaz de lidar com modos de conhecer conflitantes, mas igualmente válidos.

O conceito de ⁠justiça epistêmica, particularmente tal como teorizado por Fricker (2007), oferece aqui uma perspectiva convincente. Sua distinção entre injustiça testemunhal — quando se nega injustamente credibilidade a um falante em razão de preconceito — e injustiça hermenêutica — ver a Seção 3.2 — encontra correspondência estreita nos riscos apresentados pelos LLMs. Esses modelos não se limitam a reproduzir discursos dominantes; eles também ajudam a moldar as fronteiras conceituais da inteligibilidade, estruturando quais vozes são ouvidas e quais permanecem inaudíveis. Alcançar a justiça epistêmica exige mais do que inclusão representacional; implica uma transformação no modo como os sistemas são projetados e governados, começando por um compromisso com a epistemologia participativa — na qual as comunidades afetadas não sejam apenas fontes de dados, mas cocriadoras de significado.

No centro dessa reconcepção encontra-se o princípio da reflexividade. Informada pelos estudos feministas da ciência e pela teoria crítica do design, a reflexividade envolve não apenas transparência, mas também a capacidade de um sistema — e de seus projetistas — para a autoconsciência e a responsividade crítica em relação à própria posicionalidade. Isso poderia significar projetar modelos que reconheçam a incerteza, evidenciem lacunas nos dados de treinamento ou revelem saídas conflitantes. Implica também passar de concepções de IA orientadas pelo produto para concepções processuais, nas quais os modelos evoluam por meio do envolvimento iterativo, do diálogo ético e da negociação contínua com públicos diversos. Nesse sentido, os LLMs deveriam funcionar menos como máquinas de respostas investidas de autoridade e mais como ferramentas de interpretação colaborativa — apoiando o processo dialógico de produção de significado, em vez de fechá-lo.

Essa orientação também se relaciona com uma tensão filosófica mais ampla entre universalismo e relativismo na ética da IA. As tentativas de impor padrões globais correm o risco de reproduzir precisamente as formas de dominação epistêmica que procuram enfrentar, ao passo que o contextualismo radical pode solapar normas compartilhadas e a responsabilização. Uma alternativa mais promissora é o universalismo relacional: um modo de raciocínio ético que afirma o valor de princípios universais, mas insiste em que eles devem ser interpretados à luz das experiências situadas de comunidades diversas e ser justificáveis perante elas. Recorrendo à ética hermenêutica (Ricoeur, 1992), à teoria feminista do ponto de vista (Harding, 1991) e ao humanismo decolonial (Wynter, 2003), essa perspectiva reconfigura a universalidade como um processo contínuo de negociação normativa, e não como um conjunto fixo de regras.

Projetar tendo em vista tal pluralismo exige apoio institucional. A justiça epistêmica não pode ser alcançada apenas por meio da arquitetura dos modelos; ela depende de estruturas de governança que redistribuam a autoridade epistêmica e incorporem mecanismos de responsabilização. Estes poderiam incluir conselhos comunitários de supervisão encarregados de auditar as práticas de treinamento, cooperativas de dados que permitam o controle coletivo da representação linguística e cultural e sistemas de contestabilidade que capacitem os usuários a contestar ou anotar as saídas. O apoio a línguas não dominantes e a iniciativas de IA de base comunitária é igualmente essencial, caso pretendamos nos contrapor à concentração do poder epistêmico em um pequeno número de instituições e línguas.

Enfrentar os vieses dos LLMs exige, em última instância, uma mudança no modo como concebemos as tecnologias da linguagem: não como instrumentos neutros de comunicação, mas como agentes políticos e epistêmicos que moldam o modo como o mundo é compreendido e como se age sobre ele. O que está em jogo não é apenas o desempenho dos modelos, mas os valores que eles instanciam, os mundos que tornam inteligíveis e os futuros que ajudam a imaginar. A justiça epistêmica, portanto, não é um destino técnico, mas uma prática contínua de investigação, reconhecimento e reparação — uma tarefa aberta de projetar sistemas de IA capazes de conviver com a pluralidade do pensamento humano e aprender com ela.

4 Conclusão: reimaginando a imparcialidade por meio de universais situados

Se o viés na IA não pode ser plenamente eliminado, então a tarefa diante de nós não é aperfeiçoar a neutralidade, mas reimaginar o que a imparcialidade poderia significar em um mundo de diferença irredutível. Ao longo deste capítulo, vimos que o viés nos LLMs não é meramente uma distorção estatística ou uma falha técnica. Ele é um espelho — às vezes deformante, às vezes esclarecedor — de estruturas epistêmicas mais profundas: quem tem o poder de definir o conhecimento, a linguagem de quem é considerada normativa e quais valores orientam sistemas que medeiam cada vez mais a compreensão humana.

Contra o ideal de um padrão universal de imparcialidade, propusemos um modelo de universalismo relacional: uma posição ética que afirma princípios compartilhados — como dignidade, responsabilização e justiça —, ao mesmo tempo que reconhece que eles devem ser interpretados à luz do contexto, da história e da experiência situada. Nessa perspectiva, a imparcialidade não é uniformidade, mas diferença justa: uma abertura a modos plurais de conhecer, falar e ser, sem abandonar a necessidade de reconhecimento mútuo e responsabilidade coletiva.

Isso exige aceitar o paradoxo que se encontra no cerne da ética pluralista: a universalidade é mais significativa não quando apaga a diferença, mas quando é continuamente negociada em meio a ela. Não se trata de relativismo irrestrito, mas de reflexão ética informada por princípios como cuidado, humildade e responsabilização. Na prática, isso significa projetar sistemas de IA que sejam reflexivos, contestáveis e moldados por meio de uma governança inclusiva. Significa ir além das métricas para formular perguntas mais fundamentais: quais vozes são ouvidas? Quais perspectivas são codificadas? Que futuros estão sendo possibilitados — ou inviabilizados — pelos modelos que construímos?

Reimaginar a imparcialidade dessa maneira não simplifica o problema do viés; aprofunda-o. Mas, ao fazê-lo, também amplia o horizonte do que uma IA ética poderia vir a ser: não um árbitro neutro da informação, mas uma participante no trabalho contínuo e coletivo da justiça.

Referências

Appiah, K. A. (2006). Cosmopolitanism: Ethics in a world of strangers. W. W. Norton & Company.

Bender, E. M., Gebru, T., McMillan-Major, A., and Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big? 🦜. In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT ’21), New York, NY, USA (pp. 610–623). Association for Computing Machinery. https://doi.org/10.1145/3442188.3445922

Benjamin, R. (2019). Race after technology: Abolitionist tools for the New Jim Code. Polity Press.

Binns, R. (2018). Fairness in machine learning: Lessons from political philosophy. In Proceedings of the 1st Conference on Fairness, Accountability and Transparency (FAC), New York, USA, PMLR, 81, 149–159. https://proceedings.mlr.press/v81/binns18a.html

Birhane, A., and Prabhu, V. U. (2021). Large image datasets: A pyrrhic win for computer vision? In 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), Waikoloa, HI, USA, 2021 (pp. 1536–1546). https://doi.org/10.1109/WACV48630.2021.00158

Bolukbasi, T., Chang, K., Zou, J., Saligrama, V., and Kalai, A. (2016). Man is to computer programmer as woman is to homemaker? Debiasing word embeddings. In Proceedings of the 30th International Conference on Neural Information Processing Systems (NIPS’16), Red Hook, NY, USA (pp. 4356–4364). Curran. https://dl.acm.org/doi/10.5555/3157382.3157584

Bowker, G. C., and Star, S. L. (1999). Sorting things out: Classification and its consequences. The MIT Press.

Buolamwini, J., and Gebru, T. (2018). Gender shades: Intersectional accuracy disparities in commercial gender classification. In S. A. Friedler and C. Wilson (Eds.), Proceedings of the 1st Conference on Fairness, Accountability and Transparency (FAC), New York, USA (pp. 77–91). PMLR. https://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf

Carroll, S. R., Rodriguez-Lonebear, D., and Martinez, A. (2019). Indigenous data governance: Strategies from United States native nations. Data Science Journal, 18, 31. https://doi.org/10.5334/dsj-2019-031

Collins, P. H. (1990). Black feminist thought: Knowledge, consciousness, and the politics of empowerment. Routledge.

Costanza-Chock, S. (2020). Design justice: Community-led practices to build the worlds we need. The MIT Press.

Crawford, K. (2021). Atlas of AI: Power, politics, and the planetary costs of artificial intelligence. Yale University Press.

Ellul, J. (1964). The technological society (J. Wilkinson, Trans.). Vintage Books.

Feenberg, A. (1999). Questioning technology. Routledge.

Floridi, L., and Chiriatti, M. (2020). GPT-3: Its nature, scope, limits, and consequences. Minds and Machines, 30(4), 681–694. https://doi.org/10.1007/s11023-020-09548-1

Foucault, M. (1971). Orders of discourse. Social Science Information, 10(2), 7–30. https://doi.org/10.1177/053901847101000201

Fricker, M. (2007). Epistemic injustice: Power and the ethics of knowing. Oxford University Press.

Friedman, B., and Hendry, D. G. (2019). Value sensitive design: Shaping technology with moral imagination. The MIT Press.

Gururangan, S., Card, D., Dreier, S., Gade, E., Wang, L., Wang, Z., Zettlemoyer, L., and Smith, N. A. (2022). Whose language counts as high quality? Measuring language ideologies in text data selection. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP), Abu Dhabi, United Arab Emirates (pp. 2562–2580). Association for Computational Linguistics. https://aclanthology.org/2022.emnlp-main.165/

Hacking, I. (1986). Making up people. In T. C. Heller, M. Sosna, and D. E. Wellbery (Eds.), Reconstructing individualism: Autonomy, individuality, and the self in Western thought (pp. 222–236). Stanford University Press.

Hacking, I. (1990). The taming of chance. Cambridge University Press.

Haraway, D. J. (1988). Situated knowledges: The science question in feminism and the privilege of partial perspective. Feminist Studies, 14(3), 575–599. https://doi.org/10.2307/3178066

Harding, S. (1991). Whose science? Whose knowledge? Thinking from women’s lives. Cornell University Press.

Heidegger, M. (1977 [1954]). The question concerning technology and other essays (W. Lovitt, Trans.). Harper & Row.

Hovy, D., and Prabhumoye, S. (2021). Five sources of bias in natural language processing. Language and Linguistic Compass, 15(8), e12432. https://doi.org/10.1111/lnc3.12432

Longino, H. E. (1990). Science as social knowledge: Values and objectivity in scientific inquiry. Princeton University Press.

Mignolo, W. D. (2011). The darker side of Western modernity: Global futures, decolonial options. Duke University Press.

Mills, C. W. (1997). The racial contract. Cornell University Press.

Nagel, T. (1986). The view from nowhere. Oxford University Press.

Noble, S. U. (2018). Algorithms of oppression: How search engines reinforce racism. New York University Press.

Oudshoorn, N., and Pinch, T. (Eds.). (2003). How users matter: The co-construction of users and technology. MIT Press.

Pinch, T. J. and Bijker, W. E. (1984). The social construction of facts and artifacts: Or how the sociology of science and the sociology of technology might benefit each other. Social Studies of Science, 14(3), 399–441. https://doi.org/10.1177/030631284014003004

Richardson, R., Schultz, J. M., and Crawford, K. (2019). Dirty data, bad predictions: How civil rights violations impact police data, predictive policing systems, and justice. New York University Law Review Online, 94, 192–233.

Ricoeur, P. (1992). Oneself as another (K. Blamey, Trans.). University of Chicago Press.

Sap, M., Card, D., Gabriel, S., Choi, Y., and Smith, N. A. (2019). The risk of racial bias in hate speech detection. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), Florence, Italy (pp. 1668–1678). Association for Computational Linguistics. https://doi.org/10.18653/v1/P19-1163

Santos, B. de S. (2013). Epistemologies of the South: Justice against epistemicide. Routledge.

Spivak, G. C. (1988). Can the subaltern speak? In: C. Nelson and L. Grossberg (Eds.), Marxism and the interpretation of culture (pp. 271–313). University of Illinois Press.

Strubell, E., Ganesh, A., and McCallum, A. (2019). Energy and policy considerations for deep learning in NLP. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), Florence, Italy (pp. 3645–3650). Association for Computational Linguistics. https://aclanthology.org/P19-1355/

Suresh, H., and Guttag, J. V. (2021). A framework for understanding sources of harm throughout the machine learning life cycle. In Proceedings of the 2021 ACM Conference on Equity and Access in Algorithms, Mechanisms, and Optimization (EAAMO ’21). Association for Computing Machinery. https://doi.org/10.1145/3465416.3483305

UNESCO. (2021). Recommendation on the ethics of artificial intelligence. United Nations Educational, Scientific and Cultural Organization. https://unesdoc.unesco.org/ark:/48223/pf0000381137

Venuti, L. (2008). The translator’s invisibility: A history of translation (2nd ed.). Routledge.

Wilson, K., and Caliskan, A. (2024). Gender, race, and intersectional bias in resume screening via language model retrieval. In Proceedings of the 2024 AAAI/ACM Conference on AI, Ethics, and Society (pp. 1578–1590). AAAI Press. https://dl.acm.org/doi/10.5555/3716662.3716799

Winner, L. (1980). Do artifacts have politics? Daedalus, 109(1), 121–136.

Winner, L. (2004 [1968]). Technologies as forms of life. In David M. Kaplan (Ed.), Readings in the philosophy of technology. Rowman & Littlefield.

Wynter, S. (2003). Unsettling the coloniality of being/power/truth/freedom: Towards the human, after man, its overrepresentation—An argument. CR: The New Centennial Review, 3, 257–337.

CAPÍTULO 8

Desinformação, informação incorreta e a crise de confiança no conteúdo gerado por IA

A proliferação dos modelos de linguagem de grande porte (LLMs) intensificou as preocupações relativas à informação incorreta, à desinformação e aos desafios epistêmicos mais amplos suscitados pelo conteúdo gerado por IA. Enquanto o viés na IA diz respeito sobretudo às desigualdades estruturais e às dinâmicas de poder na produção do conhecimento, a informação incorreta e a desinformação suscitam questões adicionais acerca da verdade, da manipulação e da confiança no ecossistema informacional (Floridi, 2014; Zannettou et al., 2019). A capacidade dos LLMs de gerar, em larga escala, textos coerentes, plausíveis e frequentemente muito persuasivos introduz uma mudança fundamental na dinâmica da disseminação de informações, tornando indistintas as fronteiras entre verdade e ficção, autenticidade e fabricação, conhecimento e propaganda.

Um exemplo marcante surgiu em 2022, quando pesquisadores identificaram redes de contas em mídias sociais que disseminavam artigos, textos de blogs e até mesmo depoimentos fabricados de testemunhas oculares que sustentavam a versão dos acontecimentos apresentada pelo governo russo. Esses textos, frequentemente indistinguíveis de reportagens jornalísticas legítimas, retratavam a Ucrânia como agressora, fabricavam evidências de conspirações ocidentais e desacreditavam relatos de crimes de guerra russos. Embora esse conteúdo muito provavelmente tivesse autoria humana e fosse amplificado por meio de bots, ele prenunciou o uso posterior dos modelos de linguagem de grande porte para automatizar a desinformação em larga escala.

Surgiu um preocupante ciclo de retroalimentação: fazendas de trolls, saturadas de notícias falsas, têm seu conteúdo capturado por rastreadores da web (web crawlers) que alimentam os LLMs, influenciando sutilmente suas respostas a questões importantes. Estudos mostraram que alguns chatbots citam, sem o saber, fontes de propaganda, reproduzindo narrativas falsas como fatos. Esse processo é exacerbado por esforços para inserir desinformação em fontes de conhecimento publicamente acessíveis, como a Wikipédia, moldando ainda mais os dados nos quais os LLMs se apoiam. Embora não exista prova definitiva de que redes de propaganda otimizem deliberadamente o conteúdo para o treinamento de IA, sua produção vasta e persistente aumenta a probabilidade de infiltração. À medida que os LLMs se tornam componentes mais integrantes dos ecossistemas informacionais, correm o risco de ser manipulados e transformados em amplificadores involuntários de desinformação patrocinada por Estados.

Esse caso ilustra como os LLMs não apenas aceleram a disseminação da desinformação, mas também reconfiguram sua natureza. A plausibilidade e a fluência do texto gerado por IA tornam indistinta a fronteira entre propaganda e jornalismo independente, criando um ambiente epistêmico no qual a verdade se torna mais difícil de verificar e a desinformação se torna mais insidiosa. Este capítulo examina o papel dos LLMs na produção e na amplificação da informação incorreta e da desinformação, analisando as implicações filosóficas e políticas da geração automatizada de conhecimento. Ele sustenta que os desafios impostos pela informação incorreta gerada por IA não são meramente técnicos, mas profundamente epistemológicos e políticos, exigindo uma investigação crítica da própria natureza do conhecimento, da verdade e da autoridade na era digital.

1 A epistemologia do conteúdo gerado por IA: entre a verdade e a plausibilidade

Como discutido nos capítulos anteriores, os LLMs não têm por objetivo descobrir ou verificar verdades. Em vez disso, são projetados para prever a sequência de palavras estatisticamente mais provável em resposta a determinado prompt. Essa distinção possui profundas consequências epistemológicas. Diferentemente da investigação científica ou jornalística, estruturadas em torno da busca da verdade e das evidências, os LLMs são otimizados para a coerência linguística. Como resultado, frequentemente produzem respostas fluentes e contextualmente adequadas que, não obstante, podem carecer de acurácia factual.

1.1 A ⁠instabilidade epistêmica do conteúdo gerado por IA

Uma das preocupações mais urgentes decorrentes disso é o problema da fidelidade (faithfulness) — o grau em que as saídas dos LLMs correspondem à realidade. Como esses modelos não são explicitamente treinados para rastrear condições de verdade, podem gerar textos plausíveis, mas não ancorados (ungrounded) — ver o Capítulo 1. Essa dinâmica recorda a noção de bullshit, de Harry Frankfurt (2005): um discurso indiferente à verdade e dirigido não necessariamente ao engano, mas à persuasão por meio da aparência. Diferentemente das mentiras, que exigem conhecimento da verdade para distorcê-la, o bullshit opera independentemente da factualidade. De maneira semelhante, embora os LLMs possam por vezes distinguir entre afirmações acuradas e inexatas, sua otimização principal visa à coerência, o que significa que podem produzir saídas que soam dotadas de autoridade, mas permanecem desvinculadas da realidade externa. Essa fluência artificial torna particularmente insidiosa a informação incorreta gerada por IA: por padrão, ela não decorre de uma intenção ideológica deliberada, mas da própria estrutura estatística da linguagem — embora também possa, evidentemente, ser orientada por objetivos ideológicos mais conscientes.

Isso possui implicações de amplo alcance para a ⁠autoridade epistêmica e para as instituições tradicionalmente responsáveis pela validação do conhecimento. Nos ambientes pré-digitais, a confiança nas informações era mediada por diferentes instâncias de controle — organismos científicos, editoras acadêmicas, conselhos editoriais e padrões jornalísticos. Embora essas estruturas fossem frequentemente enviesadas ou falhas, elas forneciam mecanismos de verificação, responsabilização e escrutínio crítico. Os LLMs, em contraste, contornam essas hierarquias. Suas saídas, indistinguíveis da escrita humana, desgastam a fronteira entre o conhecimento especializado e a plausibilidade linguística. Como observa Jean-François Lyotard (1984) em The Postmodern Condition, o colapso das grandes narrativas e dos discursos dotados de autoridade conduz a uma paisagem epistêmica caracterizada pela fragmentação e pela performatividade. Os LLMs aceleram esse colapso ao gerar textos que parecem dotados de autoridade sem realizar qualquer trabalho epistêmico — nenhuma pesquisa, nenhum diálogo, nenhuma contestação. Em tal contexto, a fronteira entre conhecimento e imitação torna-se cada vez mais indistinta.

Essas dinâmicas são ainda intensificadas pelos vieses incorporados aos dados de treinamento e pela natureza fragmentada do discurso on-line. Os LLMs são treinados com vastos conjuntos de dados que inevitavelmente refletem os vieses, as omissões e as distorções da comunicação humana — ver o Capítulo 7. Quando essas entradas incluem fontes de baixa qualidade, polarizadas ou enganosas, os modelos reproduzem e amplificam tais distorções. Esse ciclo recursivo espelha o conceito de ciberbalcanização (cyberbalkanization), de Cass Sunstein (2001), segundo o qual as plataformas on-line reforçam silos ideológicos ao filtrar pontos de vista divergentes. Embora muitos usuários consumam notícias provenientes de veículos diversos, algoritmos de preferência e sistemas de recomendação tendem a consolidar visões de mundo já existentes. Com os LLMs, esse efeito é intensificado: eles não apenas refletem os padrões existentes, mas geram novos conteúdos com base nesses mesmos padrões, reforçando bolhas narrativas e tornando a desinformação autoperpetuante.

Esse afastamento em relação às normas epistêmicas humanas apresenta um paradoxo. Embora os LLMs sejam treinados com linguagem gerada por seres humanos, seu modo de funcionamento diverge fundamentalmente do raciocínio humano. Eles não se envolvem em processos de verificação, debate ou escrutínio das evidências. Em vez disso, simulam os resultados de tais processos sem realizar o trabalho cognitivo subjacente. À medida que o conteúdo gerado por IA se torna mais predominante na comunicação cotidiana, na educação, no jornalismo e no discurso público, surge uma questão crítica: como as sociedades humanas adaptarão seus quadros epistêmicos para acomodar esses novos agentes não humanos de conhecimento? Se a credibilidade for determinada cada vez mais pela fluência linguística, e não pelas evidências ou pela justificação, haverá um risco crescente de que a própria verdade seja subordinada à coerência.

Essa preocupação ecoa a análise de Michel Foucault (1981) em The Order of Discourse, na qual ele sustenta que o conhecimento é sempre mediado por sistemas de poder que governam o que conta como discurso legítimo. Em uma era dominada por algoritmos preditivos, a autoridade do raciocínio humano pode ser deslocada por lógicas computacionais que priorizam o reconhecimento de padrões em detrimento do rigor epistêmico. Quando os LLMs geram volumes imensos de texto sintético, não se limitam a acrescentar informações à esfera pública — participam da conformação daquilo que pode ser pensado e dito, frequentemente sem transparência nem contestabilidade (contestability).

1.2 O juízo humano e a recepção do conteúdo gerado por IA

Embora os próprios LLMs não realizem trabalho epistêmico, suas saídas são interpretadas e avaliadas por usuários humanos, que trazem para essa interação suas próprias heurísticas, expectativas e vulnerabilidades. Estudos em psicologia e estudos de mídia mostram que as pessoas frequentemente confundem fluência e segurança com credibilidade, sobretudo em ambientes on-line (Pennycook e Rand, 2019). Isso cria um perigoso atalho cognitivo: conteúdos que parecem legítimos têm maior probabilidade de ser considerados verdadeiros, independentemente de sua acurácia factual.

Os usuários tendem a apoiar-se em indícios superficiais, como formatação, tom ou presença de citações, para avaliar a credibilidade. Em muitos casos, as saídas geradas por IA reproduzem convincentemente essas características — por vezes, melhor do que autores humanos. Como resultado, a informação incorreta produzida por LLMs pode ser aceita não porque os usuários confiem explicitamente no sistema, mas porque corresponde a esquemas preexistentes acerca da aparência e do modo de expressão da ‘informação confiável’.

Além disso, o impacto de tal conteúdo é moldado por comunidades interpretativas — grupos sociais, redes on-line e agrupamentos ideológicos que influenciam o modo como as mensagens são recebidas. Marwick e Lewis (2017), em sua pesquisa sobre radicalização on-line, mostram que a informação incorreta não opera no vazio: ela está incorporada a práticas culturais, narrativas e estruturas sociais de confiança que determinam se uma afirmação será aceita, rejeitada ou amplificada.

Sob essa perspectiva, a ameaça epistemológica representada pelos LLMs não reside meramente em sua capacidade de gerar informação incorreta, mas em sua capacidade de colonizar a forma do conhecimento — produzir saídas que passam por confiáveis, dotadas de autoridade e neutras, ao mesmo tempo que contornam o arcabouço institucional e cognitivo que anteriormente sustentava esses atributos.

Mais profundamente, o desafio epistemológico colocado pelos LLMs não pode ser reduzido a uma oposição binária entre verdadeiro e falso. Ele diz respeito aos processos mais profundos por meio dos quais a verdade é construída, validada e disseminada. À medida que o conteúdo gerado por seres humanos e o conteúdo gerado por máquinas se tornam cada vez mais indistinguíveis, devemos reavaliar os critérios pelos quais o conhecimento é avaliado. Se os mecanismos tradicionais de controle falharem e a autoridade epistêmica se tornar difusa ou opaca, serão necessários novos quadros — quadros que equilibrem ferramentas técnicas, como sistemas de checagem de fatos, com a reflexão filosófica acerca da natureza da verdade digital. Lidar com esses desafios exigirá uma ênfase renovada no raciocínio crítico, no letramento midiático e no design algorítmico transparente. Mais fundamentalmente, porém, exige reconhecer que, em uma era de fluência sintética, a credibilidade é algo que precisa ser estabelecido, e não pressuposto. O futuro do conhecimento depende não apenas daquilo que as máquinas podem gerar, mas também de como os seres humanos escolhem interpretar, contestar e considerar confiável aquilo que leem.

2 Informação incorreta, desinformação e a automação do controle narrativo

A ascensão da IA generativa apresenta uma crise epistemológica que vai além de falsidades isoladas, ao automatizar a produção de narrativas persuasivas e transformar o modo como a verdade circula nos ambientes digitais. Ela altera significativamente o modo como narrativas falsas surgem, propagam-se e influenciam a percepção pública, tornando menos nítida a fronteira entre informação incorreta — inexatidões não intencionais causadas por erro humano ou algorítmico — e desinformação, que envolve esforços deliberados para enganar ou manipular com finalidades estratégicas (Wardle e Derakhshan, 2017). Com a velocidade e a escala sem precedentes com que a IA generativa pode produzir textos fluentes e convincentes, distinguir erros de boa-fé de engano intencional torna-se cada vez mais difícil. Esta seção examina como os modelos generativos contribuem tanto para a informação incorreta quanto para a desinformação e como reconfiguram as condições mais amplas nas quais a autoridade narrativa é produzida e recebida.

2.1 Propaganda automatizada e manipulação política

As tecnologias impulsionadas por IA oferecem capacidades sem precedentes para a propaganda automatizada e a manipulação política em larga escala. Diferentemente das formas tradicionais de propaganda, que dependem fortemente de campanhas centralizadas e conduzidas por seres humanos, a IA facilita uma produção descentralizada e automatizada de conteúdo que pode adaptar-se rapidamente a mudanças nas narrativas ou às reações do público. Bots automatizados, modelos generativos de linguagem e tecnologias de deepfake já foram empregados como armas em contextos eleitorais e conflitos geopolíticos para influenciar a opinião pública, desestabilizar instituições políticas e corroer a confiança democrática (Bradshaw e Howard, 2019). Esses avanços tecnológicos permitem que atores mal-intencionados orquestrem campanhas complexas de influência com elevado grau de precisão, tornando cada vez mais difícil para usuários, plataformas e órgãos reguladores detectar e combater eficazmente a desinformação (Goldstein et al., 2023). Como discutido na introdução, a guerra na Ucrânia forneceu uma ilustração contundente dessas dinâmicas, com o emprego de propaganda em larga escala para disseminar narrativas enganosas sobre o conflito, moldando as percepções públicas por meio da amplificação nas mídias sociais e da distribuição automatizada de conteúdo.

Jacques Ellul (1965, 1973) descreve a propaganda moderna como um método sistemático de manipulação das percepções, mediante a imersão contínua dos indivíduos em narrativas construídas. A IA generativa intensifica drasticamente a noção de propaganda de Ellul ao possibilitar uma geração de narrativas orientada por algoritmos, capaz de produzir um fluxo contínuo de conteúdo persuasivo, mas enganoso, adaptado aos vieses individuais e aos gatilhos emocionais. Essa transformação é particularmente evidente no surgimento de ciclos automatizados de retroalimentação, nos quais a desinformação gerada por IA não é apenas disseminada por fazendas de trolls e redes de bots, mas também reabsorvida por rastreadores da web que alimentam os LLMs, alterando sutilmente suas respostas a questões políticas e históricas importantes.

Por exemplo, como afirmado na introdução, investigações recentes revelaram que a rede Pravda, uma operação coordenada de propaganda russa composta por mais de 150 sites interconectados, inundou deliberadamente a internet com artigos jornalísticos fabricados, com o objetivo de manipular o discurso público e influenciar sistemas de IA. Produzindo milhões de artigos por ano, a rede tem como alvo os rastreadores da web utilizados para treinar LLMs, uma tática agora denominada ‘condicionamento de LLMs’ (LLM grooming). Essa desinformação é então inadvertidamente incorporada aos dados de treinamento de IA, permitindo que narrativas falsas ou enganosas reapareçam em respostas geradas por chatbots. Um estudo realizado pela NewsGuard em 2024 constatou que importantes chatbots de IA — entre eles o ChatGPT-4, o Gemini, do Google, e o Microsoft Copilot — reproduziram desinformação proveniente da rede Pravda em mais de 30% dos prompts relevantes. Esse processo torna menos nítida a distinção entre verdade e falsidade, tanto no plano do conteúdo quanto no da credibilidade, incorporando propaganda a sistemas de conhecimento baseados em IA e dificultando os esforços para preservar a integridade informacional.1

Para além do contexto geopolítico, técnicas de propaganda impulsionadas por IA também foram empregadas em arenas políticas nacionais. Por exemplo, a NewsGuard informou que, durante as eleições gerais de Gana em 2024, uma rede de 171 contas falsas — provavelmente criadas com o uso do ChatGPT — disseminou conteúdo gerado por IA para influenciar eleitores e desacreditar figuras da oposição. Táticas semelhantes foram observadas em outras democracias, nas quais campanhas de desinformação potencializadas por IA visaram eleições, referendos e crises de saúde pública, explorando sistemas algorítmicos de recomendação para maximizar o engajamento e a viralidade. Esses desenvolvimentos evidenciam o desafio crescente representado pela propaganda baseada em IA: ela não apenas intensifica a escala e o alcance das operações de influência, mas também corrói a confiança pública nos ecossistemas informacionais, criando um ambiente no qual distinguir entre conteúdo autêntico e conteúdo manipulado se torna cada vez mais difícil.

2.2 Credibilidade da IA, persuasão e agência dos usuários

O impacto epistêmico da informação incorreta gerada por IA não pode ser plenamente compreendido sem que se considere como os usuários interpretam esse conteúdo, respondem a ele e interagem com ele. A questão não diz respeito apenas ao que os LLMs produzem, mas a como essas saídas são recebidas, compartilhadas e contestadas por indivíduos e comunidades. Pesquisas no campo dos estudos de ciência e tecnologia (STS) enfatizam a coconstrução do conhecimento por tecnologias e seus usuários: a credibilidade não é uma propriedade inerente à informação, mas algo negociado no contexto (Jasanoff, 2004). Isso significa que o conteúdo gerado por IA não exerce influência de maneira independente — ele adquire força epistêmica por meio da interpretação, da circulação e da apropriação social.

No domínio da informação incorreta, as heurísticas cognitivas e as respostas afetivas desempenham um papel fundamental na conformação do modo como os usuários avaliam a credibilidade. Um dos mecanismos mais estudados é o efeito de verdade ilusória, que demonstra que a exposição repetida a uma afirmação aumenta sua acurácia percebida, mesmo quando ela é comprovadamente falsa (Fazio et al., 2015). Em ambientes altamente conectados em rede, a informação incorreta gerada por IA pode ser recompartilhada, citada, reformulada e ecoada em múltiplas plataformas, adquirindo peso epistêmico por meio da repetição. É importante observar que a capacidade persuasiva desse conteúdo frequentemente depende menos da acurácia factual do que da familiaridade estilística, da ressonância emocional ou do alinhamento ideológico.

Além disso, muitos usuários atuam no interior de ecossistemas informacionais moldados pela curadoria algorítmica e pela afinidade social. Nessas câmaras de eco, as saídas dos LLMs que reforçam crenças existentes podem ser interpretadas não como respostas sintéticas, mas como confirmação daquilo que já se presume ser verdadeiro. As pesquisas de Marwick e Lewis (2017) sobre desinformação e radicalização on-line destacam como a informação incorreta, especialmente quando é adaptada para produzir ressonância com uma identidade ou com a lealdade a um grupo, é frequentemente aceita não porque seja convincente com base em evidências, mas porque valida a visão de mundo do usuário. Nesses contextos, o que prevalece nem sempre é o estatuto factual da informação, mas o sentimento de pertencimento que ela promove — contexto no qual compartilhar (pseudo)informação se torna uma maneira de afirmar lealdade a uma comunidade definida tanto por valores compartilhados quanto por sua oposição às narrativas dominantes (boyd, 2017).

Durante a pandemia de COVID-19, houve nas plataformas de mídias sociais um aumento acentuado de narrativas enganosas acerca da segurança das vacinas, muitas das quais encontraram ressonância em comunidades ligadas ao bem-estar e antissistema. Embora não exista caso confirmado de bots baseados em IA que tenham gerado especificamente esse tipo de conteúdo no Facebook, estudos mostraram que modelos generativos podem produzir informação incorreta antivacina de aparência plausível quando recebem prompts nesse sentido. Pesquisas também destacam que os usuários frequentemente consideravam esse conteúdo crível não em razão de sua fundamentação científica, mas porque ele espelhava o estilo retórico e os valores de suas comunidades (Memon e Carley, 2020). Em casos desse tipo, o poder persuasivo da informação incorreta provém menos das afirmações factuais do que da familiaridade estilística e do alinhamento cultural — uma dinâmica que a IA pode facilmente amplificar.2

É crucial, contudo, observar que nem todos os usuários são receptores passivos de conteúdo gerado por IA. A agência (autonomia) interpretativa continua sendo uma parte vital da equação. Em muitos casos, a resistência à informação incorreta surge por meio de iniciativas de checagem de fatos conduzidas pelas comunidades, intervenções educacionais e sinalização ou redução da visibilidade de conteúdos suspeitos no âmbito das plataformas. Iniciativas como o modelo de edição da Wikipédia ou o trabalho de ONGs dedicadas ao letramento digital exemplificam como práticas epistêmicas coletivas podem funcionar como contrapesos à rápida disseminação da desinformação gerada computacionalmente.

Esses esforços, porém, estão longe de ser distribuídos de maneira uniforme. O acesso a recursos de letramento midiático, à educação para o raciocínio crítico e a uma orientação institucional confiável é frequentemente moldado por desigualdades socioeconômicas, culturais e políticas. Em contextos nos quais a confiança nas instituições já é baixa — ou nos quais as infraestruturas informacionais são frágeis —, a informação incorreta tem maior probabilidade de ganhar força. Desse modo, compreender como diferentes comunidades interagem com textos gerados por IA é essencial não apenas para diagnosticar o impacto mais amplo dos LLMs, mas também para formular respostas mais equitativas e eficazes. Isso significa ir além de soluções técnicas e considerar as atitudes culturais em relação ao conhecimento especializado, à autoridade e à verdade.

Em última análise, o que está epistemologicamente em jogo nos LLMs não reside apenas em sua capacidade de gerar discurso sintético, mas no modo como esse discurso é lido, utilizado e contestado por atores humanos. Qualquer tentativa de mitigar a informação incorreta deve levar em consideração essas dinâmicas interpretativas e reconhecer que o significado não é imposto apenas pela tecnologia, mas coproduzido na interface humano-máquina.

2.3 A velocidade e a escala da difusão de informação incorreta impulsionada por IA

Historicamente, a difusão de informação incorreta era limitada pelas restrições inerentes à comunicação e à coordenação humanas. Em contraste, os sistemas de IA generativa automatizam e aceleram exponencialmente a disseminação de informação incorreta, sobrecarregando rapidamente os mecanismos tradicionais de checagem de fatos e verificação. Esse fenômeno exemplifica aquilo que Manuel Castells (1996) descreve como a sociedade em rede, na qual a conectividade digital possibilita fluxos instantâneos e globalizados de informação. Com a informação incorreta gerada por IA, contudo, esses fluxos transformam-se em torrentes de falsidades geradas automaticamente, capazes de alcançar milhões de pessoas em segundos e saturar o ambiente informacional a ponto de produzir uma sobrecarga informacional e, em última instância, epistêmica.

Um exemplo marcante ocorreu durante a eleição presidencial dos Estados Unidos de 2024, quando uma chamada telefônica automatizada gerada por IA (robocall) que imitava a voz do presidente Joe Biden circulou em New Hampshire, instando enganosamente os eleitores democratas a ‘reservar seu voto’, permanecendo em casa durante as primárias. O deepfake de áudio, produzido com tecnologia de clonagem de voz, foi rastreado até um consultor político, posteriormente multado por interferência eleitoral. Apesar das rápidas respostas das autoridades eleitorais e dos checadores de fatos, a mensagem já havia alcançado uma parcela significativa dos eleitores antes que mecanismos corretivos pudessem ser implementados. Esse incidente evidencia como a informação incorreta gerada por IA pode explorar a velocidade e a escala da comunicação digital, ultrapassando os sistemas tradicionais de checagem de fatos e supervisão. Como enfatiza Ferrara (2024), a disseminação rápida desse tipo cria ambientes nos quais a informação incorreta circula amplamente antes que os esforços de verificação possam intervir, ameaçando, assim, a integridade do discurso público e da participação democrática.

Além disso, a adoção generalizada de chatbots baseados em IA agrava o problema. Durante o mesmo ciclo eleitoral, campanhas automatizadas de desinformação empregaram bots baseados em LLMs para interagir com usuários em fóruns, reforçando narrativas falsas de uma maneira indistinguível do discurso humano genuíno. Essa tática contorna efetivamente as instâncias tradicionais de controle epistêmico, uma vez que a informação incorreta já não se restringe a conteúdos manifestamente falsos, mas é incorporada a conversas on-line cotidianas, ampliando ainda mais a vulnerabilidade social à manipulação sistêmica.

Essa dinâmica aponta para a necessidade urgente de estratégias proativas de mitigação, como sistemas de detecção de IA em tempo real, arcabouços regulatórios aprimorados e iniciativas de educação do público que levem em consideração a natureza em transformação da informação incorreta na era da IA generativa.

2.4 IA, hiper-realidade e a condição de pós-verdade

As tecnologias de IA generativa também contribuem significativamente para a intensificação daquilo que Baudrillard (1994) denomina hiper-realidade — uma condição na qual as representações já não correspondem a uma realidade objetiva, mas constituem, em vez disso, sua própria realidade autônoma. Baudrillard sustenta que as narrativas hiper-reais possuem maior força e influência persuasiva precisamente porque não dependem de pontos de referência externos; em vez disso, alcançam autoridade por meio de sua mera plausibilidade e coerência interna. A informação incorreta gerada por IA exemplifica essa hiper-realidade ao produzir textos que parecem não apenas críveis, mas dotados de autoridade epistêmica, apesar de potencialmente não possuírem qualquer ancoragem factual (factual grounding) (Fuller, 2018).

Baudrillard ilustra de maneira célebre a hiper-realidade por meio do exemplo da Disneylândia, que, em sua análise, funciona não apenas como um parque de diversões, mas como uma simulação que oculta o fato de que a própria América ‘real’ funciona como uma vasta Disneylândia (Baudrillard, 1994). Nesse sentido, a Disneylândia não é um contraponto à realidade, mas um paradigma de como as fronteiras entre o simulado e o real entram em colapso. Mais recentemente, fenômenos culturais como Squid Game demonstram dinâmicas semelhantes. O intenso envolvimento global com o mundo ficcional de Squid Game — desde teorias de fãs acerca dos arcos narrativos dos personagens até especulações sobre possíveis continuações — torna menos nítida a fronteira entre entretenimento e realidade. O público interage com a série não apenas como ficção, mas como um universo imersivo dotado de implicações sociais reais, reforçando ambientes hiper-reais nos quais representações mediadas parecem tão tangíveis e consequentes quanto acontecimentos factuais.

Essa tendência não se restringe ao entretenimento. O discurso político tem adotado características cada vez mais hiper-reais, como se observa em figuras como Donald Trump, que frequentemente invocou a expressão ‘notícias falsas’ (fake news) para deslegitimar informações verificáveis, ao mesmo tempo que promovia narrativas alternativas desvinculadas de evidências empíricas. Afirmações como a de que a Ucrânia atacou a Rússia — contrariando fatos documentados — e a negação das mudanças climáticas antropogênicas exemplificam manipulações deliberadas da realidade para ajustá-la a fins ideológicos. Essas distorções criam ecossistemas informacionais autossustentáveis nos quais a consistência interna se sobrepõe à acurácia factual — fenômeno que a teoria de Baudrillard ajuda a esclarecer. Outra ilustração dessa dinâmica ocorreu durante o furacão Milton, em outubro de 2024, quando Trump e seus apoiadores difundiram afirmações falsas que acusavam o governo Biden de negligenciar a crise, apesar das respostas emergenciais amplamente documentadas. Essa campanha de desinformação, amplificada por imagens geradas por IA, tornou ainda menos nítidas as fronteiras entre acontecimentos factuais e narrativas fabricadas, reforçando um ambiente hiper-real no qual a representação se sobrepõe à realidade.

É essencial reconhecer que, embora a IA generativa e os LLMs sejam hábeis na produção de conteúdo hiper-real, eles não são os únicos arquitetos da ⁠hiper-realidade. Essas tecnologias amplificam, antes, tendências já existentes na cultura midiática e política. Suas saídas proliferam em ambientes já predispostos à desinformação e ao afastamento da ancoragem factual. Hannah Arendt (1967) advertiu para os perigos inerentes às culturas políticas desvinculadas da realidade factual, observando que regimes totalitários prosperam em contextos nos quais a verdade se torna subordinada a narrativas ideológicas. Arendt enfatizou que, quando os fatos perdem seu estatuto de terreno comum, a esfera pública torna-se vulnerável à manipulação e ao controle. Sob essa perspectiva, a IA generativa opera menos como originadora da hiper-realidade do que como um catalisador que acelera sua proliferação em contextos sociopolíticos já marcados pela instabilidade epistêmica.

2.5 Rumo a um novo quadro epistemológico para as pretensões digitais de verdade

Diante dessas transformações profundas, a sociedade enfrenta o desafio urgente de reavaliar como as pretensões de verdade são verificadas, contestadas e validadas no contexto da geração automatizada de conteúdo. A erosão da clareza epistêmica exige mais do que contramedidas técnicas, como a moderação algorítmica, as tecnologias de checagem de fatos ou as intervenções regulatórias — embora estas continuem sendo necessárias. Ela também exige uma reavaliação filosófica da verdade, do conhecimento e da confiança. Como sugere Bruno Latour (2004), a estabilidade dos fatos depende em grande medida de redes de confiança, do consenso institucional e do acordo social. A IA generativa perturba essas redes ao produzir pretensões de conhecimento independentemente do escrutínio epistêmico tradicional ou da avaliação institucional, desestabilizando, assim, de maneira fundamental, as normas estabelecidas de verificação factual.

Nesse contexto, responder aos desafios da informação incorreta e da desinformação exige mais do que reforçar antigos paradigmas. Exige o desenvolvimento daquilo que se poderia denominar ⁠⁠disposições epistêmicas ou práticas normativas — isto é, os hábitos, as atitudes e as capacidades interpretativas que ajudam indivíduos e comunidades a lidar criticamente com pretensões de conhecimento em ambientes cada vez mais automatizados e incertos. Entre elas estão compromissos com a transparência, a responsabilização algorítmica, o letramento midiático crítico e um ceticismo informado em relação ao conteúdo gerado computacionalmente.

Estudiosos como Luciano Floridi (2019) enfatizaram a importância de cultivar essas disposições não apenas no nível individual, mas também nas instituições, nas tecnologias e nos sistemas educacionais. Em vez de presumir a integridade epistêmica das saídas digitais, os usuários devem estar capacitados para questionar como o conhecimento é produzido, a quais interesses serve e segundo quais padrões deve ser julgado. O desenvolvimento dessas capacidades exigirá um esforço interdisciplinar — que combine reflexão filosófica, design tecnológico e envolvimento político — para promover comunidades epistêmicas resilientes e reflexivas, capazes de orientar-se pelas dinâmicas em transformação do ecossistema informacional digital e de interrogá-las criticamente, ainda que tenhamos visto que um letramento digital aprimorado está longe de ser suficiente diante do pensamento conspiratório e dos efeitos da identidade de grupo.

Esta investigação serve, portanto, de fundamento para a seção seguinte, que examinará as implicações sociopolíticas mais profundas dessas transformações epistêmicas, concentrando-se especificamente em como a IA generativa afeta a confiança pública, a autoridade epistêmica e a responsabilização democrática. Em um mundo no qual a IA generativa reconfigura o modo como o conhecimento aparece, circula e adquire legitimidade, a vigilância epistêmica deve ser reconcebida não como uma questão de recepção passiva, mas de reconstrução ativa e coletiva.

3 O papel da governança de plataformas e das políticas públicas

As implicações éticas e políticas da informação incorreta gerada por IA sugerem a necessidade de respostas regulatórias e de governança. Contudo, como ocorre em todas as tentativas de regular a expressão, permanece precário o equilíbrio entre moderação, liberdade de expressão e responsabilização. A proliferação de textos gerados por IA, com sua capacidade de produção em massa e de integração fluida ao discurso humano, complica os esforços para controlar seu impacto. Além disso, a governança da informação é inerentemente contestada: Estados, líderes políticos e órgãos reguladores não são atores neutros, mas estão, eles próprios, sujeitos a disputas acerca de legitimidade, autoridade e influência. Isso torna particularmente difícil a tarefa de regular os fluxos de informação.

3.1 Discurso artificial e a erosão da confiança epistêmica

Os mecanismos tradicionais de checagem de fatos, embora valiosos, enfrentam dificuldades consideráveis para acompanhar a escala e a velocidade do conteúdo gerado por IA. A lógica da informação incorreta se modificou: já não se trata de falsidades isoladas a serem refutadas, mas de um vasto e incessante processo automatizado de produção de narrativas sintéticas que imitam o raciocínio humano. Hannah Arendt advertiu que a erosão de uma realidade compartilhada constitui um prelúdio à instabilidade política — hoje, o desafio não é apenas a falsificação dos fatos, mas a saturação do discurso por fabricações plausíveis.

Uma abordagem mais sustentável talvez resida na promoção do letramento em IA. Se os usuários forem capazes de avaliar criticamente as fontes e reconhecer padrões indicativos de informação incorreta gerada por IA, o impacto das narrativas falsas poderá ser mitigado no nível interpretativo. Assim como os filósofos iluministas defenderam a educação como meio de libertar os indivíduos do dogma, o letramento digital na era da IA poderia capacitar os cidadãos a orientar-se por uma paisagem informacional cada vez mais sintética. Contudo, o letramento, por si só, não resolve as tensões mais amplas relativas à confiança e à autoridade — quem determina o que conta como informação crível e aos interesses de quem esse processo serve?

Foram propostas respostas jurídicas e regulatórias à informação incorreta gerada por IA, mas sua implementação permanece repleta de complexidades. A marcação d’água de textos gerados por IA — ver o Capítulo 3 —, os requisitos de transparência para sistemas de IA e as medidas de responsabilização das plataformas oferecem salvaguardas potenciais. Contudo, os fluxos de informação são agora globais, descentralizados e frequentemente anonimizados, o que dificulta a aplicação dessas medidas. Além disso, os Estados e os órgãos reguladores não operam no vazio — muitos deles estão, eles próprios, envolvidos em disputas políticas, de modo que sua autoridade para regular a informação permanece objeto de debate contínuo.

A noção foucaultiana de poder-saber (power-knowledge) (1977, 1978) é particularmente relevante aqui: a governança do conteúdo gerado por IA não é meramente uma questão de restrição jurídica, mas de quem detém a autoridade para determinar a verdade. Se as plataformas se tornam árbitras daquilo que é considerado confiável, isso não cria um novo monopólio epistêmico? Inversamente, se a regulação for demasiadamente permissiva, não corremos o risco de criar uma paisagem na qual predomine a informação incorreta, solapando a confiança pública no próprio conhecimento? Além disso, os Estados, especialmente nas sociedades pluralistas, nem sempre exercem controle uniforme sobre a informação; diferentes facções políticas podem competir para impor seus próprios padrões de verdade, complicando ainda mais os esforços regulatórios.

A presença crescente de conteúdo gerado por IA no jornalismo e na publicação acadêmica suscita questões profundas acerca da autoria, da credibilidade e da integridade da produção do conhecimento. Se um artigo gerado por IA chega a ser publicado em um periódico respeitado, possui ele o mesmo peso epistêmico que um artigo escrito por um especialista humano? O que acontece quando informação incorreta gerada por IA é incorporada de maneira imperceptível a fontes tradicionalmente consideradas dotadas de autoridade?

Nesse ponto, a preocupação de Walter Benjamin com a perda da ‘aura’ da originalidade na era da reprodução mecânica permanece relevante (Benjamin, 2008 [1936]; ver também o Capítulo 3). Quando a IA não apenas auxilia, mas gera texto autonomamente, a distinção entre uma fonte ‘autêntica’ e uma fonte fabricada começa a tornar-se menos nítida. O problema não é apenas de engano, mas de epistemologia: como preservar a confiança no conhecimento quando sua produção se torna indistinguível de sua manipulação? Essa questão torna-se ainda mais premente em um ambiente político no qual até mesmo o conhecimento gerado por seres humanos é frequentemente contestado, ressaltando ainda mais a fragilidade de qualquer tentativa de estabelecer uma autoridade informacional definitiva.

A governança da informação incorreta gerada por IA não constitui simplesmente um desafio técnico, mas uma disputa política em torno do conhecimento e da autoridade narrativa nas sociedades digitais. A interseção entre regulação, responsabilidade das plataformas e letramento dos usuários influenciará o futuro dos ecossistemas informacionais, mas nenhuma dessas medidas pode, isoladamente, oferecer uma solução completa. Além disso, como os Estados e os líderes políticos são frequentemente, eles próprios, objeto de contestação, sua capacidade de controlar a informação é inerentemente limitada. Essa limitação não é apenas estrutural, mas também desejável, uma vez que a informação deve permanecer livre, refletir a diversidade de opiniões e não ser subordinada ao controle estatal. Permanece em aberto a questão de saber se o futuro do discurso impulsionado por IA promoverá um envolvimento informado ou descerá a um jogo interminável de simulação — questão que diz respeito tanto à filosofia quanto às políticas públicas.

3.2 Resgatando o juízo humano em um mundo mediado por IA

O uso generalizado da IA na geração de conteúdo obriga-nos a reconsiderar questões filosóficas e éticas fundamentais acerca da verdade, da autoridade e do juízo humano nas sociedades digitais contemporâneas. À medida que os LLMs e outros sistemas impulsionados por IA medeiam cada vez mais nosso acesso à informação, a própria natureza do conhecimento é posta em questão. Como vimos na primeira parte deste livro, a epistemologia clássica, que define o conhecimento como crença verdadeira justificada, sugeriria que a IA carece da ancoragem necessária para produzir conhecimento.

Uma preocupação correlata é a automação da produção da verdade. O papel da IA na produção de notícias, na publicação acadêmica e na documentação histórica suscita questões acerca de como a verdade é construída e mantida em uma era na qual o conteúdo gerado por máquinas é onipresente. Se o discurso é uma forma de poder, como sustenta de maneira célebre Michel Foucault (1981), então a influência crescente da IA sobre a linguagem sugere uma nova forma de ⁠autoridade epistêmica — aqui, novamente, ver a primeira parte do livro, especialmente o Capítulo 3. Ao moldar narrativas, filtrar informações e amplificar determinados pontos de vista, os sistemas de IA não se limitam a refletir a realidade, mas participam ativamente de sua construção. Até que ponto os sistemas impulsionados por IA reforçam vieses existentes, privilegiam determinadas perspectivas ou reconfiguram sutilmente o discurso público permanece uma questão em aberto, mas que exige um escrutínio cuidadoso.

Em resposta a esses desafios, alguns estudiosos e especialistas em ética defendem uma ênfase renovada no juízo humano, no pensamento crítico e na responsabilidade epistêmica. A IA não deve ser tratada como árbitra autônoma da verdade, mas como uma ferramenta inserida em sistemas de conhecimento mais amplos, deliberativos e passíveis de contestação. Isso exige mecanismos que ampliem a transparência, permitam a contestação e preservem espaço para a verificação humana e a agência interpretativa. Em vez de ceder autoridade aos sistemas automatizados, poderíamos conceber a IA como um complemento à investigação humana — capaz de auxiliar, mas não de substituir os processos complexos e carregados de valores por meio dos quais a verdade é avaliada e afirmada.

As implicações éticas desses desenvolvimentos são significativas. Se o conhecimento é cada vez mais mediado pela IA, há o risco de que a autoridade epistêmica se torne mais opaca e se concentre nas mãos daqueles que controlam essas tecnologias. Assegurar que a IA permaneça passível de responsabilização, interpretável e alinhada a valores democráticos exigirá um esforço conjunto entre diferentes disciplinas, da filosofia e da ética à ciência da computação e à formulação de políticas públicas. O desafio não consiste simplesmente em aprimorar as capacidades técnicas da IA, mas em refletir sobre as implicações mais amplas de sua integração às práticas epistêmicas humanas. Ao fazê-lo, poderíamos resgatar uma concepção da produção do conhecimento que priorize a transparência, o envolvimento crítico e o papel indispensável do juízo humano em um mundo mediado por IA.

3.3 A superabundância de cartas (declarações) de ética da IA e seu impacto limitado

Ao longo da última década, uma proliferação de cartas (declarações), diretrizes de boas práticas e livros brancos (white papers) procurou definir padrões éticos para a IA, particularmente para os LLMs. Instituições que vão de organizações internacionais — como a UNESCO e a União Europeia — a empresas privadas e centros de pesquisa publicaram documentos extensos que estabelecem princípios como transparência, imparcialidade, responsabilização e supervisão humana. Essas iniciativas procuram fornecer um arcabouço normativo que assegure que as tecnologias de IA sejam desenvolvidas e implementadas de maneira responsável, mitigando danos potenciais e, ao mesmo tempo, maximizando benefícios.

Entre os documentos mais amplamente citados estão as Ethics Guidelines for Trustworthy AI (European Commission, 2019), que estabelecem sete requisitos fundamentais para sistemas de IA, entre eles agência humana, robustez técnica e responsabilização. A Recommendation on the Ethics of Artificial Intelligence (2021), da UNESCO, enfatiza, de maneira semelhante, a inclusão, a sustentabilidade ambiental e o respeito à diversidade cultural e linguística. Atores do setor também contribuíram, com as declarações de políticas da OpenAI sobre o uso responsável da IA e os 3AI Principles, do Google, que enfatizam a imparcialidade e a explicabilidade. Esses esforços evidenciam um compromisso compartilhado com o desenvolvimento ético da IA nos setores público e privado.4

Nos últimos anos, contudo, as limitações dos arcabouços éticos não vinculantes (não coercitivos) tornaram-se mais evidentes (Hagendorff, 2020), impulsionando uma transição para instrumentos jurídicos cuja aplicação pode ser exigida. Mais notavelmente, a União Europeia assumiu um papel de liderança com a adoção do AI Act, aprovado em 2024 e previsto para tornar-se o primeiro arcabouço regulatório abrangente e juridicamente vinculante (coercitivo) para a IA no mundo. O 5AI Act introduz um sistema de classificação das aplicações de IA baseado em risco, impõe obrigações rigorosas a sistemas de alto risco — incluindo muitos LLMs — e estabelece requisitos de transparência para a IA de propósito geral (general-purpose AI). Ele representa uma passagem da ética voluntária para o direito vinculante (hard law), respaldado por mecanismos de conformidade (compliance) e sanções. Iniciativas complementares, como a AI Liability Directive, da UE, e o Digital Services Act, refletem ainda um ecossistema regulatório em evolução, que vincula princípios éticos a normas cuja aplicação pode ser exigida.6

Apesar desses avanços, persistem desafios. Uma questão central é a proliferação contínua de arcabouços sobrepostos e, por vezes, contraditórios — muitos dos quais ainda são produzidos, sem coordenação, por atores do setor ou consórcios regionais. Como resultado, os profissionais frequentemente enfrentam incertezas quanto aos padrões que devem adotar e ao modo como devem operacionalizá-los. Além disso, até mesmo arcabouços juridicamente vinculantes, como o AI Act, são objeto de críticas: por exemplo, alguns observadores assinalam que as capacidades de aplicação permanecem desiguais entre os Estados-membros da UE e que podem persistir brechas em benefício de poderosos atores corporativos. O risco de lavagem ética (ethics-washing) — o uso estratégico da linguagem ética para obter ganhos de reputação, em vez de promover uma governança substantiva — permanece presente (Bietti, 2020), particularmente fora do âmbito da regulação formal.

A sensibilidade ao contexto também permanece um desafio. Aquilo que constitui um uso responsável da IA na área da saúde ou nos serviços públicos pode diferir significativamente do que se exige em aplicações criativas, educacionais ou de consumo com consequências limitadas. Contudo, muitas diretrizes ainda adotam um tom amplo e universalista que corre o risco de apagar essas diferenças. Iniciativas anteriores, como a Montreal Declaration for Responsible AI (2018), ofereceram uma visão ética convincente, mas careciam de mecanismos de implementação — evidenciando a lacuna entre princípios e políticas públicas.

Não obstante, esses documentos desempenharam um papel discursivo importante na conformação do debate público e no estabelecimento das bases para a inovação regulatória. A transição de cartas voluntárias para arcabouços vinculantes — especialmente no contexto europeu — marca um ponto de inflexão na governança global da IA. Daqui em diante, o desafio consiste em assegurar que esses instrumentos não apenas sejam passíveis de aplicação efetiva, mas também possam adaptar-se a contextos tecnológicos, culturais e políticos em rápida transformação. Isso inclui desenvolver estratégias de conformidade específicas para cada setor, mecanismos robustos de auditoria e esforços de coordenação internacional que ultrapassem paradigmas centrados no Ocidente. Somente então as aspirações éticas poderão ser convertidas de maneira significativa em prática institucional.

4 Governança da IA: interesses concorrentes e desafios ainda não resolvidos

A governança da IA é cada vez mais reconhecida como uma questão fundamental, mas permanece difícil alcançar um consenso sobre como regular e estruturar o desenvolvimento da IA. Os princípios que orientam a governança da IA frequentemente incluem transparência, responsabilização, imparcialidade e supervisão humana, refletindo preocupações éticas debatidas há muito tempo na filosofia e na teoria política. Concepções clássicas de governança provenientes de teóricos como Foucault e Habermas oferecem contribuições críticas para compreender os modos pelos quais o poder, o discurso e a regulação moldam o controle dos sistemas tecnológicos. Enquanto isso, os estudos de governança têm recorrido a arcabouços regulatórios internacionais para examinar como as instituições administram riscos e oportunidades tecnológicas, ressaltando tanto a necessidade quanto a dificuldade de fazer cumprir políticas globais de IA.

Os estudos críticos da IA têm chamado a atenção para a assimetria de poder nos debates sobre governança, nos quais atores tecnológicos dominantes — sejam corporações multinacionais, sejam entidades estatais — enquadram o discurso em torno da segurança, da inovação e do uso ético. Pesquisadores dos estudos críticos de IA, como Kate Crawford (2021) e Ruha Benjamin (2019), enfatizam que as estruturas de governança não são neutras, mas reforçam hierarquias sociopolíticas existentes. Isso está em consonância com críticas mais amplas provenientes dos estudos de ciência e tecnologia (STS), nos quais a governança é considerada um campo de disputa entre forças econômicas, políticas e ideológicas concorrentes, e não uma questão puramente técnica ou ética. A governança da IA, portanto, não pode ser dissociada de questões de poder, trabalho e influência geopolítica.

Na prática, a governança da IA permanece fragmentada, com diferentes países e blocos regionais procurando fazer prevalecer seus próprios modelos e prioridades. O AI Act da União Europeia, por exemplo, procura estabelecer regulações rigorosas que enfatizam os direitos fundamentais e a proteção do consumidor, ao passo que a China optou por uma abordagem mais centralizada, que alinha a regulação da IA à segurança do Estado e às ambições econômicas. Os Estados Unidos, em contraste, favoreceram uma abordagem orientada pelo mercado, com preferência pela autorregulação do setor e por intervenções direcionadas, em vez de uma supervisão federal abrangente. Essas estratégias divergentes refletem interesses políticos e econômicos mais profundos, com cada uma dessas entidades procurando posicionar-se como líder no campo da IA.

Essa multiplicidade de modelos de governança revela a ausência de um arcabouço global unificado, suscitando preocupações acerca da arbitragem regulatória e de padrões éticos desiguais. O desafio é agravado pela natureza transnacional dos sistemas de IA, que operam através das fronteiras de maneiras que desafiam os mecanismos regulatórios tradicionais. Embora iniciativas como os OECD AI Principles e as discussões conduzidas pela ONU procurem promover a cooperação internacional, sua eficácia permanece limitada diante de estratégias nacionalistas e do lobby corporativo. Eventos recentes de grande repercussão, como o AI Safety Summit de 2023, em Londres, e o Paris AI Governance Forum de 2025, produziram declarações de caráter aspiracional, mas não foram capazes de gerar compromissos vinculantes. Apesar da concordância retórica em torno de princípios como transparência e segurança, cada país participante defendeu, em grande medida, seus próprios interesses estratégicos e econômicos, comprometendo as perspectivas de uma regulação global coesa.

Fundamentalmente, a governança da IA não é apenas uma questão de definir princípios éticos ou conceber mecanismos regulatórios; trata-se de uma questão profundamente política que reflete disputas mais amplas em torno do domínio econômico, da segurança e dos valores sociais. Os debates em curso nos estudos de governança e na produção acadêmica crítica sobre IA ressaltam a necessidade de abordagens que ultrapassem cartas éticas idealistas em direção a políticas públicas concretas que levem em consideração as dinâmicas de poder e as realidades geopolíticas.

Referências

Arendt, H. (1967). Truth and politics. The New Yorker, February 25, 1967.

Baudrillard, J. (1994). Simulacra and simulation (Trans. S. F. Glaser). University of Michigan Press.

Benjamin, W. (2008 [1936]). The work of art in the age of its technological reproducibility (E. F. N. Jephcott and H. Zohn, Trans.). In H. Eiland and M. W. Jennings (Eds.), The work of art in the age of its technological reproducibility, and other writings on media (pp. 19–55). Harvard University Press.

Benjamin, R. (2019). Race after technology: Abolitionist tools for the New Jim Code. Polity Press.

Bietti, E. (2020). From ethics washing to ethics bashing: A view on tech ethics from within moral philosophy. In Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency (FAT* ’20), New York, NY, USA (pp. 210–219). Association for Computing Machinery. https://doi.org/10.1145/3351095.3372860

boyd, d. (2017). You think you want media literacy… do you? Data & Society. Republished on Medium. https://medium.com/datasociety-points/you-think-you-want-media-literacy-do-you-7cad6af18ec2

Bradshaw, S. and Howard, P. N. (2019). The global disinformation order: 2019 global inventory of organised social media manipulation. Computational Propaganda Project by the Oxford Internet Institute, University of Oxford (CyberTroop Report 19). https://demtech.oii.ox.ac.uk/wp-content/uploads/sites/93/2019/09/CyberTroop-Report19.pdf

Castells, M. (1996). The rise of the network society (Vol. 1). Blackwell.

Crawford, K. (2021). Atlas of AI: Power, politics, and the planetary costs of artificial intelligence. Yale University Press.

Ellul, J. (1965). The technological society (J. Wilkinson, Trans.). Vintage.

Ellul, J. (1973). Propaganda: The formation of men’s attitudes (K. Kellen and J. Lerner, Trans.). Vintage.

European Commission (2019). Ethics guidelines for trustworthy AI. Publications Office of the European Union. https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai

Fazio, L. K., Brashier, N. M., Payne, B. K., and Marsh, E. J. (2015). Knowledge does not protect against illusory truth. Journal of Experimental Psychology: General, 144(5), 993–1002. https://doi.org/10.1037/xge0000098

Ferrara, E. (2024). Charting the landscape of nefarious uses of generative artificial intelligence for online election interference. https://ssrn.com/abstract=4883403

Floridi, L. (2014). The fourth revolution: How the infosphere is reshaping human reality. Oxford University Press.

Floridi, L. (2019). Establishing the rules for building trustworthy AI. Nature Machine Intelligence, 1, 261–262. https://doi.org/10.1038/s42256-019-0055-y

Foucault, M. (1977). Discipline and punish: The birth of the prison (A. Sheridan, Trans.). Pantheon Books.

Foucault, M. (1978). The history of sexuality, Volume 1: An introduction (R. Hurley, Trans.). Pantheon Books.

Foucault, M. (1981). The order of discourse (R. Young, Trans.). In R. Young (Ed.), Untying the text: A post-structuralist reader (pp. 48–78). Routledge.

Frankfurt, H. G. (2005). On bullshit. Princeton University Press.

Fuller, S. (2018). Post-truth: Knowledge as a power game. Anthem Press.

Goldstein, J. A., Sastry, G., Musser, M., DiResta, R., Gentzel, M., and Sedova, K. (2023). Generative language models and automated influence operations: Emerging threats and potential mitigations. arXiv preprint. https://arxiv.org/abs/2301.04246

Hagendorff, T. (2020). The ethics of AI ethics: An evaluation of guidelines. Minds and Machines, 30(1), 99–120. https://doi.org/10.1007/s11023-020-09517-8

Jasanoff, S. (Ed.). (2004). States of knowledge: The co-production of science and the social order. Routledge.

Latour, B. (2004). Politics of nature. Harvard University Press.

Lyotard, J.-F. (1984). The postmodern condition: A report on knowledge (G. Bennington and B. Massumi, Trans.). University of Minnesota Press.

Marwick, A., and Lewis, R. (2017). Media manipulation and disinformation online. Data & Society Research Institute. https://datasociety.net/library/media-manipulation-and-disinfo-online

Memon, S., and Carley, K. M. (2020). Characterizing COVID-19 misinformation communities Using a novel Twitter dataset. arXiv preprint. https://arxiv.org/abs/2008.00791

Pennycook, G., and Rand, D. G. (2019). Lazy, not biased: Susceptibility to partisan fake news is better explained by lack of reasoning than by motivated reasoning. Cognition, 188, 39–50. https://doi.org/10.1016/j.cognition.2018.06.011

Sunstein, C. R. (2001). Republic.com. Princeton University Press.

UNESCO. (2021). Recommendation on the ethics of artificial intelligence. United Nations Educational, Scientific and Cultural Organization. https://unesdoc.unesco.org/ark:/48223/pf0000381137

Université de Montréal. (2018). Montreal declaration for a responsible development of artificial intelligence. https://www.montrealdeclaration-responsibleai.com

Wardle, C., and Derakhshan, H. (2017). Information disorder: Toward an interdisciplinary framework for research and policy making. Council of Europe. https://rm.coe.int/information-disorder-report/1680764666

Zannettou, S., Sirivianos, M., Blackburn, J., and Kourtellis, N. (2019). The web of false information: Rumors, fake news, hoaxes, clickbait, and various other shenanigans. Journal of Data and Information Quality, 11(3), Article 10. https://doi.org/10.1145/3309699

CAPÍTULO 9

Ética em larga escala

Este capítulo final afasta-se um pouco das investigações filosóficas anteriores acerca da linguagem, da cognição, do viés e da verdade. Ele se volta para a dimensão vivida da interação com modelos de linguagem de grande porte (LLMs): como eles nos afetam na prática e que tipo de futuro já estão moldando. Embora os temas possam parecer heterogêneos — abrangendo desde o trabalho e a responsabilidade até a ecologia e os direitos culturais —, eles são unificados pelas questões éticas e políticas que emergem quando os modelos de linguagem se integram à vida cotidiana.

De laboratórios de pesquisa a salas de aula, de chatbots de atendimento ao cliente a assistentes jurídicos automatizados, os LLMs passaram rapidamente de ferramentas experimentais a infraestruturas de propósito geral. Eles são agora implementados na educação, na saúde, no direito, no jornalismo, nas indústrias criativas, na administração pública e até mesmo na prática religiosa. Aquilo que começou como modelos linguísticos converteu-se em companheiros cognitivos, filtros de conteúdo e instrumentos de apoio à decisão — frequentemente sem que os usuários tenham plena consciência do alcance de sua integração. Como sustenta Suchman (2007), em um contexto diferente, as tecnologias nunca se limitam a mediar a atividade humana — elas também a configuram. Os LLMs, em virtude de suas capacidades linguísticas, não se limitam a auxiliar no uso da linguagem; eles moldam o modo como ela é utilizada, quais formas de expressão são consideradas apropriadas e quais se tornam invisíveis.

A passagem de ferramenta a infraestrutura não é meramente semântica: ela assinala uma transformação na escala e na autoridade epistêmica. A infraestrutura, como nos recordam Bowker e Star (1999), é aquilo que se torna invisível por meio do uso habitual — mas continua a produzir consequências profundas. Quando os LLMs assumem um caráter infraestrutural, incorporam certos pressupostos normativos — acerca da gramática, da polidez, da relevância ou da credibilidade — ao próprio tecido da comunicação. Eles não se limitam a auxiliar na escrita ou na tradução; regem sutilmente o que significa ser claro, correto ou persuasivo. Nesse sentido, o que está em jogo em seu design e em sua implementação estende-se muito além do desempenho técnico.

Este capítulo desenvolve-se em torno de um conjunto de questões entrelaçadas: o que acontece com a agência (autonomia) humana quando a linguagem é cada vez mais mediada por máquinas? Como as sensibilidades éticas se modificam quando o raciocínio moral é delegado a sistemas otimizados para a plausibilidade, e não para a compreensão? Que formas de representação, extração e exclusão estão codificadas nos dados que esses modelos consomem — e que tipos de autoridade epistêmica eles assumem silenciosamente? Para além das questões de função e desempenho, o capítulo pergunta o que significa viver em um mundo no qual os modelos de linguagem operam não apenas como ferramentas, mas como infraestruturas — moldando a atenção, redistribuindo o poder e reconfigurando as próprias condições da comunicação. Em vez de oferecer um único argumento, o capítulo acompanha essas preocupações em múltiplos domínios — trabalho, juízo, ecologia, direitos culturais e economia política —, procurando compreender não apenas o que os LLMs fazem, mas aquilo que tornam possível, permissível ou invisível. O objetivo não é simplesmente avaliar seu impacto, mas refletir sobre como eles modificam o espaço do pensamento e da ação humanos.

1 Automação e agência

Uma das transformações de maiores consequências produzidas pelos LLMs é seu papel na automação do trabalho linguístico e cognitivo. Da redação de relatórios à resposta a questões jurídicas ou médicas, esses sistemas operam cada vez mais não apenas como ferramentas, mas como agentes que realizam ou simulam atos complexos de raciocínio. Isso suscita questões filosóficas prementes: quando os LLMs medeiam o pensamento e a comunicação, o que resta da agência humana? E como deve ser distribuída a responsabilidade em ambientes nos quais as decisões são compartilhadas entre atores humanos e artificiais?

À primeira vista, poderíamos recorrer à autonomia kantiana — a ideia de que ser livre consiste em agir não meramente por impulso ou influência externa, mas de acordo com princípios que se escolheu racional e reflexivamente. Dessa perspectiva, a preocupação não é simplesmente que os LLMs substituam o trabalho humano, mas que reconfigurem sutilmente as condições nas quais exercemos o juízo e nos reconhecemos como autores de nossos pensamentos e ações. Em um ensaio de 1784, Kant caracterizou o Esclarecimento como a “saída de uma imaturidade autoinfligida”, processo marcado pela coragem de fazer uso da própria razão (Kant, 1996 [1784]). A proliferação dos LLMs não constitui, em nenhum sentido direto, um retorno à imaturidade, mas pode favorecer uma espécie de delegação intelectual que corrói o hábito da reflexão crítica. Quando os usuários habitualmente deferem às saídas geradas pelos modelos — porque são rápidas, plausíveis e expressas com segurança —, podem começar a tratá-las menos como pontos de partida para a deliberação e mais como conclusões prontas. Essa passagem do raciocínio ativo à seleção passiva entre opções pré-estruturadas corre o risco de deslocar o locus da agência: de perguntar “O que eu penso?” para perguntar “Qual delas soa correta?”. Embora isso não elimine por completo a autonomia, torna mais complexo o terreno no qual ela é exercida, suscitando questões importantes acerca da relação em transformação entre raciocínio, autoridade e mediação tecnológica.

A fenomenologia da mediação tecnológica de Don Ihde (1990) é particularmente útil nesse ponto. Ihde sustenta que as tecnologias nunca se limitam a ampliar as capacidades humanas — elas transformam a estrutura da percepção e da ação. Em seus termos, os LLMs seriam tecnologias hermenêuticas: eles interpretam o mundo para nós, oferecendo representações pré-processadas do conhecimento, do sentimento ou da argumentação. Como tais, moldam aquilo que parece saliente, crível ou relevante. Ao fazê-lo, recalibram sutilmente nossa agência epistêmica: já não nos confrontamos com a informação bruta, mas com uma versão dela submetida a curadoria e gerada. O perigo não reside simplesmente na inexatidão, mas em um deslocamento gradual da autoridade interpretativa do ser humano para a máquina.

A noção de delegação de Bruno Latour (1992) ajuda, de modo semelhante, a articular a redistribuição da agência em sistemas híbridos. Para Latour, as tecnologias não são ferramentas neutras, mas atores em redes de ação — elas incorporam roteiros (scripts) e intenções que influenciam o comportamento. Nesse sentido, um LLM incorporado a um fluxo de trabalho — por exemplo, à redação de e-mails, à moderação de conteúdo ou à triagem médica — participa da conformação dos resultados, ainda que careça de intencionalidade. Quando um profissional defere à sugestão de um modelo — talvez porque ela “soa correta” ou se encontra em conformidade com protocolos institucionais —, o modelo torna-se um quase-agente, incorporado à lógica moral e epistêmica da tarefa. A delegação de tarefas aos LLMs constitui, portanto, também uma delegação de normas: daquilo que conta como linguagem apropriada, resposta plausível ou justificação suficiente.

Essa automação do juízo não ocorre no vazio. Em muitos setores, ela é impulsionada por imperativos institucionais — eficiência, escalabilidade e redução de custos — que recompensam a automação independentemente de suas implicações filosóficas. Contudo, de uma perspectiva humanística, ela exige exame crítico. Se a linguagem não é meramente um meio, mas uma forma de vida — como sugeriria Wittgenstein (ver o Capítulo 1) —, então a terceirização da atividade linguística para os LLMs não é eticamente neutra. Ela corre o risco de estreitar o espaço da deliberação, da ambiguidade e do desacordo humanos — qualidades essenciais à agência democrática e ao crescimento moral.

2 Deriva ética e descapacitação moral

À medida que os LLMs passam a integrar a tomada cotidiana de decisões, eles não estão apenas automatizando tarefas, mas também alterando a topografia ética na qual essas tarefas se encontram inseridas. Em muitos domínios — moderação de conteúdo, contratação, triagem médica ou até mesmo apoio judicial —, os modelos de linguagem são utilizados para filtrar, estabelecer prioridades e, por vezes, tomar decisões que anteriormente exigiam deliberação humana. Essa dependência crescente de sistemas de IA introduz uma forma daquilo que poderíamos chamar de deriva ética: um deslocamento gradual da responsabilidade moral, não por meio de uma delegação explícita, mas por uma deferência tornada habitual.

No cerne dessa preocupação encontra-se o fenômeno da descapacitação moral (moral deskilling). Com base na crítica de Hubert Dreyfus (1992) à IA, podemos compreender a expertise moral não como a aplicação de regras fixas, mas como uma capacidade cultivada de exercer um juízo situado e corporificado. Dreyfus sustenta que o conhecimento especializado está enraizado em uma capacidade de resposta sensível ao contexto — algo irredutível à codificação formal. De maneira semelhante, o juízo moral depende da atenção à ambiguidade, à nuance e à singularidade dos outros. Quando sistemas de IA, como os LLMs, oferecem respostas rápidas e plausíveis em situações eticamente carregadas, podem desencorajar o tipo de envolvimento lento e reflexivo que a vida ética exige. Desse modo, a conveniência da IA corre o risco de erodir justamente as capacidades — empatia, discernimento e imaginação moral — das quais depende a prática ética.

Essa preocupação não é hipotética. Estudos anteriores (Citron e Pasquale, 2014), sobretudo em contextos médicos e jurídicos, mostraram como sistemas de apoio à decisão podem alterar sutilmente as normas profissionais, levando os usuários a alinhar seu raciocínio às saídas algorítmicas, mesmo quando essas saídas são contestadas ou incompletas (Chen et al., 2024; Choudhury e Chaudhry, 2024). Esse efeito é ampliado quando a lógica do sistema é opaca: modelos de caixa-preta não convidam à interpretação nem ao diálogo, mas à aceitação ou à rejeição. O perigo ético não consiste apenas na possibilidade de que os seres humanos sejam substituídos, mas também na possibilidade de que sua capacidade de juízo seja reconfigurada — estreitada pelo enquadramento, pelas opções padrão e pela autoridade do próprio sistema.

A tendência a transferir o trabalho moral para sistemas técnicos reflete uma tendência cultural mais ampla, que Shannon Vallor (2016) descreve como uma crise da atenção moral. Em um mundo saturado de automação digital, corremos o risco de nos tornar desatentos às dimensões morais de nossas ações, tratando a reflexão ética como um luxo que exige muitos recursos, e não como uma faculdade humana fundamental. Vallor recorre à ética aristotélica das virtudes para sustentar que o florescimento em uma era tecnológica exige o cultivo de virtudes tecnomorais: hábitos da mente e do caráter que nos permitam lidar com a complexidade tecnológica com responsabilidade e cuidado.

O que decorre desse diagnóstico não é uma rejeição dos LLMs, mas um compromisso com um design orientado à atenção ética. Isso envolve manter os seres humanos significativamente envolvidos no processo (human in the loop) — não meramente como supervisores ou salvaguardas de último recurso, mas como participantes morais. Exige também estruturas institucionais que sustentem a reflexão ética: tempo, espaço e normas que resistam à lógica da automação como opção padrão. À medida que os LLMs se entrelaçam com a tomada de decisões sociais, o desafio não consiste apenas em governá-los, mas em assegurar que os usuários humanos não percam as competências morais que, em primeiro lugar, tornam significativa a governança.

3 Dados, consentimento e direitos culturais

A ascensão dos LLMs provocou um renovado escrutínio da relação entre dados e poder — ver os capítulos anteriores —, particularmente no contexto da representação linguística, jurídica e cultural. Se os LLMs são treinados com os rastros linguísticos de bilhões de interações humanas — livros, sites, publicações em mídias sociais e transcrições orais —, eles inevitavelmente suscitam questões prementes: a linguagem de quem está sendo modelada, sob quais condições e com quais consequências — ver o Capítulo 7?

Esses padrões de exclusão são intensificados ainda mais pela economia política dos dados. Os LLMs dependem de vastos conjuntos de textos extraídos em massa de espaços públicos e semipúblicos, frequentemente sem consentimento e com pouca consideração pelos contextos nos quais a linguagem está inserida.

Por trás da aparente neutralidade dos “dados de treinamento” encontram-se preocupações éticas, políticas e, cada vez mais, jurídicas de grande complexidade. A maioria dos modelos de linguagem de grande escala é treinada com vastos conjuntos de dados extraídos em massa e compilados sem o consentimento explícito dos autores, das comunidades ou dos titulares dos dados. Isso inclui livros protegidos por direitos autorais, artigos jornalísticos, obras de arte e tradições orais — frequentemente obtidos sem licenciamento ou autorização. Embora tais práticas sejam comumente justificadas com base em interpretações amplas do “uso justo” (fair use), nos Estados Unidos, ou das “exceções à mineração de textos e dados” (text and data mining exemptions), na União Europeia, esses quadros jurídicos permanecem contestados e incompletos. Esse processo chegou a ser descrito como “colonialismo de dados” — a apropriação da expressão humana e da produção cultural para a geração de valor computacional (Couldry e Mejias, 2019).

Um exemplo proeminente é o processo movido nos Estados Unidos por grandes editoras — incluindo o New York Times — contra a OpenAI e a Microsoft, no qual se alega o uso não autorizado de milhões de artigos protegidos por direitos autorais no treinamento de LLMs. O processo põe em evidência a possibilidade de responsabilidades financeiras substanciais, com indenizações que poderiam chegar à casa dos bilhões. Ações judiciais desse tipo não dizem respeito meramente à atribuição ou à transparência — elas contestam a própria legalidade das atuais práticas de treinamento e indicam que a legitimidade da extração de dados em massa está agora submetida a sério escrutínio judicial e regulatório.

Esse terreno jurídico emergente possui implicações graves — não apenas para as empresas de tecnologia, mas para todo o ecossistema criativo. Quando materiais protegidos por direitos autorais são reutilizados sem compensação, a base econômica da autoria é erodida. Escritores, jornalistas, artistas e pequenas editoras podem passar a competir com saídas sintéticas construídas com base em seu próprio trabalho não remunerado. O Código de Prática de IA (AI Code of Practice) proposto pela Comissão Europeia incentiva a transparência e a conformidade com a legislação de propriedade intelectual, mas seus críticos sustentam que ele deixa brechas que podem, em última instância, beneficiar as grandes plataformas em detrimento dos titulares de direitos de menor porte. Somando-se a essas preocupações, várias grandes empresas de IA — como a Meta — sinalizaram que não assinarão instrumentos voluntários como o Código, apresentando-os como onerosos ou incompatíveis com os objetivos de inovação. Essa resistência à regulamentação põe em evidência a crescente distância entre o poder das plataformas e a responsabilização pública. A assimetria é tanto financeira quanto epistêmica.1

Além disso, essas práticas afetam de maneira desproporcional comunidades marginalizadas e indígenas, cujos recursos culturais e linguísticos têm sido historicamente submetidos à extração e à representação equivocada. Muitas dessas comunidades têm lutado para proteger os conhecimentos tradicionais contra a apropriação, a distorção ou o apagamento — seja por pesquisas acadêmicas extrativistas, seja por sistemas digitais baseados na exploração (para uma visão geral do caso dos LLMs, ver Liu [2024]). Quando suas línguas são incluídas no treinamento dos LLMs sem consulta ou repartição de benefícios, o resultado frequentemente não é o empoderamento, mas a assimilação: suas epistemologias são reduzidas a padrões linguísticos dominantes, despojadas de seu contexto e reintegradas a sistemas que elas não controlam.

Essa dinâmica exemplifica aquilo que Miranda Fricker (2007) denomina injustiça epistêmica: uma injustiça praticada contra alguém especificamente em sua capacidade de sujeito do conhecimento. No caso dos LLMs, tal injustiça ocorre quando as comunidades são excluídas da conformação do modo como suas práticas linguísticas e culturais são representadas, interpretadas ou reproduzidas. O dano é agravado quando essas mesmas comunidades são sub-representadas nas saídas dos modelos — reforçando normas dominantes e marginalizando formas alternativas de expressão, de narração de histórias e de raciocínio.

Mas a inclusão, por si só, não basta. Simplesmente acrescentar dados mais “diversos” a um conjunto de textos de treinamento não resolve as questões éticas mais profundas relativas ao consentimento, ao controle e à integridade cultural. Como sustentaram pesquisadores e ativistas do movimento pela justiça de dados (Taylor, 2017), o que importa não é apenas quais dados são incluídos, mas como, por que e por quem são incluídos. Isso exige uma mudança em direção a abordagens participativas da curadoria dos conjuntos de dados e do projeto dos modelos — abordagens que respeitem a soberania das comunidades, reconheçam a especificidade cultural da linguagem e possibilitem a inclusão por adesão voluntária (opt-in), em vez da inclusão como opção padrão.

Algumas iniciativas começaram a enfrentar esses desafios. Modelos plenamente abertos desenvolvidos por grupos de pesquisa como o Allen Institute for AI — por exemplo, o OLMo — e o grupo TurkuNLP — por exemplo,2 o Poro — empreenderam esforços notáveis para aprimorar a transparência. Esses projetos vão além da simples disponibilização dos pesos dos modelos — uma forma comum, mas limitada, de abertura —, fornecendo também documentação abrangente das fontes dos dados de treinamento, das arquiteturas dos modelos e dos procedimentos de treinamento. Esse grau de abertura favorece a reprodutibilidade e possibilita um escrutínio mais substantivo por parte da comunidade de pesquisa. Contudo, ainda são necessárias mudanças estruturais mais amplas. Elas podem incluir mecanismos de consentimento juridicamente exigíveis, quadros de licenciamento ético e compensação financeira aos titulares de direitos. Embora o reconhecimento de direitos coletivos sobre dados culturais — a ideia de que grupos, e não apenas indivíduos, possuem pretensões jurídicas e morais relativas ao uso e à distribuição de seus dados linguísticos e culturais — permaneça uma orientação convincente, ele ainda não foi enfrentado de maneira substantiva nem mesmo em muitas iniciativas de modelos abertos.3

À medida que os quadros regulatórios evoluírem na Europa, na América do Norte e em outras regiões, o futuro dos LLMs será moldado cada vez mais não apenas pela capacidade técnica, mas também pela responsabilização jurídica e pela legitimidade cultural. A questão central já não consiste apenas em saber o que pode ser feito com os dados, mas o que deve ser feito, em nome de quem e em benefício de quem.

4 Externalidades ecológicas e sociais

Embora grande parte do discurso ético em torno dos LLMs se concentre na linguagem, na verdade ou no viés, há um reconhecimento crescente de que esses sistemas possuem pegadas materiais — ecológicas, econômicas e sociais — que se estendem muito além da tela. A produção, o treinamento e a implementação de modelos de grande escala exigem enormes recursos computacionais, hardware especializado e uma força de trabalho globalizada. Embora as narrativas públicas frequentemente celebrem a imaterialidade (ou a “magia”) da IA, cresce a percepção de que esses sistemas acarretam externalidades significativas. Esses custos materiais — por muito tempo obscurecidos — são agora reconhecidos cada vez mais como centrais para qualquer avaliação responsável do papel social dos LLMs.

4.1 O custo ambiental dos modelos de linguagem de grande porte

No plano ecológico, o custo ambiental do desenvolvimento e da implementação de LLMs tornou-se uma área urgente de preocupação (Strubell et al., 2019). O treinamento de modelos como GPT-3 e GPT-4 envolve o consumo de enormes recursos computacionais, com impactos correspondentes sobre o uso de energia e as emissões de carbono. Estimativas sugerem que o treinamento somente do GPT-3 exigiu aproximadamente 1.287 megawatts-hora de eletricidade e produziu mais de 550 toneladas métricas de emissões de CO2 — comparáveis às emissões totais de um domicílio norte-americano médio ao longo de várias décadas (Patterson et al., 2021). À medida que modelos mais novos alcançam centenas de bilhões ou até trilhões de parâmetros, suas demandas por recursos crescem exponencialmente, especialmente quando os modelos são treinados novamente ou submetidos a ajuste fino para novas tarefas, línguas ou adaptações específicas para usuários.

Entretanto, as emissões do treinamento são apenas parte do quadro. A fase operacional — frequentemente denominada inferência — pode consumir ainda mais energia em larga escala (Jegham et al., 2025). Cada vez que um LLM gera texto, requer computação significativa em tempo real, multiplicada por milhões ou bilhões de consultas de usuários. Segundo algumas análises, estima-se que uma única consulta ao ChatGPT consuma até mil vezes mais energia do que uma busca no Google, embora todos esses números permaneçam estimativas aproximadas, em razão da falta de transparência no setor. Esse uso contínuo de energia contribui para aquilo que alguns pesquisadores denominam o custo oculto da inteligência como serviço: uma passagem do treinamento realizado uma única vez para uma sobrecarga ambiental permanente (Varoquaux et al., 2025).4

É importante observar que esses custos são geográfica e politicamente desiguais. Os centros de dados que impulsionam a revolução da IA situam-se frequentemente em regiões com eletricidade barata e grandes volumes de água doce para resfriamento. Isso inclui áreas rurais ou semirrurais da Escandinávia, do Meio-Oeste dos Estados Unidos ou de partes do Sul e do Sudeste Asiático, onde as empresas se beneficiam de menor escrutínio regulatório e tarifas reduzidas de energia. Em muitos casos, a eletricidade ainda deriva parcialmente de combustíveis fósseis, e a água desviada para resfriar os centros de dados sobrecarrega os ecossistemas locais e o abastecimento municipal — por vezes durante períodos de seca. As comunidades locais frequentemente têm pouca participação nessas decisões, moldadas por contratos opacos e incentivos econômicos, e não por consulta democrática (Li et al., 2023; Siddik, et al., 2021).

Paralelamente, a corrida para ampliar a escala dos modelos de IA impulsiona a demanda por hardware computacional especializado: unidades de processamento gráfico, unidades de processamento tensorial e infraestruturas de servidores de grande escala. Esses dispositivos dependem de cadeias de suprimentos extrativistas que envolvem minerais críticos e de terras raras, como lítio, cobalto e neodímio. A mineração e o refino desses materiais são processos ambientalmente destrutivos, associados ao desmatamento, a resíduos tóxicos e à poluição da água. Os custos sociais também são acentuados: muitas operações de mineração localizam-se em países do Sul Global, onde a proteção trabalhista é frágil, o trabalho infantil não é incomum e comunidades locais são deslocadas ou expostas a condições perigosas. Nesse sentido, a “inteligência” produzida pelos LLMs não é imaterial, mas construída sobre uma base de degradação ecológica e desigualdade global (Muldoon et al., 2024).

Crucialmente, esses danos ambientais são em grande medida externalizados das interfaces elegantes e das experiências sem atrito oferecidas pelas plataformas comerciais de IA. Como usuários, raramente temos consciência da pegada infraestrutural por trás de uma consulta aparentemente simples ou de um parágrafo gerado. Essa desconexão suscita questões fundamentais sobre sustentabilidade, responsabilidade e ética da escala. Embora alguns atores do setor tenham assumido compromissos com compensações de carbono ou métodos de treinamento energeticamente eficientes, essas medidas são frequentemente limitadas em alcance e difíceis de verificar. Além disso, as compensações pouco fazem para enfrentar as consequências materiais e geopolíticas mais amplas da rápida expansão da IA.

Em suma, o desafio ambiental dos LLMs não diz respeito apenas às emissões — diz respeito à justiça energética, à responsabilização material e à distribuição desigual dos riscos e danos entre populações e regiões geográficas. À medida que o campo continuar a evoluir, será essencial um enfrentamento sério dessas dimensões ecológicas — não apenas para a legitimidade da pesquisa em IA, mas para seu alinhamento com os limites planetários e a equidade social global.

4.2 O trabalho oculto por trás da inteligência artificial

Igualmente importantes, embora frequentemente ofuscadas pelas discussões sobre automação e inovação, são as condições do trabalho humano que sustentam o desenvolvimento dos LLMs. Apesar da imagem popular da IA como autônoma e capaz de aprimorar-se por si mesma, seus fundamentos permanecem profundamente entrelaçados a enormes quantidades de trabalho humano invisível. Para além da força de trabalho humana necessária ao desenvolvimento do hardware, mencionada na subseção anterior, em quase todas as etapas do processo de desenvolvimento da IA — da curadoria dos conjuntos de dados ao alinhamento voltado à segurança (safety alignment) —, o trabalho humano desempenha um papel crucial, ainda que em grande medida não reconhecido.

Uma parcela significativa desse trabalho é realizada por anotadores, moderadores de conteúdo e profissionais responsáveis pela limpeza de dados — formas de trabalho por vezes descritas como “trabalho fantasma” (ghost work) (Gray e Suri, 2019). Esses trabalhadores, frequentemente situados em países de renda baixa ou média, recebem a tarefa de rotular conjuntos de dados, identificar e remover conteúdos nocivos, produzir prompts de treinamento ou avaliar as saídas quanto à pertinência e à segurança. As condições desse trabalho são frequentemente precárias: baixos salários, regimes de remuneração por tarefa, proteção trabalhista mínima e exposição constante a materiais perturbadores. Os trabalhadores também são submetidos a vigilância rigorosa e ao monitoramento algorítmico da produtividade, com poucas oportunidades de negociação coletiva ou de obter visibilidade no setor.

Uma ilustração contundente disso pode ser encontrada no caso, amplamente noticiado, que envolveu a Sama, uma empresa de terceirização contratada pela OpenAI por intermédio de um fornecedor externo. Em 2022, revelou-se que trabalhadores no Quênia recebiam apenas entre US$ 1,32 e US$ 2 por hora para filtrar conteúdos tóxicos — incluindo representações gráficas de violência, abuso e discurso de ódio —, a fim de ajudar a treinar e “alinhar” modelos como o ChatGPT. Muitos desses trabalhadores relataram sofrimento psicológico, apoio insuficiente à saúde mental e falta de transparência quanto à natureza de suas tarefas. Embora a OpenAI tenha posteriormente encerrado o contrato, o caso lançou luz sobre as práticas mais amplas de terceirização que sustentam o setor de IA — práticas que persistem em diversas empresas e continentes.

De uma perspectiva filosófica, essa invisibilidade reflete aquilo que Fraser (2009) descreve como não reconhecimento (misrecognition): a incapacidade de conferir a determinadas formas de trabalho e de vida a posição social, o respeito ou a visibilidade que lhes são devidos. No contexto dos LLMs, o não reconhecimento opera tanto no plano social quanto no ecológico. Os custos humanos e ambientais do desenvolvimento da IA são sistematicamente externalizados, enquanto os benefícios — monetários, simbólicos e infraestruturais — são centralizados. O valor extraído do trabalho de trabalhadores invisíveis reverte em grande medida para corporações multinacionais do Norte Global, reforçando hierarquias globais de longa data.

Essa dinâmica levou estudiosos como Birhane, Mohamed e outros a descrever o fenômeno como colonialismo computacional ou ⁠colonialismo de dados (Birhane, 2020; Mohamed et al., 2020). Segundo esse quadro, o desenvolvimento da IA reproduz um padrão conhecido de extração e cercamento: dados, trabalho e recursos naturais provêm das periferias, são processados por sistemas mantidos de maneira centralizada e são reutilizados de modos que raramente beneficiam as comunidades das quais se originaram. Esse paradigma de extração não apenas suscita preocupações éticas, mas também põe em questão a própria sustentabilidade e a justiça do setor de IA.

Falar de sistemas “inteligentes” sem levar em consideração as redes globais de trabalho humano subvalorizado que os sustentam é perpetuar um mito. Qualquer ética da IA que se pretenda séria deve confrontar essas condições sociais, psicológicas e econômicas — para que não reproduzamos justamente as desigualdades que, segundo muitos, a IA teria o potencial de enfrentar. Responder a essas externalidades exige mais do que otimização técnica. É necessária uma mudança no foco da atenção ética — do desempenho dos modelos para o impacto sobre o sistema como um todo; da imparcialidade abstrata para a justiça relacional. Isso inclui repensar as práticas de contratação e aquisição, assegurar padrões trabalhistas justos na cadeia de fornecimento de dados e desenvolver quadros participativos de governança que incluam trabalhadores, comunidades afetadas e defensores do meio ambiente nas decisões acerca da implementação da IA.

5 Poder econômico e dependência de plataformas

O cenário contemporâneo dos LLMs é moldado não apenas pela capacidade técnica ou pelas aspirações éticas, mas também por poderosas dinâmicas econômicas. O treinamento, o ajuste fino e a implementação de modelos de fronteira exigem uma imensa infraestrutura computacional, conhecimento especializado e acesso a conjuntos de dados proprietários — recursos que se encontram esmagadoramente concentrados em um pequeno número de atores corporativos. Essa concentração possui implicações profundas para a distribuição da inovação, da agência e do valor econômico na era da IA.

5.1 A lógica econômica da escala e o privilégio conferido ao tamanho

A narrativa dominante em torno dos LLMs frequentemente celebra o aumento contínuo da escala — modelos com um número cada vez maior de parâmetros, treinados com conjuntos de dados cada vez maiores e otimizados para uma variedade crescente de tarefas subsequentes de aplicação. Esse entusiasmo pela ampliação da escala é frequentemente apresentado como a trajetória natural do progresso, presumindo-se que modelos maiores sejam mais poderosos, mais gerais e, em última instância, mais valiosos. Contudo, esse pressuposto é cada vez mais contestado. Pesquisas recentes sugerem que modelos menores e específicos para determinadas tarefas — particularmente quando submetidos a ajuste fino com dados cuidadosamente selecionados — podem superar modelos maiores de propósito geral em domínios especializados (Bamman et al., 2024; Varoquaux et al., 2025). Esses modelos menores são frequentemente mais interpretáveis, mais eficientes e mais bem ajustados às necessidades humanas concretas. De modo crucial, exigem muito menos energia computacional e hardware para serem treinados e implementados, o que os torna mais sustentáveis tanto ecológica quanto institucionalmente.

O atual viés em favor da escala não é impulsionado exclusivamente por evidências científicas, mas por uma confluência de incentivos econômicos, infraestruturais e reputacionais. O treinamento de modelos como o GPT-4 ou o Gemini Ultra envolve custos de dezenas ou centenas de milhões de dólares, além de exigir acesso a conjuntos de dados proprietários, hardware especializado e equipes de engenharia altamente qualificadas. Esses custos podem ser arcados apenas por um pequeno número de empresas — sediadas principalmente nos Estados Unidos — sobretudo a OpenAI, apoiada pela Microsoft; a Google DeepMind; a Meta; e a Anthropic, apoiada pela Amazon — e na China — onde os principais atores incluem Baidu, Alibaba, Tencent, Huawei e, mais recentemente, DeepSeek —, que atualmente dominam o campo. Contudo, alternativas fortes começaram a surgir em outras regiões, incluindo Mistral, na França; Aleph Alpha, na Alemanha; Cohere, no Canadá; e o projeto OLMo, apoiado pelo AI2, nos Estados Unidos, mas plenamente aberto e orientado pela pesquisa. Essas empresas controlam muitas das camadas essenciais do processo de desenvolvimento da IA — desde o treinamento dos modelos até as plataformas de distribuição. Como resultado, a percepção do progresso torna-se estreitamente vinculada à capacidade corporativa, e não ao benefício coletivo ou à investigação pluralista.

Essa concentração possui implicações de amplo alcance. Como sustentou Joseph Stiglitz (2012), as desigualdades econômicas frequentemente não são acidentais, mas resultam de escolhas deliberadas de políticas públicas e de arranjos institucionais que beneficiam os atores dominantes. No contexto dos LLMs, observa-se uma dinâmica semelhante: a fronteira tecnológica é cada vez mais moldada pelos interesses e pelas capacidades de empresas poderosas, e não pela deliberação científica aberta ou por uma ampla responsabilização pública. O pressuposto de que “maior é melhor” promove uma dinâmica na qual o vencedor leva tudo, em que entidades menores — universidades, laboratórios públicos, organizações sem fins lucrativos ou governos locais — encontram dificuldades para obter financiamento ou legitimidade, a menos que se conformem à lógica dominante da escala. Nesse ambiente, a escala torna-se tanto um filtro técnico quanto epistêmico: modelos que não são suficientemente grandes são frequentemente descartados como inerentemente menos capazes, independentemente de seu desempenho efetivo, de sua pertinência contextual ou da possibilidade de que sejam submetidos a um tratamento ético adequado.

Além disso, a opacidade que acompanha muitos modelos proprietários de grande escala agrava essa assimetria. Sem acesso aos dados de treinamento, aos pressupostos de modelagem ou aos procedimentos de avaliação, pesquisadores externos não conseguem reproduzir, auditar ou contestar as alegações feitas acerca das capacidades dos modelos. Isso não constitui meramente uma preocupação com a transparência, mas um problema epistêmico mais profundo: à medida que a produção do conhecimento passa a estar incorporada a infraestruturas corporativas fechadas, a autoridade para definir o que conta como raciocínio digno de crédito ou informação válida é progressivamente transferida para atores privados. Em tal cenário, abordagens alternativas — como modelos mais enxutos, transparentes e específicos para determinados domínios — não são apenas viáveis, mas necessárias. Elas oferecem um caminho para formas mais democráticas, passíveis de responsabilização e sustentáveis de inteligência de máquina.

5.2 Dependência de plataforma e tecnofeudalismo

Apesar das preocupações relativas à concentração e à opacidade, é crucial reconhecer que a adoção generalizada das plataformas corporativas de LLMs não é simplesmente imposta, mas ativamente escolhida — frequentemente por boas razões. Esses sistemas são confiáveis, fáceis de usar, integrados a diferentes dispositivos e fluxos de trabalho e amparados por extensas infraestruturas de suporte. Para muitos educadores, desenvolvedores e empresas, oferecem um caminho com poucos obstáculos para a inovação e a experimentação. Além disso, beneficiam-se de efeitos de rede: quanto mais pessoas utilizam determinada plataforma, mais refinadas se tornam suas saídas e mais atraente se torna permanecer em seu ecossistema.

Isso cria uma dinâmica de dependência de plataforma (platform lock-in), na qual os usuários se tornam cada vez mais dependentes de determinado modelo ou interface — não porque não existam alternativas, mas porque o custo da mudança, em termos de compatibilidade, facilidade de uso ou desempenho, torna-se proibitivo. Assim como ocorreu em transformações anteriores no software e na infraestrutura de computação em nuvem, o resultado é uma forma sutil, mas poderosa, de cercamento tecnológico: o trabalho cognitivo, a criatividade linguística e até mesmo a memória pessoal passam a transitar por canais proprietários, submetidos aos termos e às condições de um pequeno número de corporações.

De uma perspectiva filosófica, essa situação suscita questões acerca da autonomia e da dependência estrutural. Como enfatiza Foucault (1978), o poder não é apenas coercitivo, mas também produtivo: ele molda aquilo que é possível, desejável e pensável no interior de determinado sistema. No caso dos LLMs, a produtividade das plataformas corporativas de IA — sua capacidade de gerar textos, sugerir ações ou resumir informações complexas — tem como preço a inserção dos usuários em arquiteturas que eles não controlam. Essa situação não é inerentemente uma forma de exploração; ainda assim, limita de maneiras sutis o horizonte da escolha e da agência (autonomia).

Mais recentemente, Yanis Varoufakis (2024) sustentou, de maneira provocativa, que a lógica econômica da era digital já não se ajusta aos modelos tradicionais do capitalismo — seguindo uma teoria originalmente proposta por Durand (2020) para a economia digital em geral. Nos quadros clássicos do capitalismo — sejam os mercados competitivos de Adam Smith, seja a explicação marxiana da produção industrial —, o poder econômico organiza-se em torno da propriedade do capital e da exploração do trabalho na produção de mercadorias. O valor é gerado por meio da troca em mercados relativamente abertos, nos quais as empresas competem pelo lucro e os consumidores exercem sua escolha, por mais restringida que ela seja. Mesmo sob o capitalismo monopolista, no qual a competição é reduzida, a lógica básica da mediação pelo mercado permanece central: bens e serviços são comprados e vendidos, o trabalho é assalariado e a mais-valia é extraída na fábrica ou na empresa.

O ⁠tecnofeudalismo, em contraste, designa uma nova formação político-econômica na qual o valor já não é gerado primordialmente por meio da troca mercantil, mas pelo cercamento e pelo controle de territórios digitais. Nos termos de Varoufakis, estamos testemunhando a ascensão dos “capitalistas da nuvem” — um pequeno número de empresas que possuem e operam a infraestrutura computacional, os fluxos de processamento de dados e os sistemas algorítmicos que medeiam a vida digital. Esses atores já não competem primordialmente pela produção de bens, mas pelo controle do acesso: controlam plataformas, estabelecem termos de serviço e extraem renda dos usuários que operam no interior de jardins murados. Os usuários já não são consumidores no sentido clássico do mercado, mas inquilinos dependentes das plataformas — presos a ecossistemas proprietários e incapazes de sair sem perder dados, identidade ou funcionalidades.

Esse modelo possui uma semelhança estrutural com o feudalismo: não no sentido literal de senhores e vassalos, mas na lógica subjacente de controle jurisdicional sobre domínios delimitados. Assim como os senhores feudais concediam acesso à terra em troca de tributo ou lealdade, as empresas de computação em nuvem concedem acesso a espaços digitais — como redes sociais, plataformas de conteúdo e, agora, interfaces de IA —, ao mesmo tempo que conservam a soberania última sobre as regras, a infraestrutura e o valor extraído.

É importante observar que a “renda” extraída não é apenas monetária, mas também comportamental, cognitiva e epistêmica: as interações, consultas, correções e preferências dos usuários retroalimentam o modelo, aprimorando o desempenho do sistema e, simultaneamente, consolidando a vantagem da empresa.

No contexto dos LLMs, essa dinâmica é particularmente acentuada. Quando os usuários interagem com LLMs proprietários, contribuem para o refinamento do sistema — frequentemente sem compensação ou reconhecimento explícitos. O valor produzido por meio dessas interações acumula-se em benefício do fornecedor da plataforma, enquanto os usuários permanecem vinculados a interfaces que não controlam e cujo funcionamento interno não podem inspecionar. Isso representa uma mudança não apenas nos modelos de negócios, mas na economia política da cognição: o trabalho linguístico, a expressão criativa e até mesmo a memória tornam-se recursos a serem extraídos no interior de territórios digitais cercados.

O ⁠tecnofeudalismo reformula, assim, os debates acerca da inovação e da competição. O problema não consiste simplesmente em algumas empresas serem “grandes demais” ou em a regulamentação estar atrasada. Consiste no fato de que a própria estrutura da participação na vida digital foi reorganizada em torno do controle assimétrico e da dependência não mercantil. Diferentemente dos mercados tradicionais, nos quais a saída é ao menos teoricamente possível, os ecossistemas de IA baseados em computação em nuvem apoiam-se em elevados custos de mudança, formatos proprietários e efeitos de rede que tornam a saída difícil ou contraproducente. O resultado é uma forma de captura cognitiva: uma situação na qual indivíduos e instituições precisam operar dentro dos parâmetros epistêmicos definidos por um pequeno número de soberanos das plataformas, cujos interesses podem não estar alinhados com os bens públicos ou com as normas democráticas (Couldry e Mejias, 2019).

Aceite-se ou não o diagnóstico completo de Varoufakis, ele põe em evidência uma mudança importante no locus do controle econômico. No mundo dos LLMs, os usuários geram valor para as plataformas ao interagir com elas: fornecem prompts, correções e dados comportamentais que refinam continuamente o modelo. Isso cria um ciclo de retroalimentação de trabalho digital não remunerado — semelhante àquilo que Terranova (2000) descreveu anteriormente como “trabalho gratuito” (free labor) nas plataformas on-line. A diferença é que os produtos desse trabalho são agora incorporados a sistemas de cognição sintética, cujos benefícios são distribuídos de maneira desigual e que, em grande medida, não estão sujeitos à responsabilização perante as comunidades das quais seu valor é extraído — por exemplo, usuários, anotadores e fornecedores de dados.

O risco aqui não é apenas a concentração econômica, mas também a captura epistêmica. À medida que as plataformas corporativas se tornam a interface padrão para escrever, pesquisar, raciocinar e recordar, elas moldam não apenas o que os usuários podem fazer, mas também aquilo que podem imaginar fazer. A promessa dos LLMs como força democratizante encontra-se, portanto, em tensão com seu papel como controladores de acesso: eles oferecem acesso, mas somente por meio de sistemas que reforçam sua própria centralidade.

5.3 Rumo a uma economia política pluralista dos modelos de linguagem

Enfrentar essas dinâmicas não exige rejeitar os LLMs nem demonizar as empresas que desempenharam um papel de liderança em seu desenvolvimento. O problema não é a existência de atores corporativos per se, mas a concentração do poder epistêmico e infraestrutural em um pequeno conjunto de instituições cujas prioridades são moldadas por motivações de lucro, pela lógica proprietária e pela governança privada. Uma resposta crítica deve, portanto, ir além dos apelos à transparência ou à “IA ética” e voltar-se, em vez disso, para as estruturas subjacentes que determinam quem controla essas tecnologias, como elas são desenvolvidas e a serviço dos interesses de quem operam.

É necessária uma reorientação tanto dos quadros de governança quanto das estruturas de incentivos: mecanismos que apoiem ativamente o desenvolvimento de modelos e infraestruturas alternativos. Isso inclui investimento público em recursos computacionais, programas de pesquisa voltados para uma IA aberta e responsável e salvaguardas jurídicas que limitem o cercamento excessivo ou a integração vertical ao longo da cadeia de valor da IA. Sem tais intervenções sistêmicas, a trajetória do desenvolvimento dos LLMs continuará em consonância com os interesses de poucas empresas, independentemente das consequências sociais ou epistêmicas mais amplas.

Um caminho promissor reside na criação e na sustentação de longo prazo de LLMs públicos, cívicos ou cooperativos — modelos construídos e mantidos por universidades, laboratórios de pesquisa independentes, instituições governamentais ou consórcios de organizações sem fins lucrativos. Essas iniciativas podem incorporar valores democráticos ao design e à implementação das tecnologias da linguagem, não como restrições externas, mas como princípios integrantes. Exemplos que já mencionamos, como o Bloom — desenvolvido pelo BigScience —, o OLMo — do Allen Institute for AI — e o Poro — do TurkuNLP —, demonstram que modelos de alto desempenho e plenamente abertos podem ser construídos fora dos limites dos silos corporativos. Esses projetos enfatizam não apenas o acesso aberto, mas também a documentação transparente, a reprodutibilidade e a governança comunitária, contribuindo para reconfigurar o significado da responsabilidade no desenvolvimento da IA.

Contudo, esses esforços permanecem frágeis e dispõem de recursos insuficientes em comparação com seus equivalentes corporativos. Um modelo como o Bloom exigiu uma enorme coordenação de voluntários e dependeu fortemente da boa vontade institucional, embora ainda careça de financiamento para manutenção de longo prazo. O OLMo dá um passo importante ao combinar pesos abertos com dados de treinamento e código abertos, mas sua sustentabilidade depende da continuidade do apoio filantrópico. Para que tais modelos ofereçam uma alternativa efetiva, precisarão de mais do que apoio simbólico: necessitam de inserção institucional, financiamento estável e medidas protetivas de políticas públicas que os resguardem contra aquisições predatórias ou contra a obsolescência.

A justificativa normativa dessa mudança é reforçada pelo trabalho de filósofos políticos como Anderson (2017), que defende a extensão da democracia econômica — a ideia de que instituições que produzem efeitos profundos sobre a vida das pessoas devem ser governadas por elas ou, ao menos, ser responsabilizáveis perante elas. Aplicado à IA, esse princípio implica que a governança não deve ser deixada a cargo da mão invisível da demanda de mercado nem das deliberações fechadas de especialistas técnicos. Em vez disso, exige mecanismos de deliberação coletiva, representação de trabalhadores e usuários e responsabilização perante valores públicos — seja por meio de regulação estatal, de modelos cooperativos ou de quadros transnacionais de supervisão dos sistemas algorítmicos.

Essa mudança também contesta as narrativas dominantes acerca da “inovação” como produto da liberdade empresarial e da rápida ampliação da escala. Uma abordagem verdadeiramente democrática dos LLMs reconheceria que a inovação pode — e deve — ocorrer em contextos mais lentos e deliberativos, que priorizem a utilidade social, a inclusão linguística e a integridade epistêmica de longo prazo em detrimento da participação no mercado. Em vez de perguntar quais empresas irão “vencer” a corrida da IA, deveríamos perguntar com que tipos de infraestruturas de conhecimento queremos viver e como elas podem servir a sociedades pluralistas.

6 Conclusão: viver eticamente com modelos de linguagem de grande porte

Se os LLMs já não estão confinados aos laboratórios de pesquisa, mas incorporados ao tecido da vida cotidiana — estruturando o conhecimento, moldando a comunicação e influenciando decisões —, então a questão passa a ser não simplesmente como governá-los ou restringi-los, mas como viver com eles. Esta seção final passa da crítica à possibilidade, perguntando como poderíamos cultivar relações éticas com os LLMs — relações que preservem a agência (autonomia) humana, promovam a diversidade e coloquem o cuidado em primeiro plano.

Os filósofos da tecnologia sustentam há muito tempo que a vida ética não pode ser reduzida à conformidade com normas externas; ela envolve sabedoria prática — a capacidade de lidar com dilemas complexos e situados com sensibilidade e discernimento. Sob essa perspectiva, a interação ética com os LLMs não é uma questão de obedecer a regras, mas de desenvolver hábitos reflexivos: fazer uma pausa antes de aceitar a sugestão de um modelo, questionar os pressupostos subjacentes a sua saída e considerar quem ou o que pode ser tornado invisível em sua formulação. Como sustenta Vallor (2016), necessitamos não apenas de regras tecnomorais, mas também de virtudes tecnomorais — qualidades como humildade, atenção e responsabilidade, cultivadas ao longo do tempo por meio do uso.

Isso é especialmente importante diante da tendência dos LLMs de normalizar, por meio da repetição, determinados padrões linguísticos, quadros culturais ou intuições morais. Com o tempo, os usuários podem passar a aceitar aquilo que é estatisticamente provável como aquilo que é ética ou socialmente desejável. Essa convergência é sutil, mas poderosa; ela molda aquilo que parece “natural” dizer, perguntar ou acreditar. Viver eticamente com os LLMs significa resistir a essa deriva — permanecer aberto à pluralidade, ao dissenso e ao inesperado. Significa perceber quando um modelo achata as nuances, apaga a ambiguidade ou oferece uma resolução onde uma verdadeira deliberação ética exigiria desconforto ou demora.

Da perspectiva da ética do cuidado, isso envolve repensar nossa relação com a tecnologia não como dominação ou controle, mas como cuidado responsável (stewardship) — um envolvimento recíproco e atento que reconhece a vulnerabilidade e a interdependência (Held, 2006). Os LLMs não são agentes morais, mas são objetos de preocupação moral: são produzidos por mãos humanas, refletem mundos humanos e medeiam relações humanas. Cuidar deles significa preocupar-se com o modo como são construídos, com aqueles a quem servem e com aquilo que tornam possível ou impedem. Essa perspectiva nos incentiva a valorizar a lentidão em detrimento da velocidade, a contextualidade em detrimento da generalização e a cocriação em detrimento da automação.

Na prática, viver eticamente com os LLMs poderia envolver o desenvolvimento de novos quadros institucionais e pedagógicos. Os currículos educacionais deveriam capacitar os estudantes não apenas a utilizar os LLMs de modo eficaz, mas também a lê-los criticamente — reconhecendo seus vieses, suas limitações e suas posições culturais. Designers e desenvolvedores poderiam adotar práticas de “prototipagem ética” (Verbeek, 2011), incorporando uma reflexão sensível a valores a todas as etapas do desenvolvimento dos sistemas. E os públicos deveriam ser convidados a participar da deliberação — não apenas acerca da regulamentação da IA, mas também acerca dos imaginários que moldam sua trajetória: o que queremos que as tecnologias da linguagem façam? Que tipos de relações queremos que elas promovam?

Referências

Anderson, E. (2017). Private government: How employers rule our lives (and why we don’t talk about it). Princeton University Press.

Bamman, D., Chang, K. K., Lucy, L., and Zhou, N. (2024). On classification with large language models in cultural analytics. In CHR 2024: Computational Humanities Research Conference, Aarhus, Denmark. https://arxiv.org/abs/2410.12029

Birhane, A. (2020). Algorithmic colonization of Africa. SCRIPTed, 17(2), 389. https://doi.org/10.2966/scrip.170220.389

Bowker, G. C., and Star, S. L. (1999). Sorting things out: Classification and its consequences. MIT Press.

Chen, Z., Ma, J., Zhang, X., Hao, N., Yan, A., Nourbakhsh, A., Yang, X., McAuley, J., Petzold L. R., and Wang, W. Y. (2024). A survey on large language models for critical societal domains: Finance, healthcare, and law. Transactions on Machine Learning Research. https://arxiv.org/abs/2405.01769

Choudhury, A. and Chaudhry, Z. (2024). Large language models and user trust: Consequences of self-referential learning loop and the deskilling of health care professionals. Journal of Medical Internet Research, 26. https://www.jmir.org/2024/1/e56764/

Citron, D. K., and Pasquale, F. (2014). The scored society: Due process for automated predictions. Washington Law Review, 89(1), 1–33.

Couldry, N., and Mejias, U. A. (2019). The costs of connection: How data is colonizing human life and appropriating it for capitalism. Stanford University Press. https://doi.org/10.1515/9781503609754

Dreyfus, H. L. (1992). What computers still can’t do: A critique of artificial reason. MIT Press.

Durand, C. (2020). How Silicon Valley unleashed techno-feudalism: The making of the digital economy. Verso.

Foucault, M. (1978). The history of sexuality, Volume 1: An introduction (R. Hurley, Trans.). Pantheon Books.

Fraser, N. (2009). Scales of justice: Reimagining political space in a globalizing world. Columbia University Press.

Fricker, M. (2007). Epistemic injustice: Power and the ethics of knowing. Oxford University Press.

Gray, M. L., and Suri, S. (2019). Ghost work: How to stop Silicon Valley from building a new global underclass. Houghton Mifflin Harcourt.

Held, V. (2006). The ethics of care: Personal, political, and global. New York: Oxford University Press.

Ihde, D. (1990). Technology and the lifeworld: From garden to earth. Indiana University Press.

Jegham, N., Abdelatti, M., Elmoubarki, L., and Hendawi, A. (2025). How hungry is AI? Benchmarking energy, water, and carbon footprint of LLM inference. arXiv preprint. https://arxiv.org/abs/2505.09598

Kant, I. (1996 [1784]). An answer to the question: What is Enlightenment? In J. Schmidt (Ed.), What is Enlightenment? Eighteenth-century answers and twentieth-century questions (pp. 58–64). University of California Press.

Latour, B. (1992). Where are the missing masses? The sociology of a few mundane artifacts. In W. E. Bijker and J. Law (Eds.), Shaping technology/building society: Studies in sociotechnical change (pp. 225–58). MIT Press.

Li, P., Yang, J., Islam, M. A., and Ren, S. (2023). Making AI less thirsty: Uncovering and addressing the secret water footprint of AI models. arXiv preprint. https://arxiv.org/abs/2304.03271

Liu, Z. (2024). Cultural bias in large language models: A comprehensive analysis and mitigation strategies. Journal of Transcultural Communication, 3(2). https://doi.org/10.1515/jtc-2023-0019

Mohamed, S., Png, M.-T., and Isaac, W. (2020). Decolonial AI: Decolonial theory as sociotechnical foresight in artificial intelligence. Philosophy & Technology, 33, 659–684. https://doi.org/10.1007/s13347-020-00405-8

Muldoon, J., Graham M., and Cant, C. (2024). Feeding the machine. The hidden human labour powering AI. Canongate Books.

Patterson, D., Gonzalez, J., Le, Q., Liang, C., Munguia, L. M., Rothchild, D., So, D., Texier, M., and Dean, J. (2021). Carbon Emissions and Large Neural Network Training. arXiv preprint. https://arxiv.org/abs/2104.10350

Siddik, A. B., Shehabi, A., and Marston, L. (2021). The environmental footprint of data centers in the United States. Environmental Research Letters, 16(6), 064017.

Stiglitz, J. E. (2012). The price of inequality: How today’s divided society endangers our future. W. W. Norton & Company.

Strubell, E., Ganesh, A., and McCallum, A. (2019). Energy and policy considerations for deep learning in NLP. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), Florence, Italy (pp. 3645–3650). Association for Computational Linguistics. https://aclanthology.org/P19-1355/

Suchman, L. A. (2007). Human–machine reconfigurations: Plans and situated actions (2nd ed.). Cambridge University Press.

Taylor, L. (2017). What is data justice? The case for connecting digital rights and freedoms globally. Big Data & Society, 4(2). https://journals.sagepub.com/doi/full/10.1177/2053951717736335

Terranova, T. (2000). Free labor: Producing culture for the digital economy. Social Text, 18(2), 33–58.

Vallor, S. (2016). Technology and the virtues: A philosophical guide to a future worth wanting. Oxford University Press.

Varoquaux, G., Luccioni, A. S., and Whittaker, M. (2025). Hype, sustainability, and the price of the bigger-is-better paradigm in AI. In ACM Conference on Fairness, Accountability, and Transparency (FAccT). Preprint: https://arxiv.org/abs/2409.14160

Varoufakis, Y. (2024). Technofeudalism: What killed capitalism. Melville House.

Verbeek, P.-P. (2011). Moralizing technology: Understanding and designing the morality of things. University of Chicago Press.

CONCLUSÃO

Pensar com máquinas

Ao chegarmos ao fim desta investigação sobre os modelos de linguagem de grande porte (LLMs), começa a emergir um quadro mais amplo—um quadro que nos reconduz à noção, apresentada na Introdução, desses sistemas como “provocações filosóficas” (McGinn, 2017). Eles não oferecem respostas definitivas a questões de longa data acerca da linguagem, da mente ou do significado. Em vez disso, atuam como testes de estresse conceitual, revelando a fragilidade das distinções herdadas e desestabilizando as fronteiras entre simulação e compreensão, uso e referência, fluência e conhecimento. O que se segue não é um resumo, mas uma reflexão sobre as implicações mais profundas dos LLMs para o modo como pensamos acerca do próprio pensamento.

As três seções finais consideram, sucessivamente, as ⁠⁠desestabilizações teóricas provocadas pelos LLMs, as comparações cognitivas que eles suscitam e os limites epistêmicos rígidos que expõem. Em vez de tentar resolver as tensões que esses sistemas trazem à luz, esta conclusão se detém nelas—tratando-as não como problemas a serem solucionados, mas como aberturas para reimaginar o que poderia ser a inteligência, tanto humana quanto artificial.

1 Como os LLMs desestabilizam teorias estabelecidas

Entre as muitas provocações suscitadas pelos LLMs, uma das de maiores consequências é sua capacidade de desestabilizar teorias estabelecidas sem oferecer alternativas claras. Em vez de proporem novas doutrinas acerca da linguagem, da mente ou do conhecimento, os LLMs funcionam de maneiras que põem em questão a coerência ou a suficiência de pressupostos mantidos há muito tempo. Eles nos obrigam a perguntar se conceitos como compreensão, significado ou gramática—tal como tradicionalmente definidos—são adequados para dar conta do que esses sistemas fazem. Sua importância não reside em resolver debates teóricos, mas em revelar os pontos nos quais os quadros existentes talvez tenham se apoiado em uma concepção excessivamente estreita da cognição, da comunicação ou da inteligência. Nesse sentido, os LLMs atuam menos como respostas do que como ‘irritantes epistemológicos’, forçando uma reconsideração dos termos nos quais questões fundamentais têm sido formuladas.

Isso se mostra especialmente claro no caso da compreensão. Do ponto de vista filosófico, a noção de compreensão tem sido frequentemente vinculada à ancoragem (grounding): à capacidade de fazer referência a objetos, de avaliar afirmações quanto à sua verdade ou de situar enunciados em um quadro conceitual ou perceptual mais amplo (Frege 1993 [1892]; Putnam 1975; Searle 1980). Os LLMs não fazem nenhuma dessas coisas. Eles não fazem referência, não acreditam, não percebem—ao menos não no sentido tradicional, já que sua única fonte de conhecimento é o texto. No entanto, produzem respostas coerentes e sensíveis ao contexto para uma ampla variedade de prompts. Eles ‘compreendem’? A questão acaba dizendo menos respeito aos modelos do que a nossos próprios hábitos conceituais. Se a compreensão requer uma ancoragem explícita e externa, então não. Mas, se a compreensão for redefinida funcionalmente—como a capacidade de usar a linguagem de maneira apropriada em diferentes contextos—, então a resposta talvez seja sim, ou, pelo menos: não inteiramente não. De certo modo, os LLMs dão vida à concepção pós-estruturalista do discurso—tal como articulada por Barthes e Foucault—como fragmentado e sem autor, pondo à prova suas implicações em um contexto computacional que os teóricos anteriores só podiam imaginar.

Uma desestabilização semelhante ocorre com relação ao significado. Filósofos e linguistas formularam uma série de teorias intrincadas acerca do que é o significado: referencialistas, inferencialistas, baseadas em papéis conceituais, formalistas e baseadas no uso. A maioria dessas teorias toma como dado que o significado é algo a ser explicado. Os LLMs invertem essa perspectiva. Eles não procuram explicar o significado—modelam-no por meio do uso. O significado, para eles, é aquilo que emerge quando as palavras são colocadas em contexto. Não há ontologia, dicionário nem mapeamento para um mundo externo—ao menos no caso de modelos de linguagem ‘puros’; vimos no Capítulo 1 que a geração aumentada por recuperação, o feedback humano e as bases externas de conhecimento são maneiras de ir além dessa limitação dos modelos originais. Em vez disso, o significado torna-se uma função da coocorrência linguística, um efeito da regularidade distribucional. Isso confere força computacional a uma concepção que há muito permanece às margens da teoria semântica dominante: a de que o significado não é uma entidade fixa, mas uma função pragmática, moldada pelo uso, pelo gênero e pela prática social.

Em nenhum lugar essa reconfiguração é mais evidente do que no estatuto da gramática. Na linguística gerativa, a gramática tem sido tipicamente compreendida como um conjunto de regras formais ou restrições, frequentemente de alcance universal, codificado—implícita ou explicitamente—na mente dos falantes. Mas os LLMs não codificam regras. Não lhes são fornecidas gramáticas. Em vez disso, adquirem a capacidade de produzir textos gramaticalmente corretos simplesmente aprendendo associações estatísticas. Nesse contexto, a sintaxe não é uma precondição da geração—é uma propriedade emergente da previsão bem-sucedida. Essa inversão empírica contesta pressupostos profundamente arraigados acerca da modularidade e do caráter inato do conhecimento sintático e se alinha mais estreitamente aos modelos de aquisição da linguagem baseados no uso e conexionistas, nos quais a estrutura emerge da exposição, em vez de ser imposta a priori. A analogia com a aquisição da linguagem pelas crianças é marcante: as crianças adquirem a capacidade de se comunicar muito antes de terem consciência das regras gramaticais. A sintaxe não é ensinada—é inferida. O mesmo vale para os LLMs. Em ambos os casos, a gramática não é uma causa, mas um efeito.

Essas considerações possuem consequências para além da linguística. Na filosofia da mente, noções como teoria da mente, consciência e intencionalidade tornam-se cada vez mais difíceis de definir diante de modelos que exibem comportamentos que anteriormente se julgava exigirem tais capacidades. Se um sistema pode simular o comportamento de um agente dotado de crenças, ele ‘possui’ uma teoria da mente—ou o próprio conceito precisa ser revisto para acomodar uma interatividade simulada sem representação mental? Também na psicologia, os LLMs contestam a distinção entre processamento simbólico e subsimbólico, entre seguimento de regras e reconhecimento de padrões, entre cognição ‘genuína’ e sua sombra mimética. Os modelos oferecem uma instanciação concreta de uma aprendizagem distribuída e não explícita—sugerindo que alguns aspectos da cognição talvez sejam mais estatísticos, mais ecológicos e menos modulares do que tradicionalmente se supunha.

O que emerge de tudo isso não é o deslocamento da filosofia ou da linguística, mas uma oportunidade renovada de reflexão. Os LLMs não substituem as teorias existentes, mas revelam alguns dos pressupostos que essas teorias tomaram como dados. Eles trazem à luz possibilidades que nossos quadros conceituais atuais ainda estão aprendendo a acomodar. Ao fazê-lo, incentivam uma abordagem mais pragmática, experimental e plural das questões relativas ao significado, à linguagem e à mente. Se estivermos abertos a aprender com eles—e não apenas sobre eles—, talvez acabemos reconsiderando não apenas como construímos máquinas, mas também como compreendemos a nós mesmos.

2 Para além da correlação na inteligência artificial e na inteligência humana

Uma questão recorrente nas discussões sobre os LLMs consiste em saber se os seres humanos, assim como esses sistemas, operam fundamentalmente por correspondência de padrões. À primeira vista, os LLMs parecem espelhar aspectos centrais da cognição humana: aprendem a partir de exemplos, generalizam entre contextos e produzem saídas dotadas de sentido sem se apoiarem em representações explícitas baseadas em regras. Contudo, um exame mais detido revela que essa semelhança oculta diferenças importantes—tanto no modo como esses sistemas operam quanto naquilo que suas limitações revelam acerca da própria natureza do pensamento.

LLMs como o ChatGPT são treinados com vastos acervos textuais e aprendem a gerar continuações plausíveis com base em regularidades estatísticas. Isso lhes permite simular uma ampla variedade de discursos, inclusive aqueles que envolvem raciocínio abstrato. Em muitos casos, seu desempenho é impressionante: eles podem imitar demonstrações matemáticas, resumir argumentos filosóficos e produzir uma prosa sintaticamente sofisticada. Mas o mecanismo subjacente permanece o mesmo—a previsão da próxima palavra com base em associações probabilísticas. Nesse sentido, suas capacidades assentam-se na correlação, e não na compreensão.

Essa limitação torna-se especialmente evidente quando nos voltamos para tarefas como a aritmética. Durante um período surpreendentemente longo, versões anteriores do ChatGPT tiveram dificuldades com multiplicações básicas que envolviam números grandes. O sistema produzia respostas aproximadas—próximas quanto à ordem de grandeza e com alguns algarismos corretos—, mas ainda assim incorretas. O resultado não decorria de uma lógica defeituosa, mas da completa ausência de lógica. Nenhuma multiplicação era de fato realizada; em vez disso, o modelo gerava sequências numéricas que pareciam plausíveis com base em padrões encontrados durante o treinamento.

Isso não é um remendo trivial. Revela algo fundamental acerca dos limites da inferência a partir de exemplos. A aritmética é extremamente difícil—se não impossível—de dominar apenas mediante a observação de muitos casos. As crianças não aprendem a multiplicar apenas observando outras pessoas multiplicarem; são ensinadas a seguir procedimentos explícitos, internalizam regras abstratas e chegam a compreender a estrutura dos sistemas numéricos de maneiras que sustentam uma generalização muito além de sua experiência direta; ‘4’ não é semelhante a ‘5’ do modo como ‘forte’ é semelhante a ‘poderoso’. Alguns domínios exigem mais do que associação estatística—dependem de operações formais e simbólicas. Isso sugere que nem toda cognição é redutível ao reconhecimento de padrões e que existem caminhos mais econômicos e estruturados para a compreensão do que a mera exposição a bilhões de exemplos.

Essa distinção possui implicações mais amplas. Ela nos recorda que a inteligência—seja humana, seja artificial—não é monolítica. Não existe uma única maneira de generalizar, nenhum modo universal de raciocínio que abarque todas as formas de compreensão. As capacidades dos LLMs demonstram o poder do reconhecimento de padrões em larga escala, mas também seus limites. Eles podem simular de maneira convincente o raciocínio matemático, mas, sem mecanismos de verificação ou de manipulação formal, estão sujeitos a erros que uma calculadora básica jamais cometeria—o ChatGPT, que durante muito tempo teve dificuldades com cálculos básicos, finalmente integrou uma calculadora em 2024, resolvendo efetivamente o problema.

Para ampliar suas capacidades, é necessário complementar a inferência baseada em padrões com outras formas de raciocínio: computação simbólica, ferramentas externas, conhecimento específico de domínio e, talvez, futuramente, interação corporificada com o mundo—algo que os LLMs já comportam por meio de sua capacidade de usar ferramentas e operar como agentes; ver a Seção 8 do Anexo técnico.

Essas limitações não são fracassos; são limites esclarecedores. Elas põem em evidência que aquilo que denominamos ‘inteligência’ consiste em múltiplos modos de processamento—alguns inferenciais, alguns procedimentais, alguns experienciais—e que os sistemas artificiais, assim como os seres humanos, talvez precisem integrar estratégias diversas para lidar com tarefas complexas. O sonho da inteligência artificial geral frequentemente pressupõe uma capacidade unificada de generalizar entre domínios. Mas o exemplo dos LLMs sugere o contrário: que a inteligência talvez seja irredutivelmente plural e que problemas diferentes exijam diferentes tipos de mente.

3 Futuros incertos: desafios sociais na escala dos LLMs

Se os LLMs desafiam teorias de longa data acerca da linguagem, da cognição e do significado, eles também colocam a sociedade diante de um conjunto diversificado de desafios práticos de profundas consequências. Esses desafios não são apenas técnicos ou filosóficos, mas sociais no sentido mais amplo—afetam o modo como aprendemos, como alocamos recursos e como tomamos decisões coletivas. O futuro dos LLMs, portanto, não é apenas uma questão de engenharia, mas também de educação, meio ambiente e ética.

Um desafio urgente diz respeito à natureza em transformação da aprendizagem. À medida que os LLMs são integrados a salas de aula, mecanismos de busca e ferramentas de escrita, eles alteram o modo como se acessa o conhecimento e como se distribui o trabalho intelectual. Esses sistemas servirão para ampliar a compreensão ou estimularão a dependência de saídas superficiais? Há o risco de que a fluência automatizada venha a substituir a compreensão profunda, sobretudo quando ferramentas generativas produzem respostas plausíveis, mas não verificáveis. Ao mesmo tempo, essas ferramentas poderiam sustentar formas de aprendizagem mais personalizadas e adaptativas—se utilizadas criteriosamente. Muito depende do modo como projetamos ambientes educacionais que incorporem essas tecnologias sem corroer o valor do pensamento crítico, da criatividade e do rigor conceitual.

No outro extremo do espectro encontra-se um desafio de alcance planetário: o custo ambiental da computação em larga escala. O treinamento e a implementação de LLMs exigem enormes recursos energéticos e materiais. Sua pegada de carbono é substancial, e seu apetite por dados e recursos computacionais não dá sinais de diminuir—ver o Capítulo 9. À medida que as mudanças climáticas se aceleram, torna-se cada vez mais difícil justificar esse modelo de escala como progresso. O desenvolvimento de arquiteturas mais eficientes é uma prioridade técnica, mas a eficiência, por si só, não resolverá a contradição mais profunda entre a busca por modelos cada vez mais poderosos e a necessidade urgente de sustentabilidade ecológica. A compatibilidade dos LLMs com a preservação planetária de longo prazo permanece uma questão em aberto.

Por fim, os LLMs suscitam questões profundas de governança e equidade epistêmica. Esses modelos são treinados com acervos textuais vastos e heterogêneos que refletem as hierarquias culturais, linguísticas e sociais existentes. Contudo, seu desenvolvimento e controle permanecem concentrados em um pequeno número de instituições e regiões geopolíticas. Isso suscita preocupações não apenas acerca do poder econômico e da propriedade dos dados, mas também acerca do conhecimento de quem é codificado, das vozes de quem são marginalizadas e de quem estabelece as normas para aquilo que conta como uma saída válida ou valiosa. À medida que os LLMs passam a ser incorporados a sistemas jurídicos, médicos e educacionais, assegurar transparência, responsabilização e inclusão se tornará cada vez mais vital.

Tomados em conjunto, esses desafios—que vão da educação ao impacto ambiental e à justiça epistêmica—ressaltam a escala social das questões colocadas pelos LLMs. Não se trata de efeitos colaterais isolados, mas de dimensões centrais daquilo que significa viver com e por meio de sistemas inteligentes. Embora muito acerca do futuro dos LLMs permaneça incerto, uma coisa está clara: as escolhas que fazemos agora moldarão não apenas o modo como esses modelos evoluem, mas também o modo como aprendemos a viver com eles.

Referências

Frege G. [1892 (1993)]. On sense and reference. In A. W. Moor (Ed.), Meaning and reference (pp. 23–42). Oxford University Press.

McGinn, C. (2017). Philosophical Provocations. The MIT Press.

Putnam, H. (1975). Language, mind, and knowledge. Minnesota Studies in the Philosophy of Science, 7, 131–193. Retrieved from the University Digital Conservancy, https://hdl.handle.net/11299/185225

Searle, J. (1980). Minds, brains and programs. Behavioral and Brain Sciences, 3(3), 417–457. https://doi.org/10.1017/S0140525X00005756

ANEXO

A arquitetura e o treinamento dos modelos de linguagem de grande porte

1 Introdução

Este anexo técnico apresenta uma exposição abrangente e não normativa de como funcionam os modelos de linguagem de grande porte (LLMs), desde a representação dos dados textuais até as arquiteturas, os processos de treinamento e as técnicas de alinhamento que possibilitam sua implementação como sistemas interativos.

LLMs como GPT, Llama, Gemini, Mistral e Claude assentam-se em um fundamento comum: a arquitetura transformer introduzida por Vaswani et al. (2017). Esses modelos são treinados com vastos acervos textuais, mediante um objetivo de aprendizado autossupervisionado, tipicamente a modelagem causal da linguagem. Depois do pré-treinamento, os modelos fundacionais podem ser adicionalmente alinhados a instruções humanas por meio de técnicas como o ajuste fino supervisionado (SFT) e o aprendizado por reforço com feedback humano (RLHF). Este anexo concentra-se nos componentes técnicos que estão na base desses modelos.

Seu objetivo principal é servir de referência para os leitores do corpo principal da obra, que trata das questões filosóficas, éticas e sociopolíticas suscitadas pelos LLMs. Aqui, abstraímos das preocupações éticas e sociais e nos concentramos exclusivamente nos mecanismos arquiteturais e computacionais.

O anexo está estruturado da seguinte maneira. A Seção 2 apresenta como a linguagem é representada numericamente por meio da tokenização e do encaixe vetorial. A Seção 3 explica a arquitetura dos transformers, incluindo a autoatenção e a ampliação da escala dos modelos. A Seção 4 descreve os objetivos de treinamento, incluindo a distinção entre treinamento e inferência. A Seção 5 discute as leis empíricas de escala. A Seção 6 detalha a transição dos modelos fundacionais para modelos conversacionais que seguem instruções, incluindo o RLHF. A Seção 7 delineia mecanismos de controle e filtros de segurança. As Seções 8 e 9 abordam ampliações emergentes e limitações atuais. Ao final, é fornecida uma bibliografia.

2 Representação do texto: da linguagem aos números

2.1 Tokenização

Antes que qualquer texto possa ser processado por um modelo de linguagem, ele deve ser transformado de uma sequência de caracteres em unidades discretas conhecidas como tokens. A tokenização é o processo de segmentar o texto nesses tokens, que servem como entrada do modelo.

Nos primeiros sistemas de processamento de linguagem natural, a tokenização era frequentemente realizada no nível das palavras. Contudo, os LLMs modernos costumam utilizar estratégias de tokenização por subpalavras, como a codificação por pares de bytes (BPE), o WordPiece ou o SentencePiece. Esses métodos permitem que palavras raras ou fora do vocabulário sejam decompostas em componentes menores e mais frequentes. Por exemplo, a frase inglesa

poderia ser tokenizada como:

A BPE funde pares frequentes de caracteres, o WordPiece seleciona subpalavras para maximizar a verossimilhança em um modelo de linguagem e o SentencePiece trata a entrada como um fluxo bruto de bytes ou caracteres e utiliza algoritmos não supervisionados — como a BPE — para aprender unidades de subpalavras, tornando possível processar todos os tipos de língua, incluindo aquelas escritas em sistemas de escrita não alfabéticos.

Embora essa segmentação possa parecer estranha — uma vez que não segue as regras linguísticas convencionais —, ela possibilita o uso de um vocabulário fixo e limitado de tokens, apesar do número quase infinito de formas de palavras possíveis encontradas na web. Isso equilibra a eficiência vocabular e a flexibilidade, permitindo que o modelo lide de maneira robusta com palavras raras, compostas ou novas. Contudo, o impacto da tokenização sobre o desempenho subsequente do modelo ainda não é plenamente compreendido e permanece uma área ativa de pesquisa.

2.2 Vetorização

Uma vez tokenizada, a entrada deve ser convertida em forma numérica. Cada token é mapeado para um vetor de tamanho fixo por meio de uma matriz de representações vetoriais (embedding matrix). Esses vetores possuem alta dimensionalidade — por exemplo, 512, 1024 ou 4096 dimensões — e são aprendidos durante o treinamento.

O processo de encaixe vetorial capta indiretamente relações entre os tokens: aqueles que aparecem em contextos semelhantes tendem a compartilhar representações vetoriais semelhantes. Por exemplo, palavras como ‘king’ e ‘queen’, ou ‘apple’ e ‘banana’, frequentemente estão próximas no espaço de encaixe vetorial. Em contraste, ‘banana’ e ‘king’ costumam ocupar regiões distantes, devido à ausência de relação entre seus significados.

Por padrão, os vetores não levam em consideração a ordem dos tokens em uma sequência. Essas representações vetoriais estáticas não captam a ambiguidade nem a polissemia: uma palavra como ‘bank’ terá apenas uma representação, fundindo em um único vetor seus diferentes sentidos, como o de instituição financeira e o de margem de um rio.

3 Arquitetura central: o transformer

A arquitetura transformer constitui a base da maioria dos LLMs contemporâneos, incluindo sistemas como ChatGPT, Claude e Mistral. Introduzido por Vaswani et al. (2017), o transformer afastou-se das abordagens anteriores baseadas em recorrência ou convolução, apoiando-se, em vez disso, em um mecanismo conhecido como autoatenção. Essa inovação possibilitou uma eficiência muito maior no treinamento e uma capacidade significativamente aprimorada de modelar padrões complexos na linguagem.

Diferentemente das arquiteturas anteriores, que processavam as palavras uma de cada vez ou em sequências fixas, o transformer permite que o modelo considere simultaneamente todos os tokens de uma sequência. Esse paralelismo facilita a identificação de dependências de longa distância e de relações contextuais nuançadas no interior de um texto.

3.1 Mecanismo de autoatenção

A autoatenção é uma característica central da arquitetura transformer. Ela permite que o modelo avalie a relevância de cada token de uma sequência em relação a todos os demais tokens. Isso permite que o modelo leve o contexto em consideração e capte características linguísticas complexas, como a correferência e a estrutura sintática.

Por exemplo, na frase inglesa ‘The dog chased the ball because it was fast’, o modelo deve inferir se ‘it’ se refere ao cachorro ou à bola.1 Por meio da autoatenção, o modelo atribui pesos aos demais tokens da frase, indicando quanta influência cada um deles deve exercer quando se calcula uma nova representação para o token ‘it’. Esses pesos são funções aprendidas que refletem a similaridade contextual entre os tokens.

Os transformers modernos empregam atenção de múltiplas cabeças (multihead attention), que executa paralelamente diversos mecanismos de autoatenção. Cada cabeça pode captar um tipo diferente de relação linguística ou semântica, enriquecendo, assim, a capacidade do modelo de representar padrões linguísticos complexos e sobrepostos.

3.2 Camadas de propagação direta (feedforward), conexões residuais e normalização

Cada bloco transformer também inclui uma camada de propagação direta (feedforward) — uma pequena rede neural que processa a saída do mecanismo de atenção para cada token individualmente. Essa rede identifica características mais abstratas da entrada, como papéis sintáticos ou categorias semânticas.

Para possibilitar o treinamento de modelos muito profundos, os transformers fazem uso de conexões residuais. Em vez de substituir a representação do token em cada etapa, o modelo acrescenta as novas informações à entrada original. Esse desenho melhora o fluxo do gradiente e preserva características úteis durante o treinamento.

Além disso, aplica-se a normalização de camada para estabilizar os valores que passam pela rede e facilitar um aprendizado mais eficiente. A normalização assegura que a escala da entrada permaneça consistente entre as camadas, evitando a instabilidade numérica e acelerando a convergência.

Ao empilhar muitas camadas desse tipo — frequentemente dezenas ou mesmo centenas —, os transformers constroem representações hierárquicas da linguagem. Essas representações permitem que o modelo integre tanto características locais — por exemplo, morfologia e sintaxe — quanto padrões mais amplos — por exemplo, estrutura discursiva ou coerência narrativa.

3.3 Profundidade, largura e escalabilidade do modelo

A capacidade de um modelo transformer é determinada por diversos fatores: sua profundidade — o número de camadas empilhadas —, sua largura — a dimensionalidade das representações internas — e o número de cabeças de atenção utilizadas em cada camada. Modelos recentes, como GPT-4, Claude 3 Opus e o Mixtral da Mistral, empregam configurações profundas e largas, com muitas camadas, milhares de dimensões ocultas e numerosas cabeças de atenção paralelas.

Embora as especificações exatas desses modelos nem sempre sejam divulgadas publicamente, sabe-se que eles incorporam técnicas avançadas de ampliação da escala, incluindo arquiteturas de ‘mistura de especialistas’ (mixture of experts). Essas arquiteturas permitem que o modelo ative apenas um subconjunto de seus parâmetros para uma determinada entrada, aprimorando, assim, a eficiência computacional e a escalabilidade.

Essas escolhas de desenho permitem que os LLMs aprendam dependências de longa distância, distinções semânticas sutis e ricos padrões linguísticos. Contudo, ampliar a escala desses modelos também aumenta drasticamente a demanda por dados de treinamento e recursos computacionais, suscitando questões significativas acerca de sua sustentabilidade ambiental e econômica.

4 Treinamento de modelos de linguagem de grande porte

4.1 Objetivo de treinamento

Os LLMs são tipicamente treinados mediante um objetivo de aprendizado autossupervisionado conhecido como modelagem causal da linguagem (CLM). Nessa configuração, fornece-se ao modelo uma sequência de tokens, e ele é treinado para prever o token seguinte da sequência. Isso é realizado minimizando-se a perda por entropia cruzada entre a distribuição prevista e o token seguinte efetivo.

Formalmente, para uma sequência de tokens t₁, t₂, …, tₙ, o modelo maximiza a verossimilhança:

Esse treinamento autorregressivo permite que o modelo aprenda dependências probabilísticas ao longo de sequências arbitrariamente longas, sujeito aos limites da janela de atenção. Diferentemente da modelagem mascarada da linguagem — utilizada no BERT —, que prevê tokens mascarados aleatoriamente com base em seu contexto, a CLM somente vê os tokens anteriores, e não os posteriores.

4.2 Dados e recursos computacionais do pré-treinamento

O treinamento de um LLM exige acervos textuais em larga escala, que tipicamente compreendem de centenas de bilhões a trilhões de tokens. Esses conjuntos de dados são extraídos de fontes diversas, como o Common Crawl, a Wikipédia, livros, artigos acadêmicos e repositórios de código — ou simplesmente da web. Alguns modelos utilizam conjuntos de dados filtrados para reduzir a presença de conteúdo de baixa qualidade, duplicatas ou linguagem tóxica.

O treinamento de um LLM em larga escala também exige recursos computacionais significativos. Modelos como o GPT-3 foram treinados com milhares de GPUs durante semanas ou meses. Para tornar o treinamento de modelos de grande porte mais eficiente e menos exigente em termos de memória computacional, os pesquisadores utilizam técnicas especiais. Um exemplo é o uso de números de menor precisão — denominados FP16 ou BF16 — em vez de números de precisão completa, o que economiza espaço e acelera o processo. Outra técnica, denominada paralelismo de modelo, distribui o trabalho entre vários processadores computacionais, de modo que o modelo possa ser treinado mais rapidamente e processar uma quantidade maior de dados.

4.3 Treinamento versus inferência

Treinamento e inferência são duas etapas diferentes. Durante o treinamento, o modelo aprende comparando suas previsões — a próxima palavra a ser gerada — com as respostas corretas — tal como aparecem nos dados de treinamento — e ajustando suas configurações internas para reduzir os erros. Esse processo exige muitos recursos e costuma ser realizado com grandes lotes de dados.

Para orientar esses ajustes, o treinamento utiliza algoritmos de otimização. Um método comumente utilizado é o Adam, que adapta o quanto o modelo atualiza cada parâmetro com base na rapidez com que o erro está mudando. Isso ajuda o modelo a aprender de maneira mais eficiente e a estabilizar-se em algum momento. Outro método, o LAMB (Layer-wise Adaptive Moments optimizer for Batch training), foi concebido para funcionar adequadamente no treinamento de modelos muito grandes com grandes lotes de dados. Ele ajuda a manter o aprendizado estável mesmo quando são realizadas simultaneamente atualizações em muitos parâmetros.

A inferência, em contraste, envolve gerar texto utilizando um modelo já treinado. Dado um prompt, o modelo amostra ou seleciona um token de cada vez com base na distribuição de probabilidades de saída. Entre as estratégias comuns de decodificação encontram-se:

• Busca gulosa (greedy search): seleciona o token seguinte mais provável.
• Busca em feixe (beam search): mantém múltiplas hipóteses em cada etapa.
• Amostragem top-k: realiza a amostragem entre os k tokens mais prováveis.
• Amostragem por núcleo (top-p): realiza a amostragem a partir do menor conjunto de tokens cuja probabilidade acumulada excede p.

Um hiperparâmetro denominado temperatura pode ser utilizado para ajustar a aleatoriedade da amostragem. Uma temperatura baixa (< 1,0) torna as saídas mais determinísticas; uma temperatura mais alta aumenta a diversidade.

5 Leis de escala e capacidades emergentes

Uma das principais descobertas empíricas no desenvolvimento dos LLMs é que o desempenho tende a melhorar de maneira previsível em função do tamanho do modelo, do volume dos dados de treinamento e dos recursos computacionais empregados. Essas relações foram estudadas sistematicamente por Kaplan et al. (2020), que demonstram que, sob certas condições, a perda diminui suavemente com aumentos logarítmicos nesses três eixos. Essas relações são denominadas leis de escala.

Por exemplo, duplicar o número de parâmetros do modelo ou o tamanho do conjunto de dados conduz a reduções consistentes da perda de treinamento e a melhorias do desempenho em tarefas subsequentes — até certo ponto. Em escalas suficientemente grandes, outros gargalos — por exemplo, a qualidade dos dados ou o sobreajuste — começam a predominar. Não obstante, esse princípio orientou o desenvolvimento de modelos cada vez maiores, como GPT, Mistral e Llama.

Um fenômeno associado e intrigante no desenvolvimento dos LLMs é o surgimento de capacidades qualitativas que parecem estar ausentes em modelos menores. Essas capacidades emergentes incluem formas complexas de raciocínio, síntese de código e seguimento de instruções (Brown et al., 2020; Wei et al., 2022) ou, no plano linguístico, gerenciamento avançado do discurso e geração de linguagem sensível ao contexto. Elas têm sido frequentemente descritas como se aparecessem de maneira abrupta em determinadas escalas dos modelos, de modos que não podem ser facilmente previstos mediante a extrapolação do desempenho de modelos menores. Contudo, pesquisas recentes sugerem que essas capacidades podem, na verdade, emergir gradualmente, ainda que de maneira não linear, à medida que aumenta o tamanho do modelo. A aparente abruptidão pode refletir limitações na maneira como o desempenho é medido ou relatado (Rogers e Luccioni, 2024). Embora os mecanismos subjacentes continuem sendo pouco compreendidos, o fenômeno propriamente dito encontra-se bem documentado e continua sendo objeto de investigação ativa.

É importante observar que a ampliação da escala também acarreta desafios: aumento da latência e do custo na fase de inferência, maior demanda de memória e processamento e impactos ambientais crescentes decorrentes do treinamento e da disponibilização operacional (serving) de modelos de grande porte. Trabalhos recentes investigaram alternativas como a destilação, o ajuste eficiente em parâmetros e os modelos esparsos, a fim de mitigar esses problemas preservando, ao mesmo tempo, o desempenho.

6 De modelos fundacionais a modelos conversacionais alinhados

6.1 Modelos fundacionais

Um modelo fundacional é um modelo de grande porte pré-treinado com acervos textuais diversificados e massivos mediante objetivos não supervisionados, como a CLM. Esses modelos são capazes de generalizar para uma ampla variedade de tarefas subsequentes sem ajuste fino específico para cada tarefa. Entre os exemplos encontram-se GPT, Mistral e Llama.

Contudo, por padrão, os modelos fundacionais não seguem instruções. Suas saídas refletem continuações estatísticas dos prompts, que podem ou não corresponder à intenção do usuário ou às normas conversacionais. Consequentemente, os modelos fundacionais precisam ser adicionalmente alinhados às expectativas humanas para funcionar de maneira eficaz em contextos interativos, como os chatbots.

6.2 Ajuste por instruções

O ajuste por instruções, também conhecido como ajuste fino supervisionado (SFT), é a primeira etapa do alinhamento de um modelo fundacional para uso conversacional — isto é, para capacitá-lo a responder a perguntas, em vez de meramente continuar uma sequência de texto. O processo envolve realizar o ajuste fino do modelo com um conjunto de dados formado por prompts pareados com respostas de alta qualidade escritas por seres humanos. Esses conjuntos de dados passam por curadoria para refletir comportamentos desejáveis, incluindo polidez, relevância e caráter informativo. Por exemplo, em vez de produzir uma continuação genérica de texto em resposta a um prompt como ‘Explique a fotossíntese’, o modelo ajustado é especificamente treinado para gerar uma explicação clara e estruturada, adaptada à solicitação do usuário.

6.3 Aprendizado por reforço com feedback humano

Embora o SFT melhore o comportamento de cumprimento de tarefas, ele pode não ser suficiente para alinhar as respostas do modelo às preferências humanas em contextos nuançados. O RLHF introduz uma camada adicional de alinhamento mediante um arcabouço de aprendizado por reforço orientado por feedback humano (Ouyang et al., 2022).

O processo inclui:

1. Gerar múltiplas respostas a um prompt utilizando o modelo ajustado por SFT.
2. Pedir a anotadores humanos que ordenem essas saídas da melhor à pior.
3. Treinar um modelo de recompensa para prever as preferências humanas.
4. Utilizar a otimização proximal de política (proximal policy optimization, PPO) para realizar o ajuste fino do modelo de linguagem, de modo a maximizar a recompensa prevista.

Esse procedimento incentiva o modelo a priorizar um comportamento útil, honesto e inofensivo, em vez de continuações meramente plausíveis (Bai et al., 2022). O RLHF é utilizado em modelos como o ChatGPT — em contraste com os modelos-base GPT — ou o LeChat da Mistral — em contraste com seus modelos-base — para melhorar o alinhamento com as expectativas dos usuários.

7 Controle do comportamento do modelo

Depois que um modelo foi alinhado mediante ajuste por instruções e RLHF, mecanismos adicionais são necessários para controlar seu comportamento em contextos de implementação. Esses mecanismos de controle procuram mitigar os riscos de geração de saídas inseguras, antiéticas ou indesejadas. Esta seção delineia as principais abordagens utilizadas em modelos conversacionais destinados ao uso em produção.

7.1 Mecanismos de recusa

Os modelos conversacionais são frequentemente treinados ou condicionados a se recusar a responder a determinadas categorias de perguntas, como aquelas que solicitam orientações para atividades ilegais, diagnósticos médicos ou dados pessoais. O comportamento de recusa pode ser aprendido durante o ajuste fino supervisionado — por exemplo, mediante a inclusão de exemplos de recusas polidas — ou reforçado durante o RLHF, quando os anotadores atribuem às recusas uma classificação superior à das continuações inseguras.

Exemplo:

Essas recusas são tipicamente genéricas e conservadoras, a fim de minimizar os riscos.

7.2 Classificação e filtragem de prompts

Antes que o modelo gere uma resposta, a entrada do usuário frequentemente passa por um sistema de classificação destinado a detectar conteúdo potencialmente nocivo ou que viole políticas. Esses classificadores podem detectar discurso de ódio, conteúdo de autolesão, temas não permitidos — por exemplo, pornografia e violência — ou violações dos termos de serviço.

Caso um prompt seja sinalizado, ele pode ser inteiramente bloqueado, reescrito ou encaminhado a uma resposta de contingência. Em implementações empresariais, esses sistemas são cruciais para manter a segurança, a conformidade e a defensabilidade jurídica.

No caso do ChatGPT-5, a análise do prompt também desempenha uma função de roteamento: o sistema classifica o tipo de consulta e pode selecionar dinamicamente o modelo subjacente ou o módulo especializado mais apropriado, otimizando, assim, as respostas para diferentes tipos de tarefas.

7.3 Filtragem da saída

A filtragem da saída aplica mecanismos semelhantes de classificação à resposta gerada pelo modelo antes que ela seja exibida ao usuário. Essa segunda camada assegura que, mesmo que o modelo produza uma saída problemática, ela possa ser interceptada.

Algumas plataformas implementam filtragem em múltiplas passagens, utilizando análises tanto lexicais quanto semânticas, incluindo detecção de sentimento, listas de bloqueio por palavras-chave e classificadores de toxicidade baseados em transformers.

7.4 Salvaguardas e camadas de política

As salvaguardas são restrições em nível de sistema concebidas para assegurar que o modelo permaneça dentro de limites operacionais aceitáveis. Elas podem incluir:

• prompts de sistema que instruem o modelo a se comportar de determinada maneira — por exemplo, ‘You are a helpful assistant’ [‘Você é um assistente prestativo’];
• políticas de conteúdo aplicadas por meio da ampliação do prompt ou da filtragem da saída;
• ferramentas de registro e monitoramento que detectam comportamentos anômalos em tempo real.

Algumas implementações também integram mecanismos de escalonamento — por exemplo, encaminhando os usuários ao suporte humano — ou interfaces personalizáveis para uso institucional — por exemplo, na educação e na saúde.

8 Uso de ferramentas e modelos ampliados

Embora os LLMs treinados com acervos textuais estáticos possam generalizar amplamente, suas capacidades podem ser ampliadas ao conectá-los, por meio de interfaces, a ferramentas externas e fontes de dados. Essa ampliação permite que os modelos acessem conhecimentos atualizados ou específicos de domínio, realizem cálculos, recuperem documentos ou executem código. Tais extensões são essenciais para muitas aplicações no mundo real.

8.1 Geração aumentada por recuperação

A geração aumentada por recuperação (RAG) combina um modelo de linguagem com um sistema de recuperação, como uma base de dados vetorial ou um índice de busca tradicional. Quando uma consulta é recebida, documentos relevantes são primeiro recuperados e depois fornecidos ao modelo juntamente com o prompt original. Esse processo fornece ancoragem (grounding) às respostas do modelo em fontes externas, melhorando a acurácia factual e a especificidade de domínio. Por exemplo, em vez de se apoiar exclusivamente nas informações codificadas durante o treinamento, um assistente baseado em RAG pode consultar uma base de dados jurídica ou a literatura científica recente antes de gerar uma resposta.

A RAG também pode ajudar a manter o sistema atualizado, permitindo-lhe recorrer a informações atuais sem que seja necessário retreinar o modelo inteiro. Contudo, dadas as limitações dos modelos de linguagem e sua tendência a produzir saídas seguras de si, mas incorretas, não se deve confiar neles como mecanismos de busca.

8.2 Toolformer e invocação de APIs

Toolformer (Schick et al., 2023) é um método que permite a um modelo de linguagem aprender quando e como invocar ferramentas externas durante a geração. Durante o treinamento, solicita-se ao modelo, por meio de prompts, que use ferramentas como calculadoras, APIs de tradução ou mecanismos de busca. Essas chamadas são inseridas nos dados de treinamento para que o modelo possa imitar o uso dessas ferramentas.

Essa técnica ajuda a transpor a lacuna entre a previsão da linguagem e a execução de tarefas. Por exemplo, em vez de estimar o resultado de ‘234 × 51’, um modelo ampliado com Toolformer pode delegar o cálculo a uma ferramenta de cálculo e apresentar o resultado correto.

8.3 Plugins e APIs externas (agentes de IA)

Alguns modelos conversacionais, incluindo o ChatGPT com suporte a plugins, são projetados para interagir dinamicamente com APIs de terceiros. Esses plugins permitem que os usuários ampliem a funcionalidade do modelo em domínios específicos, como reservar voos, resumir documentos ou executar código Python em um ambiente de execução isolado.

Essa configuração transforma efetivamente o modelo em um agente de IA: ele pode decidir quando chamar uma ferramenta externa, interpretar o resultado e integrá-lo à conversa. Esse comportamento de agente possibilita sistemas híbridos que combinam fluência em linguagem natural com computação externa, acesso a bases de dados e execução estruturada de tarefas.

9 Limitações e linhas atuais de pesquisa

Apesar de suas capacidades, os LLMs apresentam limitações bem conhecidas que motivam pesquisas em curso em diversas áreas. Entre elas estão restrições representacionais, ineficiências na inferência, desafios de alinhamento e preocupações ambientais.

9.1 Limitações da janela de contexto

Os modelos transformer processam a entrada no interior de uma janela de contexto de comprimento fixo — tipicamente de 2.048 a 32.000 tokens, dependendo da arquitetura (e até 200 mil tokens nos modelos mais recentes). Quaisquer tokens que excedam essa janela são truncados ou ignorados. Isso torna problemático lidar com documentos extensos ou conversas longas.

Os esforços para ampliar o comprimento do contexto incluem variantes de atenção com uso eficiente de memória — por exemplo, Longformer e FlashAttention — e abordagens hierárquicas — por exemplo, codificação por segmentos ou modelos baseados em blocos.

9.2 Alucinação e erros factuais

Os LLMs frequentemente produzem textos fluentes e plausíveis, mas factualmente incorretos — fenômeno denominado alucinação. Isso ocorre porque o modelo otimiza a verossimilhança, não a verdade, e carece de ancoragem no mundo real — ver o Capítulo 1.

Pesquisas sobre ampliação por recuperação, integração da checagem de fatos e objetivos voltados ao aumento da veracidade — por exemplo, ‘TruthfulQA’ — procuram reduzir as alucinações. Ainda assim, esse problema permanece uma importante barreira ao uso seguro dos LLMs em domínios de alto risco, como a medicina e o direito.

9.3 Custos computacionais e ambientais

O treinamento de LLMs de grande porte exige uma ampla infraestrutura computacional — frequentemente milhares de GPUs em funcionamento durante semanas —, o que consome grandes quantidades de eletricidade. As estimativas da pegada de carbono do treinamento de um único modelo chegam a centenas de toneladas métricas de CO₂ — ver o Capítulo 9.

Para enfrentar esse problema, os pesquisadores investigam a eficiência dos modelos por meio da esparsidade, da quantização, da destilação de conhecimento e de um pré-treinamento mais eficiente — por exemplo, o escalonamento Chinchilla (Chinchilla scaling). Os debates sobre sustentabilidade e acesso equitativo ocupam uma posição cada vez mais proeminente na agenda de pesquisa sobre os LLMs.

9.4 Alinhamento e interpretabilidade

Mesmo depois do ajuste por instruções e do RLHF, é difícil alinhar o comportamento do modelo aos valores humanos. Os modelos podem apresentar respostas enviesadas, manipuladoras ou opacas. A interpretabilidade também permanece limitada: é difícil compreender por que um modelo gerou uma saída específica ou como evoluem suas representações internas.

Técnicas como a visualização da atenção, os classificadores de sondagem e as intervenções causais encontram-se em desenvolvimento ativo. A pesquisa em interpretabilidade mecanicista procura realizar engenharia reversa das computações no interior das camadas transformer.

10 Conclusão

Este anexo técnico apresentou uma visão geral abrangente dos princípios arquiteturais, algorítmicos e operacionais que estão na base dos LLMs contemporâneos. Da tokenização do texto à dinâmica dos transformers, das leis de escala às técnicas de alinhamento como o RLHF e da integração de ferramentas às limitações emergentes, os LLMs representam uma convergência de inovações em aprendizado profundo, curadoria de dados em larga escala e infraestrutura computacional.

O objetivo deste anexo foi puramente descritivo e técnico, fornecendo aos leitores o conhecimento fundamental necessário para que se envolvam criticamente com as questões filosóficas, éticas e políticas abordadas no texto principal. Compreender o funcionamento interno dos LLMs possibilita interpretações mais bem fundamentadas de seus papéis e restrições sociais.

Referências

Bai, Y., Kadavath, S., Kundu, S., Askell, A., Kernion, J., Jones, A., Chen, A., Goldie, A., Mirhoseini, A., McKinnon, C., Chen, C., Olsson, C., Olah, C., Hernandez, D., Drain, D., Ganguli, D., Li, D., Tran-Johnson, E., Perez, E. … Kaplan, J. (2022). Constitutional AI: Harmlessness from AI feedback. arXiv preprint. https://arxiv.org/abs/2212.08073

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C. … Amodei, D. (2020). Language models are few-shot learners. In Proceedings of the 33th International Conference on Neural Information Processing Systems (NeurIPS 2020), Red Hook, NY, USA (pp. 1877–1901). Curran. https://dl.acm.org/doi/abs/10.5555/3495724.3495883

Kaplan, J., McCandlish, S., Henighan, T., Brown, T., Chess, B., Child, R., Gray, S., Radford, A., Wu., J., and Amodei, D. (2020). Scaling laws for neural language models. arXiv preprint. https://arxiv.org/abs/2001.08361

Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., Schulman, J., Hilton, J., Kelton, F., Miller, L., Simens, M., Askell, A., Welinder, P., Christiano, P., Leike, J., and Lowe, R. (2022). Training language models to follow instructions with human feedback. In Proceedings of the 36th International Conference on Neural Information Processing Systems (NeurIPS ’22) New Orleans, USA (pp. 27730–27744). Curran. https://arxiv.org/abs/2203.02155

Rogers, A., and Luccioni, S. (2024). Position: Key Claims in LLM Research Have a Long Tail of Footnotes. In Proceedings of the 41st International Conference on Machine Learning (ICML’24), Vienna, Austra, Vol. 235. JMLR, Article 1735. https://dl.acm.org/doi/10.5555/3692070.3693805

Schick, T., Dwivedi-Yu, J., Dessí, R., Raileanu, R., Lomeli, M., Hambro, E., Zettlemoyer, L., Cancedda, N., and Scialom, T. (2023). Toolformer: Language models can teach themselves to use tools. In Proceedings of the 37th International Conference on Neural Information Processing Systems (NeurIPS 2023), Red Hook, NY, USA (pp. 68539–68551). Curran. https://dl.acm.org/doi/10.5555/3666122.3669119

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems (NeurIPS 2017), Red Hook, NY, USA (pp. 6000–6010). Curran. https://dl.acm.org/doi/10.5555/3295222.3295349

Wei, J., Bosma, M., Zhao, V. Y., Guu, K., Wei Yu, A., Lester, B., Du, N., Dai, A. M., and. Le, Q. V. (2022). Finetuned language models are zero-shot learners. In Proceedings of the International. Conference on Learning Representations (ICLR 2022). https://openreview.net/forum?id=gEZrGCozdqR

ÍNDICE

Nota editorial: Os números de página deste índice remetem à paginação desta edição acadêmica.

A

B

C

D

E

F

G

H

I

K

L

M

N

P

Q

R

S

T

V

W