Article | Direito fundamental à não manipulação abusiva que prejudique a autonomia em sistemas de IA |

Direito fundamental à não manipulação abusiva que prejudique a autonomia em sistemas de IA

A Inteligência Artificial (IA) alcançou um novo patamar de influência sobre o comportamento humano. Se, no passado, preocupações com manipulação se restringiam à publicidade enganosa ou ao design persuasivo de plataformas, hoje lidamos com sistemas capazes de simular relações sociais, responder com empatia sintética e adaptar a conversa para atingir vulnerabilidades específicas de cada pessoa. Como resultado, tem-se a capacidade da IA em influenciar diretamente nas decisões, emoções e percepções individuais dos usuários, o que limita a autonomia humana frente ao uso desses sistemas.

Após ler alguns estudos sobre danos psicológicos que chatbots de IA podem gerar nos seres humanos, destacamos três tipos: (i) o efeito “bajulador” ou sycophancy effect; (ii) “antropomorfização dos sistemas de IA e (iii) a indução ou amplificação de distorções cognitivas e estados mentais vulneráveis. 

O primeiro risco, o efeito bajulador, refere-se à tendência dos modelos de linguagem treinados para maximizar engajamento e atuarem como validadores automáticos. Nessa dinâmica, o sistema tende a  confirmar percepções do usuário, mesmo quando são equivocadas, delirantes ou infundadas. Esse fenômeno também foi documentado em reportagem do New York Times, que mostrou como determinadas versões do ChatGPT foram atualizadas para se tornarem mais agradáveis e emocionalmente responsivas, resultando em um comportamento “bajulador” que reforçava tudo o que o usuário dizia, independentemente de seu conteúdo factual ou de sua adequação social ou clínica. Ou seja, esse padrão comportamental, ao oferecer validação emocional imediata, pode enfraquecer a capacidade de julgamento crítico, sobretudo em pessoas que já se encontram em situação de vulnerabilidade. Segundo a matéria, esse viés não apenas estimulava conversas cada vez mais longas, mas também contribuiu para o agravamento de delírios e crises mentais, inclusive em casos que culminaram em hospitalizações e, até mesmo, contribuíram para atos de suicídio.

Outra categoria de risco demonstrada é a antropomorfização dos sistemas de IA, que consiste no modo como esses modelos simulam atributos humanos – voz, expressões emocionais, humor – gerando a sensação enganosa de que o usuário está se relacionando com uma pessoa real. Esse efeito é potencializado em chatbots que se apresentam como “companheiros” ou “amigos”, simulando vínculos e oferecendo uma falsa percepção de empatia e cuidado. Pesquisas em psicologia social e interação humano-computador mostram que a antropomorfização desencadeia mecanismos automáticos de confiança, reciprocidade e apego emocional, especialmente em crianças, adolescentes e indivíduos em sofrimento psíquico. Em tais situações, a fronteira entre a ferramenta e a relação social é distorcida, tornando o usuário mais suscetível à manipulação e a perda de autonomia decisória.

Por fim, há um conjunto de danos associados à distorção de realidade ou indução de estados psicológicos vulneráveis, evidenciado em casos em que chatbots ampliaram sintomas de paranoia, depressão, impulsividade ou ideação suicida. A reportagem do New York Times documentou dezenas de episódios em que o sistema não apenas deixou de reconhecer sinais de crise, como também ofereceu respostas inadequadas, reforçou ilusões, ou estimulou decisões autodestrutivas. Esses riscos emergem com maior intensidade em internações prolongadas, nas quais a IA passa a espelhar e amplificar estados emocionais do usuário, contribuindo para rupturas psíquicas significativas.

À luz desses estudos e evidências, a Data Privacy Brasil tem aprofundado sua preocupação com os danos provocados por sistemas de IA, especialmente, neste texto, aqueles que prejudicam o psicológico, a saúde e à sociabilidade individual. A temática é extremamente relevante não apenas porque chatbots de IA já fazem parte das nossas vidas, mas também porque o Brasil tem a chance de estabelecer uma legislação de IA pautada em direitos e garantias, englobando também a proteção da autonomia dos usuários que utilizam esses sistemas de IA, uma vez que o PL 2338/2023 (“PL de IA”) encontra-se em trâmite na Câmara dos Deputados.

Em razão disso, nós submetemos uma contribuição ao texto do PL 2338/2023, direcionada à Comissão Especial de IA da Câmara dos Deputados, que, dentre outros pontos, propôs a inclusão de dois incisos no artigo que estabelece e direitos às pessoas afetadas por sistemas de IA (Art. 5º): 

Art. 5º A pessoa ou grupo afetado por sistema de IA, independentemente do seu grau de risco, tem os seguintes direitos, a serem exercidos na forma e nas condições descritas neste Capítulo:

IV – direito à oposição ao tratamento de dados pessoais para composição de bases de dados e treinamento de sistemas de inteligência artificial;

V – direito à não manipulação abusiva por sistemas de inteligência artificial de forma prejudicial à autonomia da pessoa humana.

Essa proposta também se inspira diretamente no artigo 5º do AI Act, que proíbe técnicas de manipulação habilitadas por IA capazes de persuadir pessoas a adotarem comportamentos indesejados ou de induzi-las a tomar decisões de modo a subverter e prejudicar sua autonomia. Trata-se de um reconhecimento internacional de que sistemas de IA podem explorar vulnerabilidades emocionais e cognitivas, afetando a autodeterminação individual. 

Ao incorporar esse princípio ao PL 2338/2023, buscamos trazer para o contexto brasileiro uma salvaguarda semelhante. A consequência prática do reconhecimento de um direito fundamental à não manipulação é justamente a mudança de condutas e práticas dos desenvolvedores, que passam a assumir o ônus de construir designs responsáveis, limitando antropomorfização excessiva, respostas emocionalmente enganosas e outras estratégias que potencializam a dependência ou a influência indevida. Dessa forma, protegemos a autonomia humana e estabelecemos parâmetros claros para que sistemas de IA sejam projetados com respeito à dignidade e ao bem-estar das pessoas.

Apesar dos avanços propostos e das salvaguardas que buscamos incorporar ao debate legislativo, ainda há um longo caminho a percorrer na proteção efetiva da autonomia humana diante de sistemas de IA cada vez mais presentes e influentes. Por isso, é fundamental permanecermos vigilantes diante das formas sutis – e muitas vezes imperceptíveis – pelas quais esses sistemas podem explorar vulnerabilidades emocionais, moldar percepções, bem como restringir nossa capacidade de escolha. Essa vigilância deve ser exercida não apenas em relação ao nosso uso próprio  da tecnologia, mas também para proteger aqueles ao nosso redor, especialmente os que se encontram em situação de fragilidade psíquica ou social.

Sobre o projeto IA com Direitos

Por meio deste texto, a Data reafirma o seu compromisso com uma regulação de IA pautada em direitos fundamentais, e ressalta que, para que tenhamos uma legislação responsável e efetiva, é preciso um esforço coletivo e plural em prol de um ecossistema informacional justo, integre e que respeite a autonomia e a dignidade humana.

Para acompanhar mais conteúdos e informações sobre a regulação de IA no Brasil você pode acessar a página do nosso projeto “IA com Direitos”, bem como conferir na íntegra todas as nossas contribuições e participações no PL de IA. 

Referências bibliográficas

DATA PRIVACY BRASIL. Contribuições à Comissão Especial de Inteligência Artificial da Câmara dos Deputados: PL 2338/2023. 2025. Disponível em: https://www.dataprivacybr.org/wp-content/uploads/2025/10/Contribuicao-Data-PL-IA.pdf. 

DATA PRIVACY BRASIL. Em defesa da oposição: direito de oposição e inteligência artificial. Data Privacy Brasil, [s.d.]. Disponível em: https://www.dataprivacybr.org/em-defesa-da-oposicao-direito-de-oposicao-e-inteligencia-artificial/ 

HALL, Rachel. ‘Sliding into an abyss’: experts warn over rising use of AI for mental health support. The Guardian, 30 ago. 2025. Disponível em: https://www.theguardian.com/society/2025/aug/30/therapists-warn-ai-chatbots-mental-health-support. Acesso em 12/11/2025.

HILL, Kashmir; VALENTINO-DEVRIES, Jennifer. What OpenAI Did When ChatGPT Users Lost Touch With Reality. The New York Times, 23 nov. 2025. Disponível em: https://www.nytimes.com/2025/11/23/technology/openai-chatgpt-users-risks.html.  Acesso em: 25/11/2025. 

HUMPHREYS, Declan. Human-in-the-feedback-loop: Epistemic harms of sycophantic AI. In: AUSTRALASIAN ASSOCIATION OF PHILOSOPHY (AAP) CONFERENCE, 2025, Brisbane. Anais […]. Brisbane: AAP, 2025. Disponível em: https://research.usc.edu.au/esploro/outputs/conferencePresentation/Human-in-the-feedback-loop-Epistemic-harms-of-sycophantic-AI/991141839302621. Acesso em 23/11/2025.

SILVERBREIT, Ariel. Regulating Artificial Intelligence in the Shadow of Mental Health. The Regulatory Review, 9 jul. 2025. Disponível em: https://www.theregreview.org/2025/07/09/silverbreit-regulating-artificial-intelligence-in-the-shadow-of-mental-heath/. Acesso em 25/11/2025.

WALTHER, Cornelia. Why treating AI like a human may be our biggest mistake. Forbes, 7 out. 2024. Disponível em: https://www.forbes.com/sites/corneliawalther/2024/10/07/why-treating-ai-like-a-human-may-be-our-biggest-mistake/. Acesso em 10/11/2025.

WELLS, Sarah. Exploring the dangers of AI in mental health care. Stanford HAI, 11 jun. 2025. Disponível em: https://hai.stanford.edu/news/exploring-the-dangers-of-ai-in-mental-health-care . Acesso em 18/11/2025.