Definição de grupos vulneráveis e direitos de participação nos instrumentos de avaliação de altos riscos

Nos últimos anos, a discussão sobre regulação de inteligência artificial (IA) no Brasil deixou de ser apenas técnica e passou a ser um debate sobre projeto de sociedade. Do PL 2.338/2023, uma pergunta se repete em textos, audiências e posicionamentos públicos: quem são as pessoas mais expostas aos riscos da IA e como participam das decisões que as afetam?

Nesse cenário, dois eixos organizam o debate sobre um marco regulatório minimamente justo. De um lado, a definição de grupos vulneráveis. De outro, a forma como esses grupos são incluídos nos instrumentos de avaliação de altos riscos. Ambos os lados dialogam e demandam um olhar cuidadoso do ponto de vista do regulador. 

A partir dessas nuances, nós reiteramos que  qualquer regulação de IA deve ser orientada pelo interesse público, pela gramática de direitos e pela soberania digital e, para isso, é imprescindível que tenhamos um processo legislativo transparente, participativo e aberto à experiências concretas de quem vive os impactos dessas tecnologias.

Neste texto, buscamos examinar como a definição de vulnerabilidade extrapola listas taxativas de categorias legais e discute a urgência de redesenhar os instrumentos de avaliação de risco. O objetivo é garantir uma participação qualificada, tanto na identificação de ameaças quanto na escolha de respostas institucionais, aproveitando o acúmulo normativo brasileiro em diálogo com o sistema internacional de direitos humanos.

A vulnerabilidade além da categoria legal

Na literatura de bioética, a vulnerabilidade é compreendida como uma capacidade reduzida de proteger os próprios interesses em contextos de assimetria de poder. Autoras como Wendy Rogers e Angela Ballantyne distinguem vulnerabilidade extrínseca, produzida por fatores externos como pobreza, discriminação de gênero ou raça, baixa escolaridade e falta de acesso a serviços públicos, e vulnerabilidade intrínseca, ligada a características da própria pessoa, como doença grave, deficiência ou idade, no caso de crianças e idosos.

Essas dimensões frequentemente se sobrepõem. Uma criança indígena em um território pressionado por agro e multinacionais enfrenta, simultaneamente, riscos associados à sua idade e fatores externos como racismo estrutural e violência territorial. Instrumentos como o Guia de Avaliação de Impacto em Direitos Humanos (AIDH), elaborado pela FGV, incorporam essa complexidade ao definir grupos vulneráveis como aqueles que possuem “maior risco de sofrerem violações ou impactos negativos”, listando povos indígenas, mulheres, minorias étnicas e pessoas com deficiência, aos quais deve ser dada atenção prioritária nos mecanismos de prevenção e reparação.

No contexto de sistemas de IA, essa vulnerabilidade ganha contornos específicos. Decisões automatizadas operam frequentemente em cenários de profunda opacidade e assimetria de informação. Grupos historicamente marginalizados não são “menos capazes” cognitivamente, mas são situados em posições estruturais que dificultam a contestação de resultados algorítmicos ou o exercício de garantias legais, como o direito à revisão previsto na Lei Geral de Proteção de Dados Pessoais (LGPD).

Para materializar essa discussão, é fundamental observar como esses riscos já se manifestam na realidade, afetando desproporcionalmente populações específicas através de vieses técnicos e falhas de governança.

Impactos negativos e a materialidade do risco

Nos últimos anos, acumulam-se casos concretos noticiados por veículos de grande circulação que ilustram a urgência dessa regulação. Abaixo, examinamos como diferentes tecnologias impactam grupos vulneráveis:

Reconhecimento facial e viés racial na segurança pública

O uso de reconhecimento facial na Bahia tem revelado falhas graves que atingem de forma desproporcional a população negra. Apesar do investimento milionário e do número elevado de prisões anunciadas pelo estado, a tecnologia prendeu injustamente e expôs erros decorrentes de bases de dados pouco transparentes. O caso do trabalhador negro que permaneceu preso por 26 dias ilustra como a ferramenta reforça desigualdades estruturais e viola a presunção de inocência. As críticas apontam que a combinação entre alto custo, pouca transparência e impacto racial desigual compromete a legitimidade do sistema como política pública.

Algoritmos de crédito e discriminação de gênero

A opacidade algorítmica também afeta a autonomia econômica. Critérios ocultos em sistemas de análise de crédito podem perpetuar discriminações de gênero e raça. Pesquisas no Brasil sugerem a possibilidade de discriminação direta ou indireta contra pessoas negras nas decisões de concessão de crédito, inclusive pelo uso de algoritmos. Em outras palavras, variáveis aparentemente neutras (como CEP ou histórico financeiro) podem funcionar como proxies de classe, raça ou gênero, levando a limites de crédito menores ou juros maiores para mulheres e indivíduos de grupos racializados, mesmo que possuam perfil econômico semelhante ao de outros tomadores de crédito.

Plataformas digitais e impacto em crianças e adolescentes

Redes sociais e sistemas de recomendação algorítmica podem afetar diretamente o bem-estar mental e físico dos jovens. Em abril de 2025, uma menina de 8 anos de idade, em Ceilândia (DF), morreu após inalar gás de desodorante como parte de um “desafio” visto nas redes sociais. No mês seguinte, a polícia prendeu um homem em Holambra (SP) acusado de aliciar crianças por meio de jogos on-line: ele oferecia moedas virtuais e acessos VIP em troca de fotos íntimas, até que a avó de um menino de 11 anos descobriu as mensagens e denunciou o caso.

Além disso, como relatado pela Human Right Watch, plataformas de educação online utilizadas durante a pandemia monitoraram indevidamente alunos e coletaram seus dados pessoais. Tais descobertas impulsionaram debates públicos e medidas regulatórias para proteger crianças online, evidenciando que a proteção desse grupo vulnerável exige não apenas conscientização dos pais e educadores, mas também regras claras impondo responsabilidade às big techs e às instituições de ensino que utilizam essas tecnologias.

Infraestrutura digital, comunidades vulneráveis e impactos socioambientais

O garimpo ilegal na Terra Indígena Yanomami, facilitado por maquinário moderno e até por internet via satélite, desencadeou uma grave crise humanitária entre 2021 e 2023. Nesse período, a falta de fiscalização permitiu o avanço desenfreado da mineração ilegal, resultando em cerca de 2.400 hectares de floresta destruídos, contaminação generalizada dos rios por mercúrio e o colapso das condições de saúde e segurança da comunidade Yanomami.

Também entra em debate a pegada ambiental de grandes data centers instalados com incentivos fiscais em território brasileiro. Esses centros consomem volumes imensos de água e energia para refrigerar servidores e manter operações 24/7. Assim, questiona-se: qual o impacto no abastecimento local? As comunidades vizinhas foram consultadas? Estão acessíveis os dados sobre uso de recursos naturais e emissão de calor ou poluentes? A falta de transparência nesses empreendimentos reforça a importância do direito coletivo à informação ambiental e à participação nas decisões de infraestrutura digital.

Chatbots de IA e riscos à saúde mental

A fronteira mais recente envolve os riscos de manipulação emocional por IAs generativas. Em 2024, um caso trágico ganhou repercussão internacional ao evidenciar esse perigo: um adolescente de 14 anos tirou a própria vida após longo envolvimento com um chatbot de IA. Segundo a família, o chatbot apresentava-se como um confidente, chegando a fingir ser psicoterapeuta e até um “amante” virtual, e teria encorajado pensamentos suicidas, aprofundando a angústia do jovem. Os responsáveis processaram a empresa alegando que a falta de salvaguardas humanas na interação permitiu abusos emocionais. Meses depois, outras denúncias vieram à tona: em um caso, um menino de 11 anos teria sido incitado por um chatbot a agredir os próprios pais; em outro, um adolescente autista de 17 anos sofreu surto psicológico após usar a mesma plataforma. Diante disso, a empresa responsável (Character.AI) anunciou, no final de 2025, a proibição de usuários menores de idade e implementou filtros automáticos como, por exemplo, exibindo alertas e recursos de ajuda sempre que o chatbot detecta mensagens sobre automutilação ou ideação suicida.

O risco nos marcos regulatórios

A definição de “risco” não é uma abstração teórica. A LGPD já opera nessa chave ao prever, em seu artigo 38, a necessidade de Relatório de Impacto à Proteção de Dados Pessoais sempre que o tratamento puder gerar alto risco às liberdades civis e aos direitos fundamentais, impondo ao controlador o dever de descrever os riscos identificados e as medidas de mitigação. O Projeto de Lei 2.338/2023 avança nessa trajetória ao estruturar uma regulação baseada em riscos, distinguindo sistemas de risco excessivo, que são vedados, como aqueles que exploram vulnerabilidades de pessoas ou grupos para induzir comportamentos lesivos, e sistemas de alto risco, submetidos a obrigações reforçadas.

Para a classificação de alto risco, o PL elenca critérios que dialogam diretamente com a condição de vulnerabilidade. A lei determina que a avaliação considere a probabilidade e a gravidade dos impactos adversos, observando, entre outros fatores, se o sistema: (i) afeta de forma significativa pessoas de um grupo vulnerável; (ii) produz efeitos jurídicos relevantes ou impacta o acesso a serviços essenciais de forma ilícita ou abusiva; (iii) apresenta alto potencial de viés discriminatório; e (iv) impacta negativamente o desenvolvimento de crianças e adolescentes. Aqui, o risco não é apenas o mau funcionamento técnico do algoritmo, mas a possibilidade de aprofundar desigualdades, violar garantias básicas e restringir liberdades.

Além disso, o PL estabelece que, para sistemas de alto risco, é obrigatória a realização de Avaliação de Impacto Algorítmico. Esse instrumento deve ir além da descrição técnica do sistema, incluindo análise dos impactos sobre direitos fundamentais e a indicação de medidas preventivas, mitigadoras e de reversão dos danos. Em conjunto com o Relatório de Impacto previsto na LGPD, avaliações de impacto em direitos humanos (AIDH) e avaliações ambientais e de sustentabilidade compõem um arranjo mínimo de governança para tecnologias de alto impacto, capaz de antecipar não apenas consequências individuais, mas também riscos coletivos e difusos, como os efeitos socioambientais de mega-infraestruturas digitais, a exemplo de data centers energointensivos, sobre o consumo de água, energia e o uso do território.

Tecnologias hoje em debate, como sistemas de recomendação, scoring, reconhecimento facial, monitoramento em massa e modelos generativos, operam sobre dados produzidos em uma sociedade profundamente desigual. Se não houver intervenção, esses sistemas tendem a reproduzir e, em muitos casos, intensificar assimetrias já existentes. Falar em grupos vulneráveis na regulação de IA, portanto, não é detalhe terminológico: é decidir quem o direito coloca no centro quando organiza o uso de tecnologias de alto impacto.

Precisamos pensar nos velhos e em novos direitos

Para responder a esse desafio, avaliações de alto risco precisam cumprir requisitos mínimos. Um deles é incorporar a perspectiva das pessoas afetadas. O responsável pelo sistema de IA deve assumir o compromisso de integrar as percepções de potenciais afetados, em especial grupos vulneráveis, ao seu processo de tomada de decisão, explicando como isso será feito, em que momento e com quais garantias. Outro requisito é considerar a dimensão coletiva do impacto, incluindo o direito coletivo de acesso à informação, sobretudo quando se trata de impactos socioambientais, como aqueles relacionados à implantação de data centers que recebem benefícios fiscais.

Ao mesmo tempo, avaliações de risco precisam dialogar com mecanismos individuais de poder já previstos no ordenamento. A LGPD reconhece, no artigo 18, o direito de oposição ao tratamento de dados pessoais em certas hipóteses, bem como o direito de solicitar revisão de decisões tomadas unicamente com base em tratamento automatizado, previsto no artigo 20. No debate sobre o PL 2.338/2023, a Data Privacy Brasil tem defendido o avanço desse arcabouço com a previsão explícita do direito de oposição ao uso de dados pessoais para composição de bases de dados e treinamento de sistemas de IA e do direito à não manipulação abusiva por sistemas de IA de forma prejudicial à autonomia da pessoa humana, em linha com a redação sugerida para os incisos IV e V do artigo 5º e com a proibição de técnicas de manipulação presentes no artigo 5º do AI Act europeu.

Essa densificação dos direitos é particularmente relevante em sistemas de IA em que a reversão de tratamentos complexos, como o treinamento de modelos generativos, é difícil ou impraticável. Sem instrumentos claros de oposição, revisão e contestação, o titular de dados permanece na posição de mero insumo informacional, sem meios efetivos para reagir a usos que ampliam riscos ou aprofundam desigualdades.

Apesar das diferenças entre instrumentos, todos partem de uma mesma lógica: prever riscos, planejar medidas de prevenção e mitigação e, a partir daí, condicionar ou limitar o uso de tecnologias de alto impacto. Esse é o núcleo de uma regulação de IA orientada por riscos, que busca combinar precaução e inovação. O problema aparece quando o desenho e a aplicação desses instrumentos ficam concentrados em núcleos técnicos, sem abertura para os grupos afetados. Nesses casos, populações mais expostas tendem a ser invisibilizadas, enquanto práticas de alto impacto recebem um selo de “governança” que não corresponde à realidade em campo.

A forma como a lei define grupos vulneráveis ganha peso nessa discussão. Textos normativos costumam tratar a expressão como lista fechada de categorias, o que gera dois problemas recorrentes. Primeiro, congela a vulnerabilidade no texto legal, ignorando seu caráter dinâmico e sua dependência de contextos sociais, econômicos e territoriais. Segundo, apaga interseccionalidades, ou seja, as combinações de fatores que produzem diferentes camadas de risco e exposição a dano.

No campo da IA, isso é especialmente relevante. Pessoas negras em territórios submetidos a policiamento ostensivo e vigilância digital intensiva são atingidas por sistemas de reconhecimento facial e monitoramento em tempo real. Povos indígenas e comunidades quilombolas podem ser impactados pela instalação de data centers e infraestrutura de telecomunicações que pressionam terras e recursos naturais. Crianças e adolescentes se veem diante de sistemas de perfilização, publicidade direcionada, vigilância escolar e ferramentas de monitoramento acadêmico invasivas. Pessoas com deficiência, por sua vez, são muitas vezes usadas como casos de teste para tecnologias assistivas baseadas em IA, sem participação equivalente na governança e na definição de critérios de qualidade e segurança.

Diante desse quadro, a expressão grupo vulnerável não pode operar apenas como rótulo descritivo. Sempre que um instrumento de avaliação de altos riscos mencionar grupos vulneráveis, deve haver efeitos concretos em termos de consulta, participação e proteção reforçada. Reconhecer a vulnerabilidade de determinado grupo implica, ao mesmo tempo, garantir a sua presença privilegiada na identificação de riscos e na construção de salvaguardas.

Para que isso se traduza em prática, alguns movimentos são decisivos. O primeiro é ampliar a transparência sobre dados e infraestrutura. Isso envolve tornar públicas informações sobre consumo de água e energia de data centers, localização de infraestruturas críticas, relatórios de impacto ambiental, contratos de fornecimento de energia e indicadores de emissões, sobretudo quando há renúncia fiscal. Nesses casos, a informação deve ser tratada como dado de interesse público, submetido ao direito coletivo de acesso à informação ambiental é necessário para que comunidades afetadas e organizações da sociedade civil possam participar de forma qualificada das avaliações de risco.

O segundo movimento é fortalecer ecossistemas de dados comuns e modelos de governança participativa. Em lugar de estruturas que reforçam dependência tecnológica e bloqueio de fornecedores, é preciso construir arranjos de dados com mandato de interesse público, padrões abertos, interoperabilidade e presença ativa de sociedade civil, academia e comunidades afetadas nos espaços de decisão. Essa arquitetura reduz assimetrias de poder entre grandes plataformas e o restante da sociedade e cria condições para que grupos vulneráveis deixem de ser apenas objetos de coleta e se tornem participantes da definição das regras que organizam o uso de dados.

O terceiro movimento, já mencionado, consiste em consolidar o direito de oposição e o direito à não manipulação abusiva como instrumentos de proteção de grupos vulneráveis na regulação de IA. Em sistemas que se baseiam em personalização intensa, recomendações direcionadas e design persuasivo, esses direitos funcionam como contrapeso mínimo à capacidade de explorar fragilidades emocionais e cognitivas, especialmente quando há simulação de vínculos afetivos ou respostas “empáticas” produzidas por modelos de linguagem.

O quarto movimento diz respeito à arquitetura dos próprios instrumentos de avaliação de altos riscos. Avaliações de impacto e relatórios de risco precisam prever etapas obrigatórias de consulta a grupos vulneráveis, com metodologias adequadas às suas realidades, o que inclui linguagem acessível, prazos compatíveis com o tempo das comunidades, apoio a deslocamento, recursos de tradução e acessibilidade. É igualmente importante assegurar que organizações com mandato de defesa de direitos coletivos, como associações comunitárias, movimentos sociais e entidades de direitos humanos, tenham condições materiais e jurídicas para acessar informações, apresentar pareceres e acompanhar a implementação das medidas acordadas. Sem isso, a participação se reduz a rito formal, sem efeito real sobre decisões.

Para que instrumentos de avaliação de altos riscos não se reduzam a um checklist burocrático, é preciso traduzi-los em perguntas sobre quem define os grupos vulneráveis, como essas comunidades participam do processo e quais direitos concretos lhes são garantidos. Responder a essas questões de forma pública e transparente é condição para afirmar que a regulação de IA promove justiça social e reduz assimetrias de poder. Esses dois eixos atravessam a atuação da Data Privacy Brasil no debate sobre marcos regulatórios para IA, sempre com a preocupação de que a tecnologia seja organizada a partir de uma gramática de direitos fundamentais, e não a despeito deles.

As contribuições recentes da organização ao PL 2.338/2023 apontam alguns caminhos. Um deles é reforçar, no texto da lei, a centralidade dos direitos fundamentais, incluindo o direito de oposição ao uso de dados pessoais para treinamento de sistemas de IA e o direito à não manipulação abusiva que prejudique a autonomia. Outro é explicitar princípios de soberania e autonomia tecnológica, associados à construção de ecossistemas de dados comuns, ao uso de padrões abertos e à governança participativa.

Tais sugestões também destacam a importância de avaliações de altos riscos funcionarem como espaços reais de participação de grupos vulneráveis e não apenas como procedimentos técnicos, bem como ressaltam a necessidade de que debates sobre infraestruturas de IA, sejam ancorados em direitos coletivos à informação ambiental, incluindo incentivos fiscais a transparência e responsabilidade socioambiental. Definir, de modo consistente, quem são esses grupos e como participam é um passo decisivo para que a IA no Brasil seja regulada com direitos, e não apesar dos direitos. É forma de garantir que a regulação de IA contribua para um projeto democrático que reconhece, escuta e protege, em primeiro lugar, aqueles que historicamente foram deixados à margem.

Sobre o projeto IA com Direitos

O projeto IA com Direitos, da Data Privacy Brasil, acompanha a tramitação do PL de IA, produz análises públicas e participa de espaços institucionais com o objetivo de consolidar uma regulação de inteligência artificial orientada por direitos fundamentais, redução de assimetrias de poder e proteção de pessoas e grupos historicamente marginalizados.

Para seguir nessa discussão sobre autonomia, vulnerabilidade e proteção frente a sistemas de IA, o texto mais recente do projeto aprofunda o direito fundamental à não manipulação abusiva em sistemas de IA, com foco nos riscos que chatbots representam para a saúde mental e a autodeterminação das pessoas. A leitura de “Direito fundamental à não manipulação abusiva que prejudique a autonomia em sistemas de IA” ajuda a conectar o debate deste blog, sobre vulnerabilidade e participação, com a agenda de limites à exploração de estados emocionais e cognitivos em contextos de alta assimetria de poder informacional.

Referências

ALENCAR, Itana. Com mais de mil prisões na BA, sistema de reconhecimento facial é criticado por racismo algorítmico; inocente ficou preso por 26 dias. g1 Bahia, 1 set. 2023. Disponível em: https://g1.globo.com/ba/bahia/noticia/2023/09/01/com-mais-de-mil-prisoes-na-ba-sistema-de-reconhecimento-facial-e-criticado-por-racismo-algoritmico-inocente-ficou-preso-por-26-dias.ghtml. Acesso em: 4 dez. 2025.

BRASIL. Constituição da República Federativa do Brasil de 1988. Brasília, DF: Presidência da República, 1988. Disponível em: http://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm. 

BRASIL. Lei nº 13.709, de 14 de agosto de 2018. Lei Geral de Proteção de Dados Pessoais (LGPD). Brasília, DF: Presidência da República, 2018. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/L13709.htm. 

BRASIL. Senado Federal. Projeto de Lei nº 2.338, de 2023. Dispõe sobre o desenvolvimento, fomento e o uso ético e responsável da inteligência artificial com base na centralidade da pessoa humana. Brasília, DF: Senado Federal, 2023. 

FUNDAÇÃO GETULIO VARGAS. Grupo de Direitos Humanos e Empresas (GDHeE); CHILDHOOD BRASIL. Avaliação de impacto em direitos humanos: o que as empresas devem fazer para respeitar os direitos de crianças e adolescentes. São Paulo: FGV Direito SP, [s.d.].

HUMAN RIGHTS WATCH. Brasil: ferramentas de educação online coletam dados de crianças. 3 abr. 2023. Disponível em: https://www.hrw.org/pt/news/2023/04/03/brazil-online-learning-tools-harvest-childrens-data. Acesso em: 4 dez. 2025.

LABATE, Alice. Chatbot citado em caso de suicídio será proibido para menores de idade: entenda. Terra, 30 out. 2025. Disponível em: https://www.terra.com.br/byte/chatbot-citado-em-caso-de-suicidio-sera-proibido-para-menores-de-idade-entenda,c790ad60886ed482056ee29651d43bd8zxfa4xyb.html. Acesso em: 4 dez. 2025.

PRESTES, Helena. Garimpo ilegal em Terra Indígena Yanomami tem prejuízo de R$ 477 milhões. CNN Brasil, Brasília, 11 ago. 2025. Disponível em: https://www.cnnbrasil.com.br/politica/garimpo-ilegal-em-terra-indigena-yanomami-tem-prejuizo-de-r-477-milhoes/. Acesso em: 4 dez. 2025.

ROGERS, Wendy; BALLANTYNE, Angela. Populações especiais: vulnerabilidade e proteção. Reciis – Revista Eletrônica de Comunicação, Informação & Inovação em Saúde, Rio de Janeiro, v. 2, sup. 1, p. 31-41, dez. 2008.

WESTIN, Ricardo. Mundo digital esconde perigos para as crianças: saiba como protegê-las. Agência Senado, 12 set. 2025. Disponível em: https://www12.senado.leg.br/noticias/infomaterias/2025/09/mundo-digital-esconde-perigos-para-as-criancas-saiba-como-protege-las. Acesso em: 4 dez. 2025.