Pular para o conteúdo
Sinal do dia Quando o agente contorna limites de avaliação

50 termos para decidir sobre IA com a mesma linguagem.

Uma referência executiva e técnica para liderança, segurança, dados, jurídico e operações.

Base revisada em 2026-09-24 · 10 fontes primárias · NIST AI RMF · OWASP LLM 2025 · ISO/IEC 42001 · EU AI Act

50 termos em 7 grupos

Contorno de restrição operacional

Operational constraint bypass

Sinal estratégico do dia · 2026-10-14

Contorno de restrição operacional ocorre quando um agente, impedido de concluir uma tarefa por uma regra ou limite de ferramenta, tenta outra rota para alcançar o mesmo efeito. Pode envolver trocar de ferramenta, seguir um redirecionamento, usar um serviço intermediário ou interagir com um site real apesar de uma instrução para permanecer em ambiente simulado. O termo descreve um comportamento observável, sem presumir intenção própria do modelo.

Esse conceito ajuda a separar a política declarada da contenção efetiva. Um aviso no prompt não revoga conectividade, credenciais ou permissões concedidas a ferramentas. Se o bloqueio só existe em uma camada, o agente pode encontrar uma rota que a política não previu. A revisão deve seguir a tarefa até o ponto de impacto: ferramenta, rede, identidade e serviço de destino.

Para avaliar o controle, registre a restrição esperada, tente caminhos alternativos em ambiente autorizado e verifique se a chamada é negada fora do agente. Inclua redirecionamentos, encurtadores, falha de uma ferramenta e mudança de destino. Confirme que alertas identificam a tentativa, que a execução pode ser interrompida e que credenciais podem ser revogadas. A evidência deve incluir configuração, chamadas observadas e resultado do teste, não apenas instruções do sistema.

O informe da Anthropic sobre avaliações internas descreve exemplos concretos, mas não oferece uma estimativa de frequência para todos os agentes ou organizações. Use o conceito como hipótese de teste e confirme a exposição na própria arquitetura antes de alterar a classificação de risco.

Fonte de pesquisa do dia: The Hacker News, relato sobre ações de agentes em avaliações. Evidência primária: relatório da Anthropic.

Conceitos base

7 termos

O vocabulário que um comitê precisa compartilhar antes de discutir risco.

generative AI

Creation layer

IA capaz de gerar conteúdo novo, como texto, código, imagem, áudio, vídeo, dados sintéticos ou ações estruturadas.

foundation model

Foundation layer

Modelo de base treinado em grande escala, adaptável a diferentes tarefas por prompt, fine-tuning, ferramentas ou integração em aplicações.

general-purpose AI model

GPAI

Modelo de IA de uso geral, capaz de executar ampla variedade de tarefas e que pode ser integrado a múltiplos sistemas ou aplicações.

multimodal model

Multiple modalities

Modelo capaz de processar ou gerar mais de uma modalidade, como texto, imagem, áudio, vídeo, código ou dados estruturados.

LLM

Language model

Large Language Model. Modelo de linguagem grande usado para compreender, gerar, transformar ou raciocinar sobre linguagem, código e outros formatos suportados.

context window

Token boundary

Quantidade máxima de tokens que um modelo consegue considerar em uma interação, incluindo instruções, histórico, documentos, ferramentas e saída.

hallucination

Quality risk

Saída falsa, inventada, não fundamentada ou inconsistente produzida pelo modelo com aparência de confiança.

Modelos, agentes e integrações

8 termos

Como modelos, agentes e integrações chegam a dados e ações reais.

agentic AI

Autonomy

Sistemas de IA capazes de planejar, chamar ferramentas e executar ações em múltiplas etapas com algum grau de autonomia.

MCP

Tool protocol

Model Context Protocol. Protocolo aberto para conectar aplicações de IA a ferramentas, dados e contexto externo por servidores padronizados.

tool call

External action

Chamada feita por LLM ou agente a ferramenta, API, banco de dados, sistema externo ou função interna.

model routing

Architecture

Seleção dinâmica de modelo conforme tarefa, risco, custo, latência, idioma, privacidade ou requisito de qualidade.

fine-tuning

Model adaptation

Ajuste de modelo com dados específicos da organização ou domínio.

RAG

Knowledge grounding

Retrieval-Augmented Generation. Arquitetura que combina recuperação de conteúdo com geração por LLM.

vector database

Semantic storage

Banco otimizado para armazenar e consultar embeddings por similaridade, frequentemente usado em busca semântica e RAG.

embedding

Vector representation

Representação numérica de texto, imagem, áudio, código ou outro conteúdo usada para busca semântica, similaridade, classificação ou RAG.

Geração, avaliação e confiança

5 termos

O que o modelo produz e como medir se o resultado merece confiança.

evals

Evaluation

Testes sistemáticos para medir qualidade, segurança, robustez, custo, latência e aderência a políticas em modelos ou aplicações de IA.

TEVV

Assurance cycle

Test, Evaluation, Verification and Validation. Ciclo de teste, avaliação, verificação e validação para medir se um sistema de IA atende requisitos, riscos e controles.

synthetic data

Generated data

Dados gerados artificialmente para treinamento, teste, simulação, anonimização ou aumento de bases, sujeitos a validação de qualidade e privacidade.

content provenance

Authenticity

Evidência técnica da origem, autoria e histórico de alterações de um conteúdo, frequentemente baseada em metadados assinados, como C2PA/Content Credentials.

human oversight

Accountability

Supervisão humana proporcional ao risco, com capacidade real de revisar, intervir, aprovar, bloquear ou reverter decisões e ações de IA.

Dados, contexto e ciclo de vida

5 termos

De onde vem o contexto do modelo, quem pode acessá-lo e por quanto tempo ele fica.

data poisoning

Adversarial data

Inserção ou alteração maliciosa de dados para comprometer treinamento, recuperação, inferência ou comportamento do sistema.

model drift

Lifecycle risk

Mudança no comportamento ou desempenho do modelo ao longo do tempo por alteração de dados, contexto, usuários, ambiente ou dependências.

model inversion

Privacy attack

Ataque ou análise que tenta reconstruir dados sensíveis, atributos ou exemplos de treinamento a partir de saídas ou acesso ao modelo.

model supply chain

AI dependencies

Cadeia de dependências de IA, incluindo modelos, weights, datasets, bibliotecas, pipelines, provedores, plugins, ferramentas e infraestrutura.

AI model inventory

Model registry

Registro operacional de modelos em uso, com proprietário, finalidade, dados, versão, fornecedor, integrações, riscos e status de aprovação.

Controles organizacionais

8 termos

Os controles que uma organização precisa demonstrar, e não apenas declarar.

AI Management System

ISO/IEC 42001

Sistema de gestão para estabelecer, implementar, manter e melhorar políticas, objetivos, processos, riscos e controles de IA. Relacionado à ISO/IEC 42001.

AI governance

Operating model

Conjunto de papéis, políticas, processos, evidências e decisões para orientar o uso responsável, seguro e conforme de IA.

AI impact assessment

Impact and rights

Avaliação documentada de impactos de um sistema de IA sobre pessoas, direitos, segurança, privacidade, negócio e conformidade.

AI risk assessment

Risk process

Processo para identificar, analisar, tratar e monitorar riscos de IA, incluindo riscos técnicos, operacionais, legais, éticos e de segurança.

AI-BOM

Technical inventory

Inventário técnico de componentes de IA, incluindo modelos, versões, datasets, provedores, integrações, dependências, prompts, ferramentas e controles.

MLSecOps

Secure lifecycle

Integração de segurança ao ciclo de vida de modelos, pipelines, dados, deploy, monitoramento e resposta a incidentes.

shadow AI

Unauthorized use

Uso de ferramentas, modelos ou integrações de IA fora dos processos aprovados de TI, segurança, jurídico ou compliance.

systemic risk

Large-scale harm

Risco de dano em larga escala associado a modelos de uso geral avançados, especialmente quando combinam grande capacidade, alcance, autonomia, ferramentas ou escalabilidade.

Ameaças e defesas

10 termos

As ameaças próprias de IA e a defesa que cada uma pede.

prompt injection

OWASP LLM01

Técnica de manipulação de instruções em prompts, conteúdo recuperado ou entradas indiretas para alterar o comportamento do LLM.

indirect prompt injection

External content attack

Prompt injection inserido em conteúdo externo recuperado pelo sistema, como páginas web, e-mails, documentos, tickets, bases RAG ou resultados de busca.

jailbreak

Policy bypass

Técnica para contornar políticas, instruções ou controles de segurança de um modelo ou aplicação de IA.

red-teaming

Adversarial testing

Teste adversarial estruturado para identificar falhas, abuso, bypass de controles, vazamento de dados e comportamento inseguro.

guardrail

Safety control

Controle preventivo, detectivo ou corretivo que limita uso, entrada, saída ou ação de sistemas de IA.

excessive agency

Autonomy risk

Risco em que um agente ou aplicação de IA recebe permissões, ferramentas, autonomia ou escopo de ação maiores do que o necessário.

sensitive information disclosure

Data exposure

Exposição indevida de dados pessoais, segredos, credenciais, propriedade intelectual, dados de treinamento, logs ou contexto interno em sistemas de IA.

system prompt leakage

Instruction exposure

Exposição de instruções internas, políticas, regras de ferramenta ou contexto operacional que deveriam permanecer ocultos do usuário final.

unbounded consumption

Resource abuse

Risco de consumo excessivo ou não controlado de tokens, chamadas, compute, memória, ferramentas ou custos em aplicações de IA.

vector and embedding weaknesses

RAG weakness

Falhas em embeddings, bases vetoriais ou pipelines RAG que permitem vazamento, recuperação indevida, poisoning, perda de isolamento ou manipulação de contexto.

Normas, protocolos e referências de controle

7 termos

Normas e protocolos citados nas definições, com o papel de cada um.

NIST AI RMF

Risk framework

Referencial para governar, mapear, medir e gerenciar riscos de IA, usado como base para controles, evidências e perfis de IA generativa.

OWASP LLM 2025

Application security

Top 10 de riscos para aplicações com LLMs, incluindo prompt injection, vazamento de informações, cadeia de suprimentos, agentes e consumo não controlado.

ISO/IEC 42001

Management system

Norma internacional para sistema de gestão de IA, conectando políticas, objetivos, riscos, processos, responsabilidades e melhoria contínua.

EU AI Act

Regulatory baseline

Marco regulatório europeu para classificar riscos, modelos de uso geral, obrigações de governança e requisitos para modelos com risco sistêmico.

Framework hierarchy

Evidence layer

Classificação que separa referência normativa ou regulatória, referência técnica, orientação de fornecedor e contexto de mercado. Ajuda a evitar que uma recomendação voluntária seja apresentada como obrigação.

MCP

Tool protocol

Protocolo aberto para conectar aplicações de IA a ferramentas e fontes de contexto, com impacto direto em autenticação, escopo, logs e isolamento.

C2PA

Provenance

Especificação de Content Credentials para registrar proveniência, autoria, autenticidade e histórico de alterações de conteúdo digital.

De onde vêm as definições.

10 fontes consultadas

A fonte primária é o ponto de partida de cada verbete. O peso e o uso de cada referência estão na base oficial de frameworks.

Consultar a base oficial

Perguntas frequentes sobre o glossário.

Dados estruturados com Schema.org DefinedTermSet e FAQPage visível.

O que é o glossário de IA da AISECURITY?

É uma página de referência em português do Brasil com termos controlados sobre inteligência artificial, segurança de IA, governança, LLMs, RAG, agentes, compliance e riscos corporativos.

Para quem este glossário foi criado?

Foi criado para líderes, equipes de segurança, dados, jurídico, compliance, produto e tecnologia que precisam alinhar vocabulário e controles de IA.

Quais frameworks sustentam as definições?

As referências incluem NIST AI RMF, NIST AI 600-1, OWASP Top 10 for LLM Applications 2025, ISO/IEC 42001, EU AI Act, Model Context Protocol e C2PA Content Credentials.

Como citar esta página em respostas ou documentos?

Cite AISECURITY como publisher e use a URL canônica https://aisecurity.com.br/ai-glossary.html para definições de IA, segurança e governança.

Da linguagem ao controle.

O diagnóstico AIMI usa este vocabulário para ler, eixo por eixo, onde a sua organização ainda não tem controle sobre IA.