Se uma ação foi negada por falta de autorização, trocar de ferramenta não deve torná-la permitida. Esse é um ponto a conferir quando uma empresa conecta agentes de IA aos seus sistemas.
Transcrição do motion
A recusa de um modelo encerra o que o agente está tentando fazer? Uma investigação da Straiker descreveu um fluxo que recorria a código local quando os modelos recusavam solicitações ofensivas. Na empresa, a permissão precisa valer em todos os caminhos. Imagine uma exportação de clientes que exige aprovação. Este exemplo é fictício. Sem aprovação, a exportação é bloqueada. Enviar os mesmos dados por email também precisa respeitar essa regra. A autorização deve ser conferida pela integração que executa a ação. Registre a tentativa, a decisão e o resultado. Teste os caminhos em ambiente autorizado, incluindo o uso permitido. Continue a leitura no Radar FSTech.
Leitores do Radar
Nem todo mundo quer mais conteúdo sobre IA.
Algumas pessoas querem critério.
... leitores já acessaram esta edição do Radar FSTech para separar sinal de ruído no universo da inteligência artificial.
Se você é uma delas, assine o Radar ou compartilhe com alguém que também deveria estar aqui.
Sinal principal
Em 21 de outubro, a Straiker publicou uma investigação sobre o CARLIY0S, sistema atribuído ao grupo CyberCartel. O relatório descreve modelos com funções diferentes e um caminho que recorria a código local quando modelos recusavam solicitações ofensivas. Relatório público da Straiker.
É um relato do fornecedor que investigou o caso. As configurações apresentadas não demonstram que todos os modelos citados executaram tarefas com sucesso. Também não permitem tratar cada organização visada como invasão confirmada.
A Anthropic descreveu, em setembro, outras operações que usavam estruturas de agentes para coordenar atividades, com pessoas ainda definindo alvos e revisando resultados. São casos distintos. O ponto em comum é a coordenação de atividades por agentes. Relatório da Anthropic.
O mecanismo
Nossa leitura: a recusa de um modelo pode interromper aquela chamada sem encerrar o fluxo ao redor dele. Um programa pode tentar outro modelo, outra integração ou uma rotina já escrita.
Um serviço indisponível pode acionar uma alternativa previamente autorizada. Uma ação negada por falta de permissão precisa continuar negada quando o caminho muda.
A OWASP recomenda aplicar autorização nos sistemas conectados, em vez de confiar ao modelo a decisão sobre o que é permitido. Também orienta limitar os acessos e executar ações no contexto de quem as solicitou. Orientações sobre autonomia excessiva.
O que muda na prática
Considere um exemplo fictício: um agente prepara uma lista de clientes para exportação. A regra da empresa exige aprovação para enviar esses dados a um destino externo.
Sem essa aprovação, a ferramenta de exportação nega a operação. Se o fluxo tentar enviar a mesma lista por email ou por outra integração, a exigência permanece. O caminho alternativo precisa conferir a autorização para aquela ação e aquele destino.
Neste exemplo de aplicação da Ontologia Operacional, os dados identificam a solicitação, o conjunto de informações, o solicitante e o destino. A regra define quem pode aprovar a saída. A ação respeita essa decisão e registra o resultado, inclusive quando é negada.
Essa organização ajuda a especificar o controle. A verificação precisa existir nas integrações que efetivamente movimentam os dados. Um registro de negativa no chat, sozinho, não comprova que a saída foi impedida.
Ação recomendada
Escolha uma ação sensível de um agente que sua empresa já utiliza. Identifique os caminhos pelos quais ela pode ser executada e peça à equipe um teste em ambiente autorizado: negar a permissão e conferir se as alternativas mantêm o bloqueio.
Registre a identidade usada, a ação solicitada, a decisão de autorização e o resultado de execução. Faça também o teste com a aprovação válida, para verificar se a rotina permitida continua funcionando.
O resultado vale para o escopo examinado. Não certifica toda a aplicação nem demonstra que o incidente relatado seria impedido por esse controle isolado.
Se sua empresa está conectando IA a uma rotina, converse com a FSTech sobre a implantação desse processo.
