Skip to main content

Enterprise Server 3.23 está disponível no momento como versão candidata a lançamento.

Skip to content

Cartão do aplicativo: recursos de IA do GitHub para segurança e qualidade

Use com responsabilidade os recursos de segurança e qualidade de código do GitHub com tecnologia de IA, entendendo suas finalidades, capacidades e limitações.

O que é um Cartão de Aplicação?

GitHub’s application and platform cards are intended to help you understand how our AI technology works, the choices application owners can make that influence application performance and behavior, and the importance of considering the whole application, including the technology, the people, and the environment. Application cards are created for AI applications and platform cards are created for AI platform services. These resources can support the development or deployment of your own applications and can be shared with users or stakeholders impacted by them.

As part of its commitment to responsible AI, GitHub adheres to Microsoft's six core principles: fairness, reliability and safety, privacy and security, inclusiveness, transparency, and accountability. These principles are embedded in the Responsible AI Standard, which guides teams in designing, building, and testing AI applications. Application and Platform Cards play a key role in operationalizing these principles by offering transparency around capabilities, intended uses, and limitations. For further insight, readers are encouraged to explore Microsoft’s Responsible AI Transparency Report and Termos do GitHub.

Para GitHub Enterprise Server, esse cartão de aplicação vale apenas para a detecção genérica de segredos para secret scanning.

1. Visão geral

Este cartão de aplicativo aborda as seguintes experiências:

  • Detecção de segredo genérico: usa um modelo para identificar segredos não estruturados no código-fonte que a correspondência determinística de padrões não pode encontrar.

A detecção genérica de segredos da verificação de segredos é uma expansão da verificação de segredos com tecnologia de IA que identifica segredos não estruturados no código-fonte ou em outras áreas do GitHub e gera um alerta. Usuários do GitHub Secret Protection e do GitHub Advanced Security já podem receber alertas de varredura de segredos para padrões de parceiros ou personalizados encontrados em seu código-fonte, mas segredos não estruturados não são facilmente identificáveis. A verificação de segredos usa modelos para identificar esses segredos. Quando algo é detectado, um alerta é exibido na lista de alertas de verificação de segredos "Genérica) (na guia Segurança do repositório, organização ou empresa), para que os mantenedores e os gerentes de segurança possam revisar o alerta e, quando necessário, remover a credencial ou implementar uma correção. A detecção de segredo genérico não requer uma assinatura de GitHub Copilot.

O principal idioma com suporte para os recursos de IA do GitHub Code Security é o inglês.

2. Termos-chave

A lista a seguir fornece um glossário dos principais termos relacionados aos recursos de IA do GitHub Code Security:

  • Detecção com IA para verificação de segredos: recursos com tecnologia de IA que ampliam a verificação de segredos, incluindo a detecção genérica de segredos. Não requer uma assinatura GitHub Copilot.
  • Detecção de segredo genérico: identificação de IA de segredos não estruturados (como senhas) que não são cobertos por padrões personalizados ou parceiros. A detecção de segredo genérico usa modelos para verificar cadeias de caracteres semelhantes a senha no código-fonte.

3. Principais funcionalidades ou capacidades

Os principais recursos e capacidades descritos aqui mostram o que os recursos de IA do GitHub Code Security foram desenvolvidos para fazer e como funcionam nas tarefas compatíveis.

  • Detecção de senhas com tecnologia de IA: a detecção genérica de segredos do Secret scanning analisa o conteúdo do repositório usando IA para identificar segredos não estruturados (como senhas) que a correspondência determinística de padrões não consegue encontrar. Os segredos detectados são exibidos como alertas na lista de alertas da análise de segredos na guia Segurança.

4. Utilizações pretendidas

Os recursos de IA do GitHub Code Security podem ser usados em diversos cenários em vários setores. Alguns exemplos de casos de utilização incluem:

  • Detectando senhas vazadas no código-fonte: use a detecção genérica de segredos para encontrar segredos não estruturados em repositórios que não são cobertos por padrões de verificação de segredos de parceiros e personalizados.
  • Triagem de credenciais com alertas contextuais: Quando uma senha é detectada, um alerta com contexto da detecção por IA é exibido na lista de alertas, permitindo que mantenedores e gerentes de segurança analisem a ocorrência e tomem as medidas necessárias.

5. Modelos e dados de preparação

A detecção de segredo genérico usa modelos para verificar se há segredos não estruturados.

6. Desempenho

A detecção de segredos por IA processa entradas e produz saídas da seguinte maneira:

  1. Processamento de entrada: a entrada é limitada a texto (normalmente código) que um usuário enviou para um repositório. O sistema fornece esse texto para o modelo, juntamente com um meta prompt solicitando que o modelo encontre segredos não estruturados no escopo da entrada. O usuário não interage diretamente com o modelo. Vários modelos podem ser usados para validar uma única descoberta.
  2. Análise de modelo: o modelo verifica cadeias de caracteres que se assemelham a segredos não estruturados, como senhas.
  3. Geração de resposta: o modelo verifica se as cadeias de caracteres identificadas incluídas na resposta realmente existem na entrada.
  4. Formatação da saída: as cadeias de caracteres detectadas são exibidas como alertas na página de alertas de verificação de segredos em uma lista separada dos alertas de verificação de segredos regulares. Cada alerta observa que ele foi detectado pela IA. Para obter informações sobre como exibir alertas para segredos genéricos, consulte Exibindo e filtrando alertas do escaneamento de segredos.

7. Limitações

Entender as limitações dos recursos de IA do GitHub Code Security é crucial para determinar se esses recursos são usados dentro de limites seguros e eficazes. Embora incentivemos os clientes a aproveitar GitHub recursos de IA de Segurança de Código em suas soluções ou aplicativos inovadores, é importante observar que GitHub recursos de IA de Segurança de Código não foram projetados para todos os cenários possíveis. Incentivamos os usuários a se referirem a Termos do GitHub , bem como às seguintes considerações ao escolher um caso de uso:

Limitações específicas da detecção de segredos com IA

  • Relatório incompleto: a detecção de segredo de IA pode perder instâncias de credenciais verificadas em um repositório. A detecção de IA para segredos melhorará ao longo do tempo. Você tem a responsabilidade final de garantir a segurança do seu código.
  • Código de teste: a detecção de segredos com IA pode não detectar segredos no código de teste. A verificação secreta ignora as detecções quando determinadas condições são atendidas, como:
    • O caminho do arquivo contém "test", "mock" ou "spec"
    • A extensão do arquivo é .cs, .go, .java, .js, .kt, .php, .py, .rb, .scala, .swift ou .ts.

8. Avaliações

As avaliações de desempenho e segurança avaliam se as aplicações de IA estão a funcionar de forma fiável e segura ao examinar fatores como a fundamentação, a relevância e a coerência, ao mesmo tempo que identificam os riscos de gerar conteúdo prejudicial. As avaliações a seguir foram realizadas com componentes de segurança já em vigor, que também são descritos em 9. Componentes de segurança e mitigações.

Avaliações de risco e segurança

A avaliação de potenciais riscos associados ao conteúdo gerado pela IA é essencial para salvaguardar os riscos de conteúdo com diferentes graus de gravidade. Isto inclui avaliar a predisposição de uma aplicação de IA para gerar conteúdo prejudicial ou testar vulnerabilidades para ataques de jailbreak. Para GitHub, realizamos avaliações de desempenho, incluindo aquelas adaptadas para fins de codificação de Microsoft Foundry:

  • Ódio e injustiça
  • Sexual
  • Violência
  • Automutilação
  • Material protegido
  • Desbloqueio
  • Vulnerabilidade de código

Dados de avaliação para qualidade e segurança

Os nossos dados de avaliação são personalizados para avaliar o desempenho da aplicação de IA em áreas-chave de segurança e qualidade, simulando cenários e riscos do mundo real. Começamos identificando aspectos de avaliação relevantes de preocupação com base em pesquisas multidisciplinares e na contribuição de especialistas. Essas questões são traduzidas em objetivos de avaliação direcionados e orientam a formulação das métricas de avaliação. Para segurança, criamos prompts adversários para elicitar respostas indesejáveis ou em casos extremos, os quais são avaliados por avaliadores assistidos por IA treinados para verificar a conformidade com os padrões do GitHub. Em qualidade, criamos prompts com base em rubricas relevantes para cenários como a avaliação de aplicações e agentes de geração aumentada por recuperação (RAG). Os conjuntos de dados são coletados de diversas fontes, incluindo conjuntos de dados sintéticos e públicos para simular cenários de usuários reais. Usando os conjuntos de dados coletados, ambas as avaliações passam por refinamento iterativo e alinhamento humano para melhorar a eficácia e a confiabilidade da métrica. Essa metodologia forma a base de avaliações repetíveis e rigorosas que refletem como os clientes usam avaliações para criar uma IA melhor.

Avaliações personalizadas

A detecção de segredos de IA foi submetida à equipe vermelha de IA responsável, e o GitHub continua a monitorar a eficácia e a segurança do recurso com o passar do tempo.

9. Componentes de segurança e mitigações

  • False positive feedback loop: Quando os usuários fecham um alerta de detecção de segredo genérico e marcam o motivo como "Falso positivo", GitHub usa o volume falso positivo para melhorar o modelo. GitHub não tem acesso aos literais secretos em si.

10. Práticas recomendadas para implantar e adotar recursos de IA do GitHub para segurança de código

A IA responsável é um compromisso compartilhado entre GitHub e seus clientes. Embora GitHub crie aplicativos de IA com segurança, imparcialidade e transparência no núcleo, os clientes desempenham um papel fundamental na implantação e no uso dessas tecnologias de forma responsável dentro de seus próprios contextos. Para apoiar esta parceria, oferecemos as seguintes melhores práticas para implementadores e utilizadores finais para ajudar os clientes a implementar a IA responsável de forma eficaz.

  • Exercise cuidado e avaliar resultados ao usar recursos de IA de Segurança GitHub para decisões conseqüentes ou em domínios confidenciais: As decisões conseqüentes são aquelas que podem ter um impacto legal ou significativo no acesso de uma pessoa à educação, emprego, plataformas financeiras, benefícios governamentais, saúde, moradia, seguro, plataformas legais, ou que podem resultar em danos físicos, psicológicos ou financeiros. Domínios confidenciais, como plataformas financeiras, saúde e moradia, exigem cuidados específicos devido ao potencial de impacto desproporcional em diferentes grupos de pessoas. Ao utilizar a IA para decisões nestas áreas, certifique-se de que os intervenientes afetados conseguem compreender como as decisões são tomadas, tomar decisões de recurso e atualizar quaisquer dados de entrada relevantes.

  • Avalie as considerações legais e regulatórias: Os clientes precisam avaliar possíveis obrigações legais e regulatórias específicas ao usar quaisquer plataformas e soluções de IA, que podem não ser apropriadas para uso em todos os setores ou cenários. Além disso, as plataformas ou soluções de IA não são projetadas e podem não ser usadas de maneiras proibidas em termos de serviço aplicáveis e códigos de conduta relevantes.

  • Fechar os alertas de falso positivo adequadamente: como a detecção de segredos de IA pode gerar mais falsos positivos do que a detecção de padrões de parceiros, revise a precisão de cada alerta. Quando você verificar que um alerta é um falso positivo, feche o alerta e marque o motivo como "Falso positivo" na interface do usuário do GitHub. Esses comentários ajudam a melhorar o modelo.

  • Exercite a supervisão humana quando apropriado: a supervisão humana é uma proteção importante ao interagir com aplicativos de IA. Embora melhoremos continuamente nossos aplicativos de IA, a IA ainda pode cometer erros. As saídas geradas podem ser imprecisas, incompletas, tendenciosas, desalinhadas ou irrelevantes para os objetivos pretendidos. Isto pode acontecer devido a várias razões, como ambiguidade nas entradas ou limitações dos modelos subjacentes. Dessa forma, os usuários devem examinar as respostas geradas por GitHub recursos de IA de Segurança de Código e verificar se correspondem às suas expectativas e requisitos.

  • Esteja ciente do risco de dependência excessiva: A dependência excessiva da IA ocorre quando os usuários aceitam saídas de IA incorretas ou incompletas, principalmente porque erros em saídas de IA podem ser difíceis de detectar. Para o utilizador final, a sobre-confiança pode resultar numa diminuição da produtividade, perda de confiança, abandono de aplicações, perda financeira, danos psicológicos, danos físicos, entre outros. (por exemplo, um médico aceita uma saída de IA incorreta).

  • Tenha cuidado ao criar IA agente em domínios confidenciais: Os usuários devem ter cuidado ao projetar e/ou implantar aplicativos de IA agente em domínios confidenciais em que as ações do agente são irreversíveis ou altamente conseqüentes. Precauções adicionais também devem ser tomadas ao criar IA agente autônoma, conforme descrito mais adiante no Termos do GitHub.

  • Avaliar o volume de falsos positivos na detecção de segredos: avalie o volume de falsos positivos e estabeleça processos de triagem para a lista de alertas.

11. Saiba mais sobre os recursos de IA do GitHub Security

Para obter orientações adicionais sobre o uso responsável de recursos de IA de segurança GitHub, recomendamos revisar a seguinte documentação:

Saiba mais sobre IA responsável