Skip to main content

Enterprise Server 3.23 est actuellement disponible en tant que version candidate.

Skip to content

Carte de l’application : fonctionnalités d’IA GitHub pour la sécurité et la qualité

Utilisez les fonctionnalités de sécurité et de qualité du code basées sur l'IA de GitHub de manière responsable en comprenant leurs objectifs, leurs fonctionnalités et leurs limitations.

Qu’est-ce qu’une carte de demande ?

GitHub’s application and platform cards are intended to help you understand how our AI technology works, the choices application owners can make that influence application performance and behavior, and the importance of considering the whole application, including the technology, the people, and the environment. Application cards are created for AI applications and platform cards are created for AI platform services. These resources can support the development or deployment of your own applications and can be shared with users or stakeholders impacted by them.

As part of its commitment to responsible AI, GitHub adheres to Microsoft's six core principles: fairness, reliability and safety, privacy and security, inclusiveness, transparency, and accountability. These principles are embedded in the Responsible AI Standard, which guides teams in designing, building, and testing AI applications. Application and Platform Cards play a key role in operationalizing these principles by offering transparency around capabilities, intended uses, and limitations. For further insight, readers are encouraged to explore Microsoft’s Responsible AI Transparency Report and Conditions GitHub.

Pour GitHub Enterprise Server, cette fiche d’application s’applique uniquement à la détection générique des secrets pour secret scanning.

1. Vue d’ensemble

Cette carte d’application couvre les expériences suivantes :

  • Détection de secrets génériques : utilise un modèle pour identifier les secrets non structurés dans le code source que la correspondance de modèle déterministe ne peut pas trouver.

La détection générique des secrets de l'analyse des secrets est une extension basée sur l'IA qui identifie les secrets non structurés dans le code source ou sur d'autres surfaces GitHub et génère une alerte. Les utilisateurs de GitHub Secret Protection et de GitHub Advanced Security peuvent déjà recevoir des alertes d’analyse des secrets pour les motifs partenaires ou personnalisés détectés dans leur code source, mais les secrets non structurés ne sont pas faciles à détecter. L’analyse des secrets utilise des modèles pour identifier ces secrets. Lorsqu’une recherche est détectée, une alerte s’affiche dans la liste « Générique » des alertes d’analyse des secrets (sous l’onglet et qualité du référentiel, de l’organisation ou de l’entreprise), afin que les responsables de la maintenance et de sécurité puissent examiner l’alerte et, le cas échéant, supprimer les informations d’identification ou implémenter un correctif. La détection de secrets génériques ne nécessite pas d’abonnement GitHub Copilot.

La langue principale prise en charge pour les fonctionnalités d’IA de sécurité du code GitHub est l’anglais.

2. Termes clés

La liste suivante fournit un glossaire des termes clés liés aux fonctionnalités d’IA de sécurité du code GitHub :

  • Détection par IA pour l’analyse des secrets : fonctionnalités basées sur l’IA qui étendent l’analyse des secrets, y compris la détection de secrets génériques. Ne nécessite pas d’abonnement GitHub Copilot.
  • Détection de secrets génériques : identification ia de secrets non structurés (tels que les mots de passe) qui ne sont pas couverts par des modèles partenaires ou personnalisés. La détection de secret générique utilise des modèles pour rechercher des chaînes de type mot de passe dans le code source.

3. Fonctionnalités clés

Les principales fonctionnalités et capacités présentées ici décrivent ce que les fonctionnalités d’IA de GitHub Code Security sont conçues pour faire et comment elles fonctionnent dans le cadre des tâches prises en charge.

  • Détection des mots de passe basée sur l'IA : la détection générique des secrets de l'analyse des secrets analyse le contenu des dépôts à l'aide de l'IA pour identifier les secrets non structurés (comme les mots de passe) que les modèles déterministes ne peuvent pas détecter. Les secrets détectés sont exposés sous forme d’alertes dans la liste des alertes d’analyse des secrets sous l’onglet la qualité.

4. Utilisations prévues

GitHub fonctionnalités d’IA de sécurité du code peuvent être utilisées dans plusieurs scénarios dans divers secteurs d’activité. Voici quelques exemples de cas d’usage :

  • Détecter les mots de passe divulgués dans le code source : utilisez la détection générique des secrets pour rechercher des secrets non structurés dans les dépôts qui n’entrent pas dans le champ de détection des modèles d’analyse des secrets partenaires et personnalisés.
  • Triage des informations d’identification avec des alertes contextuelles : lorsqu’un mot de passe est détecté, une alerte avec le contexte de détection d’IA s’affiche dans la liste des alertes, ce qui permet aux responsables de la maintenance et de la sécurité de passer en revue la recherche et de prendre des mesures.

5. Modèles et données d’entraînement

La détection de secrets génériques utilise des modèles pour rechercher des secrets non structurés.

6. Performances

La détection des secrets IA traite l’entrée et produit une sortie comme suit :

  1. Traitement d’entrée : l’entrée est limitée au texte (généralement au code) qu’un utilisateur a archivé dans un référentiel. Le système fournit ce texte au modèle ainsi qu’une invite meta demandant au modèle de trouver des secrets non structurés dans l’étendue de l’entrée. L’utilisateur n’interagit pas directement avec le modèle. Plusieurs modèles peuvent être utilisés pour valider une seule recherche.
  2. Analyse du modèle : le modèle analyse les chaînes qui ressemblent à des secrets non structurés comme des mots de passe.
  3. Génération de réponse : le modèle vérifie que les chaînes identifiées incluses dans la réponse existent réellement dans l’entrée.
  4. Mise en forme des sorties : les chaînes détectées sont présentées sous forme d'alertes sur la page des alertes d'analyse des secrets, dans une liste distincte de celle des alertes classiques. Chaque alerte note qu’elle a été détectée par l’IA. Pour plus d’informations sur la façon d’afficher les alertes pour les secrets génériques, consultez Affichage et filtrage des alertes à partir de l’analyse des secrets.

7. Limites

Comprendre les limites des fonctionnalités d’IA de GitHub Code Security est essentiel pour déterminer si elles sont utilisées dans des conditions sûres et efficaces. Même si nous encourageons les clients à tirer parti de GitHub fonctionnalités IA de sécurité du code dans leurs solutions ou applications innovantes, il est important de noter que GitHub fonctionnalités d'IA de sécurité du code n'a pas été conçue pour chaque scénario possible. Nous encourageons les utilisateurs à faire référence à Conditions GitHub ainsi que les considérations suivantes lors du choix d’un cas d’usage :

Limites spécifiques à la détection de secrets par l’IA

  • Couverture incomplète : la détection des secrets par IA peut ne pas repérer toutes les informations d'identification enregistrées dans un dépôt. La détection des secrets par l’IA s’améliorera avec le temps. Vous avez la responsabilité ultime d’assurer la sécurité de votre code.
  • Code de test : la détection des secrets par l’IA peut ne pas détecter les secrets dans le code de test. L’analyse des secrets ignore certaines détections lorsque certaines conditions sont remplies, notamment dans les cas suivants :
    • Le chemin d’accès au fichier contient « test », « mock » ou « spec »
    • L’extension de fichier est .cs, .go, .java, .js, .kt, .php, .py, .rb, .scala, .swift, ou .ts.

8. Évaluations

Les évaluations des performances et de la sécurité évaluent si les applications IA fonctionnent de manière fiable et sécurisée en examinant des facteurs tels que la base, la pertinence et la cohérence, tout en identifiant les risques liés à la génération de contenu nuisible. Les évaluations suivantes ont été effectuées avec des composants de sécurité déjà en place, qui sont également décrits dans 9. Composants de sécurité et atténuations.

Évaluations des risques et de la sécurité

L’évaluation des risques potentiels associés au contenu généré par l’IA est essentielle pour la protection contre les risques de contenu avec différents degrés de gravité. Cela inclut l’évaluation de la prédisposition d’une application IA à générer du contenu dangereux ou le test des vulnérabilités pour les attaques jailbreak. Pour GitHub, nous effectuons des évaluations de performances, y compris celles qui sont adaptées à des fins de codage provenant de Microsoft Foundry :

  • Haine et iniquité
  • Sexuelle
  • Violence
  • Auto-préjudice
  • Matériel protégé
  • Déverrouillage
  • Vulnérabilité du code

Données d’évaluation pour la qualité et la sécurité

Nos données d’évaluation sont personnalisées pour évaluer les performances des applications IA dans des domaines clés de sécurité et de qualité, en simulant des scénarios et des risques réels. Nous commençons par identifier les aspects pertinents de l’évaluation des préoccupations en fonction de la recherche multidisciplinaire et des commentaires d’experts. Ces préoccupations sont traduites en objectifs d’évaluation ciblés et guident la formulation des mesures d’évaluation. Pour safety, nous créons des prompts antagonistes pour susciter des réponses indésirables ou des réponses dans des cas limites, qui sont ensuite évalués par des annotateurs assistés par l’IA, entraînés à évaluer la conformité aux normes de GitHub. Pour la qualité, nous élaborons des prompts fondés sur des grilles d’évaluation, adaptés à des scénarios tels que l’évaluation d’applications et d’agents de génération augmentée par récupération (RAG). Les jeux de données sont organisés à partir de diverses sources, notamment des jeux de données synthétiques et publics pour simuler des scénarios utilisateur réels. À l’aide des jeux de données organisés, les deux évaluations subissent un affinement itératif et l’alignement humain pour améliorer l’efficacité et la fiabilité des métriques. Cette méthodologie constitue la base d’évaluations reproductibles et rigoureuses qui reflètent la façon dont les clients utilisent des évaluations pour améliorer l’IA.

Évaluations personnalisées

La détection des secrets par IA a fait l'objet d'exercices de Red Teaming dans le cadre de l'IA responsable, et GitHub continue de surveiller l'efficacité et la sécurité de cette fonctionnalité au fil du temps.

9. Composants de sécurité et atténuations

  • Boucle de rétroaction sur les faux positifs : lorsque les utilisateurs ferment une alerte de détection générique des secrets et indiquent « Faux positif » comme motif, GitHub utilise le volume de faux positifs pour améliorer le modèle. GitHub n’a pas accès aux littéraux secrets eux-mêmes.

10. Meilleures pratiques pour le déploiement et l’adoption de fonctionnalités d’IA de sécurité du code GitHub

L’IA responsable est un engagement partagé entre GitHub et ses clients. Bien que GitHub crée des applications IA avec sécurité, équité et transparence au cœur, les clients jouent un rôle essentiel dans le déploiement et l’utilisation de ces technologies de manière responsable dans leurs propres contextes. Pour prendre en charge ce partenariat, nous proposons les meilleures pratiques suivantes pour les déploiements et les utilisateurs finaux afin d’aider les clients à implémenter efficacement une IA responsable.

  • Exercise la prudence et évalue les résultats lors de l’utilisation de fonctionnalités d’IA de sécurité GitHub pour des décisions consécutives ou dans des domaines sensibles : Les décisions consécutives sont celles qui peuvent avoir un impact juridique ou significatif sur l’accès à l’éducation, à l’emploi, aux plateformes financières, aux prestations gouvernementales, aux soins de santé, au logement, à l’assurance, aux plateformes juridiques ou qui pourraient entraîner des dommages physiques, psychologiques ou financiers. Les domaines sensibles, tels que les plateformes financières, les soins de santé et le logement, nécessitent des soins particuliers en raison du risque d’impact disproportionné sur différents groupes de personnes. Lorsque vous utilisez l’IA pour prendre des décisions dans ces domaines, assurez-vous que les parties prenantes concernées peuvent comprendre comment les décisions sont prises, faire appel des décisions et mettre à jour les données d’entrée pertinentes.

  • Évaluez les considérations légales et réglementaires : Les clients doivent évaluer des obligations légales et réglementaires spécifiques potentielles lors de l’utilisation de toutes les plateformes et solutions IA, ce qui peut ne pas convenir à une utilisation dans chaque secteur ou scénario. En outre, les plateformes ou solutions IA ne sont pas conçues pour et peuvent ne pas être utilisées de manière interdite en termes de service applicables et les codes de conduite pertinents.

  • Fermez les alertes de faux positifs de manière appropriée : étant donné que la détection de secrets IA peut générer plus de faux positifs que la détection de modèle partenaire, passez en revue la précision de chaque alerte. Lorsque vous vérifiez qu’une alerte est un faux positif, fermez l’alerte et marquez la raison comme « Faux positif » dans l’interface utilisateur GitHub. Ces commentaires permettent d’améliorer le modèle.

  • Exercer une surveillance humaine le cas échéant : la surveillance humaine est une protection importante lors de l’interaction avec les applications IA. Bien que nous améliorions continuellement nos applications IA, l’IA peut encore faire des erreurs. Les sorties générées peuvent être inexactes, incomplètes, biaisées, mal alignées ou non pertinentes par rapport à vos objectifs prévus. Cela peut se produire pour diverses raisons, telles que l’ambiguïté dans les entrées ou les limitations des modèles sous-jacents. Par conséquent, les utilisateurs doivent passer en revue les réponses générées par GitHub fonctionnalités IA de sécurité du code et vérifier qu’elles correspondent à leurs attentes et exigences.

  • Tenez compte du risque de sur-dépendance : La dépendance sur l’IA se produit lorsque les utilisateurs acceptent des sorties IA incorrectes ou incomplètes, principalement parce que les erreurs dans les sorties IA peuvent être difficiles à détecter. Pour l’utilisateur final, une dépendance excessive peut entraîner une baisse de productivité, une perte de confiance, un abandon de l’application, une perte financière, des dommages psychologiques, des dommages physiques, entre autres. (par exemple, un médecin accepte un résultat erroné généré par l’IA).

  • Soyez prudent lors de la conception de l’IA agentique dans des domaines sensibles : Les utilisateurs doivent faire preuve de prudence lors de la conception et/ou du déploiement d’applications IA agentiques dans des domaines sensibles où les actions de l’agent sont irréversibles ou hautement indirectes. Des précautions supplémentaires doivent également être prises lors de la création de l’IA agentique autonome, comme décrit plus loin dans Conditions GitHub.

  • Évaluez le volume de faux positifs de la détection des secrets : évaluez le volume de faux positifs et mettez en place des processus de triage pour la liste des alertes.

11. En savoir plus sur les fonctionnalités d’IA de sécurité GitHub

Pour obtenir des conseils supplémentaires sur l’utilisation responsable des fonctionnalités d’IA de sécurité GitHub, nous vous recommandons de consulter la documentation suivante :

En savoir plus sur l’IA responsable