Nota:
AI applications scanning está actualmente en versión preliminar pública y sujeto a cambios.
¿Qué es AI applications scanning?
AI applications scanning es un detector que detecta riesgos de seguridad específicos de las aplicaciones y agentes de inteligencia artificial. Detecta lo siguiente:
- Inyección indirecta de instrucciones: Cuando las instrucciones malintencionadas insertadas en contenido externo, como documentos, sitios web o respuestas de API, pueden influir en el comportamiento de un modelo.
- Divulgación de información confidencial: Cuando una aplicación de inteligencia artificial puede exponer información confidencial, como credenciales, datos personales o datos empresariales confidenciales.
- Capacidad de acción excesiva: Cuando una aplicación o agente de IA tiene una funcionalidad, permisos o autonomía excesivos que podrían permitirle realizar acciones no deseadas o perjudiciales.
Este detector es independiente del análisis de código basado en CodeQL y de AI Scan para las solicitudes de incorporación de cambios, el otro detector de GitHub de análisis de código basado en IA en las solicitudes de incorporación de cambios. AI Scan para pull requests se centra en las vulnerabilidades de seguridad del código tradicionales, mientras que AI applications scanning se centra en vulnerabilidades específicas de las aplicaciones y agentes de IA, como la inyección de prompts y la autonomía excesiva. Si su organización crea aplicaciones o agentes de inteligencia artificial, evalúe ambos. Para obtener más información sobre AI Scan para las pull requests, consulte Análisis de IA para solicitudes de incorporación de cambios.
Cómo funciona
AI applications scanning usa un enfoque de detección basado en LLM en lugar de CodeQL. Dado que no se basa en el análisis estático creado para lenguajes concretos, no tiene limitaciones de lenguaje ni framework.
El detector analiza las pull requests para patrones de código y flujos de datos que pueden exponer aplicaciones de inteligencia artificial a la inyección indirecta de prompts, la divulgación de información confidencial o una autonomía excesiva.
Los análisis se ejecutan cuando se crea una pull request y después de cada confirmación nueva.
Cómo aparecen los hallazgos en las pull requests
Los resultados de AI applications scanning aparecen como comentarios de pull request, de la misma manera que lo hacen otros resultados de análisis de código. Cada resultado incluye:
- La misma etiqueta de "IA" y el control de respuesta con pulgar arriba o abajo que los hallazgos de AI Scan for pull requests
- Un botón para cerrar
Al igual que con AI Scan, estos hallazgos son orientativos. No bloquean que se fusione una pull request.
Copilot Autofix Las sugerencias se generan automáticamente para los hallazgos de este detector. Este comportamiento es independiente de la configuración de Corrección automática de Code Scanning, que controla Copilot Autofix para los resultados de CodeQL.
Cobertura de detección
Durante versión preliminar pública, AI applications scanning solo detecta vulnerabilidades indirectas de inyección de prompts (XPIA) en agentes de IA.
Este detector solo cubre las pull requests. No examina el repositorio completo ni el backlog existente para los riesgos de la aplicación de IA.
Al igual que con el examen de IA para las solicitudes de incorporación de cambios, este detector no se ejecuta en las solicitudes de incorporación de cambios desde bifurcaciones ni en las solicitudes de incorporación de cambios creadas por Dependabot, y sus hallazgos no se pueden usar en conjuntos de reglas para aplicar los requisitos de combinación.
Cómo habilitar AI applications scanning
AI applications scanning está desactivado de forma predeterminada en el nivel de empresa, organización y repositorio.
- Empresa: la habilitación se controla mediante la directiva empresarial compartida de AI Scan. Los propietarios de la empresa pueden permitir que las organizaciones habiliten las características de análisis de código con tecnología de inteligencia artificial, como AI applications scanning. Consulte Aplicación de directivas de seguridad y análisis de código de la empresa.
- Organización: los propietarios de la organización pueden habilitar Escanear aplicaciones de IA para repositorios aptos en los que se permite. Consulte Configuración de seguridad global para su organización.
- Repositorio: los administradores del repositorio pueden excluir repositorios individuales una vez que su organización lo permita.
Si su organización ya tiene habilitada la detección de IA para las solicitudes de incorporación de cambios, o si va a pasar de la versión preliminar privada de AI applications scanning, debe habilitar por separado la detección de aplicaciones de IA en el nivel de organización. Activar AI Scan para las solicitudes de extracción no habilita AI applications scanning, y también se cumple la inversa. Ambas características comparten la misma directiva de nivel empresarial, pero las organizaciones deben habilitar cada una por separado.
Facturación
El uso de AI applications scanning requiere una licencia GitHub Advanced Security y consume AI credits además de esa licencia. Los repositorios públicos aptos también se incluyen en este requisito de facturación. Para obtener más información, vea GitHub Advanced Security facturación de licencias.