Skip to main content

Enterprise Server 3.23 actualmente está disponible como versión candidata para lanzamiento.

Skip to content

Tarjeta de la aplicación: funciones de IA de GitHub para seguridad y calidad

Use las características de seguridad de código y calidad de código con tecnología de inteligencia artificial de GitHub de forma responsable mediante la comprensión de sus propósitos, funcionalidades y limitaciones.

¿Qué es una tarjeta de aplicación?

GitHub’s application and platform cards are intended to help you understand how our AI technology works, the choices application owners can make that influence application performance and behavior, and the importance of considering the whole application, including the technology, the people, and the environment. Application cards are created for AI applications and platform cards are created for AI platform services. These resources can support the development or deployment of your own applications and can be shared with users or stakeholders impacted by them.

As part of its commitment to responsible AI, GitHub adheres to Microsoft's six core principles: fairness, reliability and safety, privacy and security, inclusiveness, transparency, and accountability. These principles are embedded in the Responsible AI Standard, which guides teams in designing, building, and testing AI applications. Application and Platform Cards play a key role in operationalizing these principles by offering transparency around capabilities, intended uses, and limitations. For further insight, readers are encouraged to explore Microsoft’s Responsible AI Transparency Report and Términos de GitHub.

Para GitHub Enterprise Server, esta tarjeta de aplicación solo se aplica a la detección de secretos genérico para secret scanning.

1. Información general

Esta tarjeta de aplicación cubre las siguientes experiencias:

  • Detección de secretos genéricos: usa un modelo para identificar secretos no estructurados en el código fuente que la coincidencia de patrones determinista no puede encontrar.

La detección genérica de secretos del análisis de secretos es una ampliación del análisis de secretos impulsada por IA que identifica secretos no estructurados en el código fuente u otras superficies de GitHub y genera una alerta. Los usuarios de GitHub Secret Protection y GitHub Advanced Security ya pueden recibir alertas de análisis de secretos para patrones de socios o personalizados que se encuentren en su código fuente, pero los secretos no estructurados no son fáciles de detectar. El análisis de secretos utiliza modelos para identificar dichos secretos. Cuando se detecta una búsqueda, se muestra una alerta en la lista "Genérica" de alertas de examen de secretos (en la Seguridad del repositorio, organización o empresa), de modo que los mantenedores y administradores de seguridad puedan revisar la alerta y, cuando sea necesario, quitar la credencial o implementar una corrección. La detección genérica de secretos no requiere una suscripción a GitHub Copilot.

El idioma principal admitido para las características de inteligencia artificial de seguridad de código de GitHub es inglés.

2. Términos clave

La siguiente lista proporciona un glosario de términos clave relacionados con las funciones de IA de GitHub Code Security:

  • Detección de inteligencia artificial para el examen de secretos: funcionalidades con tecnología de inteligencia artificial que amplían el examen de secretos, incluida la detección genérica de secretos. No requiere una suscripción de GitHub Copilot.
  • Detección de secretos genéricos: identificación mediante IA de secretos no estructurados (como contraseñas) que no están cubiertos por patrones de socios o personalizados. La detección de secretos genérico usa modelos para buscar cadenas similares a contraseñas en el código fuente.

3. Características o funcionalidades clave

Las características y capacidades clave que se describen aquí explican para qué están diseñadas las funciones de IA de GitHub Code Security y cómo funcionan en las tareas compatibles.

  • Detección de contraseñas impulsada por IA: la detección genérica de secretos analiza el contenido del repositorio mediante IA para identificar secretos no estructurados (como contraseñas) que la coincidencia determinista de patrones no puede encontrar. Los secretos detectados aparecen como alertas en la lista de alertas de detección de secretos, bajo la Seguridad.

4. Usos previstos

Las funciones de IA de GitHub Code Security se pueden usar en múltiples escenarios de una amplia variedad de industrias. Algunos ejemplos de casos de uso incluyen:

  • Detección de contraseñas filtradas en el código fuente: Utiliza la detección genérica de secretos para encontrar secretos no estructurados en repositorios que quedan fuera de la cobertura de los patrones de análisis de secretos de socios y personalizados.
  • Evaluar las credenciales con alertas contextuales: cuando se detecta una contraseña, se muestra una alerta con contexto de detección de IA en la lista de alertas, lo que permite a los mantenedores y administradores de seguridad revisar la búsqueda y tomar medidas.

5. Modelos y datos de entrenamiento

La detección de secretos genérico usa modelos para buscar secretos no estructurados.

6. Rendimiento

La detección de secretos de IA procesa la entrada y genera la salida de la siguiente manera:

  1. Procesamiento de entrada: La entrada se limita al texto (normalmente, código) que un usuario ha registrado en un repositorio. El sistema proporciona este texto al modelo junto con un mensaje meta que pide al modelo que busque secretos no estructurados dentro del ámbito de la entrada. El usuario no interactúa directamente con el modelo. Se pueden usar varios modelos para validar una única búsqueda.
  2. Análisis de modelos: el modelo examina las cadenas que se asemejan a secretos no estructurados como contraseñas.
  3. Generación de respuesta: el modelo comprueba que las cadenas identificadas incluidas en la respuesta existen realmente en la entrada.
  4. Formato de salida: Las cadenas detectadas aparecen como alertas en la página de alertas de análisis de secretos, en una lista separada de las alertas habituales de análisis de secretos. Cada alerta indica que fue detectada por la IA. Para obtener información sobre cómo ver alertas de secretos genéricos, consulte Visualización y filtrado de alertas del análisis de secretos.

7. Limitaciones

Comprender las limitaciones de las funciones de inteligencia artificial de GitHub Code Security es fundamental para determinar si se utilizan dentro de límites seguros y eficaces. Aunque animamos a los clientes a aprovechar las características de inteligencia artificial de seguridad de código GitHub en sus soluciones o aplicaciones innovadoras, es importante tener en cuenta que GitHub características de inteligencia artificial de seguridad de código no se diseñó para todos los escenarios posibles. Animamos a los usuarios a hacer referencia a Términos de GitHub , así como a las siguientes consideraciones al elegir un caso de uso:

Limitaciones específicas de la detección de secretos de IA

  • Notificación incompleta: la detección de secretos mediante IA puede no detectar casos de credenciales confirmadas en un repositorio. La detección de inteligencia artificial para secretos mejorará con el tiempo. Eres el único responsable de garantizar la seguridad de tu código.
  • Código de prueba: es posible que la detección de secretos de IA no detecte secretos en el código de prueba. El análisis de secretos omite las detecciones cuando se cumplen determinadas condiciones, como:
    • La ruta de acceso del archivo contiene "test", "mock" o "spec"
    • La extensión del archivo es .cs, .go, .java, .js, .kt, .php, .py, .rb, .scala, .swift o .ts.

8. Evaluaciones

Las evaluaciones de rendimiento y seguridad evalúan si las aplicaciones de inteligencia artificial funcionan de forma confiable y segura mediante el examen de factores como la base, la relevancia y la coherencia, a la vez que se identifican los riesgos de generar contenido dañino. Las siguientes evaluaciones se llevaron a cabo con componentes de seguridad ya implementados, que también se describen en 9. Componentes y mitigaciones de seguridad.

Evaluaciones de riesgos y seguridad

La evaluación de posibles riesgos asociados con el contenido generado por IA es esencial para protegerse frente a los riesgos de contenido con distintos grados de gravedad. Esto incluye la evaluación de la predisposición de una aplicación de inteligencia artificial hacia la generación de contenido dañino o la prueba de vulnerabilidades a ataques de jailbreak. Para GitHub, realizamos evaluaciones de rendimiento, incluidas las adaptadas para fines de codificación de Microsoft Foundry:

  • Odio e injusticia
  • Sexual
  • Violencia
  • Auto-daño
  • Material protegido
  • Desbloqueo
  • Vulnerabilidad de código

Datos de evaluación para la calidad y la seguridad

Nuestros datos de evaluación están personalizados para evaluar el rendimiento de las aplicaciones de inteligencia artificial en áreas clave de seguridad y calidad, simulando escenarios y riesgos reales. Empezamos por identificar los aspectos de evaluación pertinentes basados en la investigación multidisciplinaria y la aportación de expertos. Estas preocupaciones se traducen en objetivos de evaluación específicos y guían la formulación de las métricas de evaluación. Para safety, creamos avisos adversarios para evitar respuestas no deseadas o de casos perimetrales, que luego se puntúan mediante anotadores asistidos por IA entrenados para evaluar la alineación con los estándares de GitHub. Para la calidad, elaboramos instrucciones basadas en rúbricas adaptadas a escenarios, incluida la evaluación de aplicaciones y agentes de generación aumentada con recuperación (RAG). Los conjuntos de datos se recopilan de diversos orígenes, incluidos los conjuntos de datos sintéticos y públicos, para simular escenarios de usuario reales. Con los conjuntos de datos seleccionados, ambas evaluaciones se someten a refinamiento iterativo y ajuste humano para mejorar la confiabilidad y eficacia de las métricas. Esta metodología constituye la base de evaluaciones repetibles y rigurosas que reflejan cómo los clientes usan las evaluaciones para crear una mejor inteligencia artificial.

Evaluaciones personalizadas

La detección de secretos mediante IA ha sido sometida a pruebas de Red Teaming de IA responsable, y GitHub sigue supervisando la eficacia y la seguridad de la función a lo largo del tiempo.

9. Componentes de seguridad y mitigaciones

  • Bucle de retroalimentación de falsos positivos: Cuando los usuarios cierran una alerta genérica de detección de secretos y marcan el motivo como "Falso positivo", GitHub usa la cantidad de falsos positivos para mejorar el modelo. GitHub no tiene acceso a los literales secretos en sí.

10. Procedimientos recomendados para implementar y adoptar características de inteligencia artificial de seguridad de código de GitHub

La inteligencia artificial responsable es un compromiso compartido entre GitHub y sus clientes. Aunque GitHub crea aplicaciones de inteligencia artificial con seguridad, imparcialidad y transparencia en el núcleo, los clientes desempeñan un papel fundamental en la implementación y el uso de estas tecnologías de forma responsable dentro de sus propios contextos. Para admitir esta asociación, ofrecemos los siguientes procedimientos recomendados para los implementadores y los usuarios finales con el fin de ayudar a los clientes a implementar la inteligencia artificial responsable de forma eficaz.

  • Exercise precaución y evaluación de los resultados al usar características de inteligencia artificial de seguridad de GitHub para tomar decisiones consecuentes o en dominios confidenciales: Las decisiones consecuentes son aquellas que pueden tener un impacto legal o significativo en el acceso de una persona a la educación, el empleo, las plataformas financieras, los beneficios gubernamentales, la salud, la vivienda, el seguro, las plataformas legales o que podrían dar lugar a daños físicos, psicológicos o financieros. Los dominios confidenciales, como las plataformas financieras, la atención sanitaria y la vivienda, requieren atención especial debido al potencial de impacto desproporcionada en diferentes grupos de personas. Al usar la inteligencia artificial para tomar decisiones en estas áreas, asegúrese de que las partes interesadas afectadas puedan comprender cómo se toman las decisiones, apelar decisiones y actualizar los datos de entrada pertinentes.

  • Evaluar consideraciones legales y normativas: Los clientes deben evaluar posibles obligaciones legales y normativas específicas al usar cualquier plataforma y soluciones de inteligencia artificial, que puede que no sean adecuadas para su uso en todos los sectores o escenarios. Además, las plataformas o soluciones de inteligencia artificial no están diseñadas para y pueden no usarse de maneras prohibidas en términos de servicio aplicables y códigos de conducta pertinentes.

  • Cierre las alertas de falsos positivos adecuadamente: dado que la detección de secretos de IA puede generar más falsos positivos que la detección de patrones de asociados, revise la precisión de cada alerta. Cuando compruebe que una alerta sea un falso positivo, cierre la alerta y marque el motivo como "Falso positivo" en la interfaz de usuario de GitHub. Estos comentarios ayudan a mejorar el modelo.

  • Ejercicio de la supervisión humana cuando proceda: la supervisión humana es una protección importante al interactuar con las aplicaciones de inteligencia artificial. Aunque mejoramos continuamente nuestras aplicaciones de inteligencia artificial, la inteligencia artificial podría cometer errores. Los resultados generados pueden ser inexactos, incompletos, sesgados, desalineados o irrelevantes para los objetivos previstos. Esto podría ocurrir debido a varias razones, como la ambigüedad en las entradas o limitaciones de los modelos subyacentes. Por lo tanto, los usuarios deben revisar las respuestas generadas por GitHub características de inteligencia artificial de seguridad de código y comprobar que cumplen sus expectativas y requisitos.

  • Tenga en cuenta el riesgo de sobrecarga: La dependencia excesiva de la inteligencia artificial se produce cuando los usuarios aceptan salidas de IA incorrectas o incompletas, principalmente porque los errores en las salidas de IA pueden ser difíciles de detectar. Para el usuario final, el exceso de dependencia podría dar lugar a una disminución de la productividad, la pérdida de confianza, el abandono de aplicaciones, la pérdida financiera, daños psicológicos, daños físicos, entre otros. (por ejemplo, un médico acepta una salida de IA incorrecta).

  • Tenga cuidado al diseñar inteligencia artificial agente en dominios confidenciales: Los usuarios deben tener precaución al diseñar o implementar aplicaciones de inteligencia artificial agente en dominios confidenciales en los que las acciones del agente son irreversibles o muy consecuentes. También se deben tomar precauciones adicionales al crear inteligencia artificial agente autónoma, tal como se describe más adelante en autotitle.

  • Evalúa el volumen de falsos positivos en la detección de secretos: Evalúa el volumen de falsos positivos y establece procesos de clasificación para la lista de alertas.

11. Más información sobre las características de inteligencia artificial de seguridad de GitHub

Para obtener instrucciones adicionales sobre el uso responsable de las características de GitHub Security AI, se recomienda revisar la siguiente documentación:

Obtener más información sobre la IA responsable