GitHub Copilot 앱에 LLM 모델 추가하기

GitHub Copilot app를 구성하여 GitHub에서 제공하는 모델 외에도 BYOK(Bring Your Own Key)를 사용해 원하는 LLM 공급자의 모델을 포함할 수 있습니다. 앱 설정에서 앱을 처음 열 때 또는 나중에 모델 공급자를 설정할 수 있습니다.

NVIDIA GPU 및 충분한 메모리가 있는 Windows 사용자는 Flint NVFP4 내에서 직접 자신의 디바이스에 GitHub Copilot app 및 MAI Code 1.1 Flash 모델을 로컬로 설치할 수 있습니다.

앱을 사용하려면 계정으로 GitHub 로그인해야 하지만 사용자 고유의 모델 공급자를 Copilot 사용하는 경우에는 계획이 필요하지 않습니다. Copilot 요금제가 있는 경우 고유한 모델 공급자의 모델과 GitHub에서 제공하는 모델을 동일한 앱에서 사용할 수 있습니다.

BYOK를 사용하여 모델 추가

BYOK 메서드를 사용하여 모델을 GitHub Copilot app에 추가할 수 있습니다.

지원되는 공급자

GitHub Copilot app는 이러한 BYOK 모델 공급자를 지원합니다.

• OpenAI
• Azure OpenAI
• Microsoft 파운드리
• Anthropic
• Ollama
• 파운드리 로컬
• LM Studio
• OpenAI와 호환되는 모든 HTTP 엔드포인트

전제 조건

인증이 필요한 모델 공급자를 추가하려면 API 키가 있어야 합니다.

모델 공급자 설정

처음으로 앱을 설정하고 Copilot 요금제가 없는 경우, 온보딩 중에 자체 모델 제공업체를 설정하도록 선택할 수 있습니다.

나중에 모델 공급자를 추가하거나 업데이트하려면 다음을 수행합니다.

1. 설정 대화 상자를 열려면 클릭합니다 .
2. 사이드바에서 모델 제공업체를 클릭합니다.
3. 공급자 추가를 클릭합니다.
4. 공급자를 선택합니다.
5. 공급자 세부 정보를 입력합니다. 공급자에 따라 다르지만 표시 이름, 기본 URL 및 API 키가 포함될 수 있습니다.
6. 공급자 추가를 클릭하여 공급자를 저장합니다.

공급자를 추가하면 해당 공급자의 모델이 GitHub에서 호스팅되는 모델과 함께 모델 선택기에 표시됩니다. 모델을 선택하고 세션에서 사용할 수 있습니다. 자세한 내용은 GitHub Copilot 앱에서 에이전트 세션 사용하기을(를) 참조하세요.

공급자 자격 증명은 시스템 자격 증명 저장소에 저장되며 UI에 표시되지 않습니다.

모델 선택기에서 로컬 모델 설치

Windows를 사용하고 컴퓨터가 다음 필수 조건을 충족하는 경우 앱 설정 내에서 디바이스에 로컬로 다음 모델을 다운로드하여 설치할 수 있습니다.

• MAI Code 1.1 Flash
• Flint NVFP4

Prerequisites

필요한 것은 다음과 같습니다.

• Windows PC 한 대

• NVIDIA GPU(AMD는 지원되지 않음)

• 모델당 사용 가능한 최소 결합 RAM:

  • MAI Code 1.1 Flash:  96GB
  • Flint NVFP4:  48GB

• 모델당 사용 가능한 최소 스토리지:

  • MAI Code 1.1 Flash:  60GB
  • Flint NVFP4:  23GB

• llama.cpp v0.7.0 이상이 설치되어 있고 LLAMACPP_SERVER_PATH가 해당 경로로 설정되어 있어야 합니다. 필수 빌드 버전:

  • MAI Code 1.1 Flash: b11669 이상

  • Flint NVFP4: b11803 이상

Windows llama.cpp 설치를 참조하세요.

로컬 사용 MAI Code 1.1 Flash 의 이점

MAI Code 1.1 Flash는 Windows PC에서 로컬로 실행할 수 있는 코딩 최적화 모델입니다. 로컬로 실행되는 모델을 사용하면 Copilot를 오프라인으로 사용할 수 있고 GitHub AI Credits를 소비하지 않을 수 있습니다.

MAI Code 1.1 Flash를 설치한 후 다른 모델과 마찬가지로 모델 선택기에서 선택할 수 있습니다. 모델도 Fusion Standard의 Copilot Fusion 노력 수준에서 사용할 수 있게 됩니다. 모델 선택을 Fusion Standard와 함께 Copilot Fusion(으)로 설정하면, 적절한 작업을 처리하도록 MAI Code 1.1 Flash가 자동으로 선택되며, 더 많은 리소스 또는 더 높은 성능이 필요한 작업은 클라우드 기반 모델에 맡기게 됩니다.

Windows llama.cpp 설치

CUDA 빌드를 사용하여 Windows llama.cpp 설치하려면 다음을 수행합니다.

1. 브라우저에서 llama.cpp 리포지토리의 릴리스 페이지로 이동하세요: https://github.com/ggml-org/llama.cpp/releases.

2. 설치하려는 릴리스(예: b11803)를 선택합니다.

3. 링크를 클릭하여 Windows CUDA 13.4 ARM64 빌드에 대한 두 파일을 모두 다운로드합니다.

   • Windows arm64(CUDA 13)
   • CUDA 13.4 DLL들

4. 명령 프롬프트를 열고 설치 폴더를 만듭니다.

   Shell

   mkdir "%LOCALAPPDATA%\Programs\llama.cpp\BUILD-cuda-13.4-arm64"
   

   빌드 번호를를 교체하는 것 BUILD—예를 들어, b11803.

5. 두 ZIP 파일의 모든 파일을 이 폴더로 직접 추출하십시오. 파일 탐색기에서 모두 추출을 사용하는 경우 기본적으로 파일 탐색기에서 각 ZIP 파일에 대해 별도의 하위 폴더를 만들기 때문에 대상을 이 폴더로 변경하세요. 완료되면 폴더에는 하위 폴더 없이 cudart64_13.dll, cublas64_13.dll, cublasLt64_13.dll 및 llama-server.exe를 포함한 많은 수의 파일이 들어 있어야 합니다.

6. 환경 변수를 LLAMACPP_SERVER_PATH 설정합니다.

   Shell

   setx LLAMACPP_SERVER_PATH "%LOCALAPPDATA%\Programs\llama.cpp\BUILD-cuda-13.4-arm64\llama-server.exe"
   

BUILD 그 그 빌드 번호를 바꾸기.

1. 명령 프롬프트를 닫고 새 명령 프롬프트 창을 엽니다. Copilot app 또는 VS Code이 이미 열려 있으면 다시 시작합니다. Copilot CLI가 실행 중이면 종료하고 새 터미널 창에서 다시 시작합니다.

2. 설치 상태를 확인하려면 다음을 실행하세요:

   Shell

   "%LLAMACPP_SERVER_PATH%" --list-devices
   

Copilot app 내에서 로컬 모델 설치

1. 설정 대화 상자를 열려면 클릭합니다 .

2. 사이드바에서 모델 공급자를 클릭합니다.

3. 공급자 추가를 클릭합니다.

4. Windows ML을 선택합니다.

   로컬 컴퓨터가 필수 조건을 충족하는 경우 지원되는 로컬 모델이 "사용 가능한 모델" 아래에 나열됩니다.

5. 설치하려는 모델에 대한 다운로드 를 클릭합니다.

6. 사용할 최대 시스템 메모리 % 슬라이더를 사용하여 Windows ML 모델에서 사용할 수 있는 시스템 메모리의 양을 제한합니다.

7. 앱이 Copilot app 다시 시작될 때 다운로드한 Windows ML 모델을 자동으로 다시 시작하려면 앱 다시 시작 시 모델 다시 시작을 켭니다.

8. 필요에 따라 모델별 설정을 변경합니다.

다운로드한 로컬 모델 사용

다운로드가 완료되면 로컬 모델을 세션에서 사용할 수 있습니다.

다음 중 하나를 수행할 수 있습니다.

• 다른 사용 가능한 모델과 마찬가지로 모델 선택기에서 선택합니다. Copilot app에서 모델 선택하기을(를) 참조하세요.
• **MAI Code 1.1 Flash only:**Fusion Standard, then Copilot Fusion 노력 수준을 모델 선택기에서 선택한 다음, Copilot 적절한 경우 이 모델을 자동으로 사용합니다.
• 집중 작업을 위해 custom agent에 할당합니다. 그런 다음, 기본 세션을 클라우드의 다른 모델에 유지하면서 작업의 일부에 해당 사용자 지정 에이전트를 사용하라고 Copilot에 프롬프트할 수 있습니다. 사용자 지정 에이전트 만들기 및 사용 GitHub Copilot CLI을(를) 참조하세요.