참고
컴퓨터 사용은 공개 미리 보기 상태이며 변경될 수 있습니다.
컴퓨터 사용에 대하여
Copilot 는 액세스 가능한 애플리케이션 콘텐츠 및 시각적 컨텍스트를 읽고, 컨트롤을 클릭하고, 텍스트를 입력 및 편집하고, 키를 누르고, 스크롤하고, 끌어서, 애플리케이션 간에 워크플로를 탐색하여 데스크톱 애플리케이션과 상호 작용할 수 있습니다.
컴퓨터 사용은 macOS 및 Windows의 GitHub Copilot app와 GitHub Copilot CLI에서 사용할 수 있습니다.
Copilot 는 가능한 경우 백그라운드에서 애플리케이션과 상호 작용하므로 다른 애플리케이션에서 작업을 계속할 수 있습니다.
컴퓨터 사용은 API, 명령줄 인터페이스 또는 MCP 통합을 제공하지 않는 레거시 및 GUI 전용 소프트웨어의 워크플로를 포함하여 Copilot 자동화할 수 있는 작업 범위를 확장합니다.
컴퓨터 사용은 다음과 같은 작업을 완료하는 데 도움이 될 수 있습니다.
- 레거시 데스크톱 애플리케이션에서 정보 검토 및 요약
- 프레젠테이션의 콘텐츠를 업데이트합니다.
- GUI 전용 소프트웨어에서 정보 입력 또는 업데이트하기
- 다단계 워크플로의 일부로 애플리케이션 간에 정보를 이동합니다
팁
컴퓨터 사용은 시각적 인터페이스와의 상호 작용이 필요한 작업을 위해 설계되었습니다. API, MCP 서버, 터미널 명령, 파일 시스템 도구 또는 전용 브라우저 도구가 작업을 직접 완료할 수 있는 경우 해당 도구는 일반적으로 보다 구조화된 정보와 예측 가능한 결과를 제공합니다.
Capabilities
사용하도록 설정하면 Copilot이(가) 다음을 수행할 수 있습니다:
- 운영 체제의 접근성 트리를 통해 액세스 가능한 애플리케이션 콘텐츠를 읽고, 시각적 컨텍스트가 필요한 경우 스크린샷을 통해 이를 확인합니다.
- 컨트롤을 클릭하세요.
- 텍스트를 입력하고 편집합니다.
- 키를 누르고, 스크롤하고, 항목을 끕니다.
- 애플리케이션 전반에서 워크플로를 탐색합니다.
에이전트는 프롬프트를 처리하는 동안 이러한 도구를 선택합니다. 세션에서 도구 활동을 검토할 수 있습니다.
컴퓨터 사용에 대한 액세스 제어
컴퓨터 사용은 기본적으로 비활성화되어 있습니다. 에이전트가 해당 도구를 사용하려면 먼저 사용하도록 설정해야 합니다.
컴퓨터 사용은 세션이 실행 중인 Copilot surface의 도구 권한 설정을 따릅니다. 이러한 설정은 Copilot가 데스크톱 애플리케이션을 제어하기 전에 승인 요청을 할지 여부를 결정합니다. 각 표면에 대한 도구 사용 권한 설정을 변경할 수 있습니다. 애플리케이션에 대한 액세스를 승인하라는 메시지가 표시되면 현재 세션에 대한 액세스 권한을 부여하거나, 이후 세션에 대한 승인을 저장하거나, 액세스를 거부할 수 있습니다.
특정 애플리케이션에 대해 Copilot를 선택하면 **** 에서 결정을 로컬에 저장합니다. 결정은 동일한 컴퓨터에서 GitHub Copilot app와 GitHub Copilot CLI 모두에 적용됩니다. 앱에서 항상 허용되는 애플리케이션 목록을 검토하고 개별 승인을 제거할 수 있습니다. 애플리케이션을 제거하면 앱과 CLI 모두에서 향후 세션에 대한 저장된 승인이 삭제됩니다. 실행 중인 세션에서 이미 부여된 액세스 권한은 취소하지 않습니다.
도구를 거부하도록 설정된 권한 규칙은 자동 승인이나 저장된 승인보다 우선합니다.
엔터프라이즈 관리자는 관리되는 설정을 통해 컴퓨터 사용을 비활성화할 수 있습니다. 컴퓨터 사용을 로컬로 사용하도록 설정해도 엔터프라이즈 정책이 재정의되지 않습니다. 구성 세부 정보는 엔터프라이즈 관리 설정을 참조하세요.
컴퓨터가 예기치 않게 작동하기 시작하면 활성 작업을 중단할 수 있습니다. GitHub Copilot CLI에서 Esc 키를 두 번 누릅니다. GitHub Copilot app에서 중지를 클릭하거나 Esc 키를 누릅니다.
macOS에서 컴퓨터 사용 가이드는 다음 권한을 부여하는 과정을 안내합니다.
- 애플리케이션 컨트롤과 상호 작용하기 위한 접근성 권한
- 시각적 맥락이 필요한 경우 애플리케이션 창을 확인할 수 있는 화면 녹화 권한.
제한 사항 및 위험
컴퓨터 사용 기능은 애플리케이션 버전, 운영 체제 및 창 상태 간에 변경될 수 있는 인터페이스를 해석합니다. 잘못된 컨트롤을 선택하거나, 잘못된 위치에 텍스트를 입력하거나, 비표준 또는 동적 컨트롤 및 복잡한 워크플로에 어려움을 겪을 수 있습니다. 타이밍 또는 창 상태의 변경은 다른 결과를 생성하거나, 컴퓨터가 작업을 반복 실행하게 하거나, 작업을 계속하지 못하게 할 수 있습니다.
경고
컴퓨터 사용은 데스크톱 애플리케이션 전반에서 상호 작용을 자동화할 수 있지만 보안 위험도 발생합니다. 모호한 지침 또는 화면에 표시되는 예기치 않은 콘텐츠로 인해 개인, 재무 또는 엔터프라이즈 시스템에 대한 액세스를 포함하여 디바이스, 데이터 또는 연결된 계정에 영향을 주는 의도하지 않은 작업이 발생할 수 있습니다. 컴퓨터 사용은 인간의 판단을 대체하는 것이 아닙니다. 특히 데이터를 수정하거나 다른 사람에게 영향을 미치는 작업을 허용하기 전에 대상 애플리케이션, 요청된 권한 및 실행 결과를 검토하세요.
애플리케이션 창에는 다른 사람에 대한 정보를 포함하여 중요한 정보가 표시될 수 있습니다. 표시되는 콘텐츠를 Copilot에 컨텍스트로 제공해도 괜찮은 애플리케이션 및 작업에서만 컴퓨터 사용 기능을 사용하세요.
애플리케이션에 대해 항상 허용을 선택하면 나중에 컴퓨터 사용 작업이 다시 묻지 않고 해당 애플리케이션을 제어할 수 있습니다. 중요한 정보를 포함하거나 영향력이 높은 작업을 지원하는 애플리케이션에 대해 Always 허용 을 선택하지 마십시오.
책임 있는 사용에 대한 포괄적인 정보는 애플리케이션 카드: GitHub Copilot 에이전트을 참조하세요.
다음 단계
컴퓨터 사용 기능을 활성화하고 사용하려면 다음을 참조하세요: