Hinweis
Die Computernutzung ist in Öffentliche Vorschau und kann geändert werden.
Zur Computernutzung
Copilot kann in Ihrem Auftrag mit Desktopanwendungen interagieren, indem sie barrierefreie Anwendungsinhalte und visuellen Kontext lesen, auf Steuerelemente klicken, Text eingeben und bearbeiten, Tasten drücken, Scrollen, Ziehen und Navigieren in Workflows über mehrere Anwendungen hinweg ausführen.
Die Computernutzung ist in GitHub Copilot CLI und dem GitHub Copilot app unter macOS und Windows verfügbar.
Die Computerverwendung erweitert die Aufgaben Copilot, die sie automatisieren können, einschließlich Workflows in Legacy- und reiner GUI-Software, die keine API, Befehlszeilenschnittstelle oder MCP-Integration bereitstellen.
Die Computerverwendung kann Ihnen beim Ausführen von Aufgaben helfen, z. B.:
- Überprüfen und Zusammenfassen von Informationen in einer älteren Desktopanwendung.
- Aktualisieren von Inhalten in einer Präsentation.
- Eingeben oder Aktualisieren von Informationen in Software mit ausschließlich grafischer Benutzeroberfläche.
- Verschieben von Informationen zwischen Anwendungen als Teil eines mehrstufigen Workflows.
Tipp
Die Computerverwendung ist für Aufgaben vorgesehen, die eine Interaktion mit einer visuellen Schnittstelle erfordern. Wenn eine API, ein MCP-Server, ein Terminalbefehl, ein Dateisystemtool oder ein dediziertes Browsertool die Aufgabe direkt ausführen kann, stellt dieses Tool in der Regel strukturiertere Informationen und vorhersagbare Ergebnisse bereit.
Capabilities
Wenn diese Option aktiviert ist, erlaubt die Computernutzung Copilot, Folgendes zu tun:
- Lesen Sie barrierefreie Anwendungsinhalte und visuellen Kontext über die Barrierefreiheitsstruktur Ihres Betriebssystems oder über Screenshots, wenn visueller Kontext erforderlich ist.
- Klicken Sie auf die Bedienelemente.
- Geben Sie Text ein, und bearbeiten Sie ihn.
- Drücken Sie die Tasten, scrollen Sie und ziehen Sie Elemente.
- Navigieren Sie in Workflows über Anwendungen hinweg.
Der Agent wählt diese Tools aus, während er Ihre Eingabeaufforderung verarbeitet. Sie können die Toolaktivität in der Sitzung überprüfen.
Zugriff auf die Computernutzung steuern
Die Computerverwendung ist standardmäßig deaktiviert. Sie müssen sie aktivieren, bevor ein Agent seine Tools verwenden kann.
Die Computerverwendung folgt den Toolberechtigungseinstellungen für die Copilot-Oberfläche, auf der Ihre Sitzung ausgeführt wird. Diese Einstellungen bestimmen, ob Copilot vor dem Steuern einer Desktopanwendung um Genehmigung bittet. Sie können die Toolberechtigungseinstellungen für jede Oberfläche ändern. Wenn Sie aufgefordert werden, den Zugriff auf eine Anwendung zu genehmigen, können Sie für die aktuelle Sitzung Zugriff gewähren, die Genehmigung für zukünftige Sitzungen speichern oder den Zugriff verweigern.
Wenn Sie für eine bestimmte Anwendung Immer zulassen auswählen, speichert Copilot die Entscheidung lokal. Die Entscheidung gilt sowohl für GitHub Copilot CLI als auch für GitHub Copilot app auf demselben Computer. In der App können Sie die Liste der immer zulässigen Anwendungen überprüfen und einzelne Genehmigungen entfernen. Durch das Entfernen einer Anwendung wird die gespeicherte Genehmigung für zukünftige Sitzungen sowohl in der App als auch in der CLI gelöscht. Bereits gewährter Zugriff in einer laufenden Sitzung wird nicht widerrufen.
Berechtigungsregeln, die einem Tool den Zugriff verweigern, haben Vorrang vor automatischen oder gespeicherten Genehmigungen.
Unternehmensadministratoren können die Computerverwendung über verwaltete Einstellungen deaktivieren. Durch die lokale Aktivierung der Computerverwendung wird keine Unternehmensrichtlinie außer Kraft gesetzt. Konfigurationsdetails finden Sie unter Unternehmensverwaltete Einstellungen.
Sie können einen aktiven Vorgang unterbrechen, wenn sich die Computernutzung unerwartet verhält. In GitHub Copilot CLI drücken Sie Esc zweimal. Klicken Sie im GitHub Copilot appBereich auf Stop, oder drücken Sie Esc.
Unter macOS führt Sie die App „Computerzugriff“ durch das Erteilen von:
- Bedienungshilfe-Berechtigung für die Interaktion mit Anwendungssteuerelementen.
- Berechtigung für Bildschirmaufnahmen zum Überprüfen von Anwendungsfenstern, wenn visueller Kontext erforderlich ist.
Einschränkungen und Risiken
Computernutzung kann Schnittstellen interpretieren, die sich zwischen Anwendungsversionen, Betriebssystemen und Fensterzuständen ändern können. Es kann das falsche Steuerelement auswählen, Text an der falschen Position eingeben oder Schwierigkeiten mit nicht standardmäßigen oder dynamischen Steuerelementen und komplexen Workflows haben. Änderungen des Zeitsteuerungs- oder Fensterzustands können zu unterschiedlichen Ergebnissen führen, dazu führen, dass die Computernutzung eine Aktion wiederholt, oder verhindern, dass sie fortgesetzt wird.
Warnung
Computerverwendung kann Interaktionen über Desktopanwendungen hinweg automatisieren, birgt aber auch Sicherheitsrisiken. Mehrdeutige Anweisungen oder unerwartete Bildschirminhalte können unbeabsichtigte Aktionen verursachen, die sich auf Ihr Gerät, Ihre Daten oder verbundene Konten auswirken, einschließlich persönlicher, finanzieller oder Unternehmenssysteme. Die Computernutzung ist kein Ersatz für menschliches Urteil. Überprüfen Sie die Zielanwendung, angeforderte Berechtigungen und Ergebnisse, insbesondere bevor Sie Aktionen zulassen, die Daten ändern oder andere Personen betreffen.
Anwendungsfenster zeigen möglicherweise vertrauliche Informationen an, einschließlich Informationen zu anderen Personen. Verwenden Sie den Computer nur mit Anwendungen und Aufgaben, deren sichtbaren Inhalt Sie ohne Bedenken als Kontext für Copilot bereitstellen möchten.
Wenn Sie Immer zulassen für eine Anwendung auswählen, können spätere Aktionen bei der Computernutzung sie steuern, ohne erneut zu fragen. Vermeiden Sie die Auswahl von "Immer zulassen ", wenn Anwendungen vertrauliche Informationen enthalten oder Aktionen mit hoher Auswirkung unterstützen.
Umfassende Informationen zur verantwortungsvollen Verwendung finden Sie unter Anwendungskarte: GitHub Copilot Agents.
Nächste Schritte
Informationen zum Aktivieren und Verwenden der Computernutzung finden Sie unter: