注意
计算机使用为 公开预览，且可能会更改。
关于计算机使用
Copilot 可以通过读取可访问的应用程序内容和视觉上下文、单击控件、输入和编辑文本、按下按键、滚动、拖动以及跨应用程序导航工作流，来代表你与桌面应用程序交互。
计算机使用可在 macOS 和 Windows 上的 GitHub Copilot app 以及 GitHub Copilot CLI 中使用。
Copilot 会尽可能在后台与应用程序交互，以便您可以继续在其他应用程序中工作。
计算机使用扩展了 Copilot 可帮助自动执行的任务，包括不提供 API、命令行接口或 MCP 集成的旧版和仅 GUI 软件中的工作流。
计算机使用可帮助完成以下任务：
- 查看和汇总旧版桌面应用程序中的信息。
- 更新演示文稿中的内容。
- 在仅 GUI 软件中输入或更新信息。
- 将信息作为多步骤工作流的一部分在应用程序之间移动。
提示
计算机使用专为需要与视觉界面交互的任务而设计。 如果 API、MCP 服务器、终端命令、文件系统工具或专用浏览器工具可以直接完成任务，此类工具通常提供更结构化的信息和可预测的结果。
Capabilities
启用后，计算机使用允许 Copilot ：
- 需要视觉上下文时，通过操作系统的辅助功能树或屏幕截图读取应用程序中的无障碍内容和视觉上下文。
- 单击控件。
- 输入和编辑文本。
- 按下按键、滚动和拖动项目。
- 跨应用程序导航工作流。
代理会在处理你的提示时选择这些工具。 可以在会话中查看工具活动。
控制对计算机使用的访问
默认情况下，计算机使用功能处于禁用状态。 必须先启用它，然后智能体才能使用其工具。
计算机使用遵循会话正在运行的 Copilot 界面的工具权限设置。 这些设置决定了 Copilot 在控制桌面应用程序之前是否需要请求批准。 可以更改每个图面的工具权限设置。 如果系统提示批准对应用程序的访问权限，则可以授予当前会话期间的访问权限、保存该批准设置以用于将来的会话，或拒绝访问。
如果对于某个特定应用程序选择 “始终允许”，Copilot 会在本地存储该决定。 该决定适用于同一台计算机上的 GitHub Copilot CLI 和 GitHub Copilot app。 在应用中，可以查看始终允许的应用程序列表并删除单项许可。 删除应用程序会删除其在应用和 CLI 中为将来会话保存的授权。 它不会撤销当前运行的会话中已授予的访问权限。
拒绝某个工具权限的规则优先于自动或保存的审批。
企业管理员可以通过受管理的设置禁用计算机的使用。 在本地启用计算机使用不会覆盖企业策略。 有关配置详细信息，请参阅 企业管理设置。
如果计算机使用开始出现异常，则可以中断活动操作。 在 GitHub Copilot CLI中，按 Esc 两次。 在 GitHub Copilot app 中，单击“停止”或按 Esc。
在 macOS 上，“电脑使用”权限会引导你完成授权：
- 与应用程序控件交互的无障碍权限。
- 在需要视觉上下文时，用于检查应用程序窗口的屏幕录制权限。
限制和风险
计算机使用功能能够理解会因应用程序版本、操作系统和窗口状态不同而变化的界面。 它可以选择错误的控件、在错误的位置输入文本，或者难以处理非标准或动态控件和复杂的工作流。 时序或窗口状态的变化可能会产生不同的结果，导致计算机重复执行某个操作，或使其无法继续运行。
警告
计算机使用可以自动执行跨桌面应用程序的交互，但它也引入了安全风险。 不明确的说明或意外的屏幕内容可能会导致影响设备、数据或连接的帐户的意外操作，包括可访问个人、财务或企业系统的帐户。 使用计算机不能代替人的判断。 查看目标应用程序、请求的权限和结果，尤其是在允许修改数据或影响其他人的操作之前。
应用程序窗口可能会显示敏感信息，包括有关其他人的信息。 仅在你愿意将其可见内容提供给Copilot作为上下文时，才使用计算机处理这些应用程序和任务。
如果选择应用程序的 “始终允许”，则以后的计算机使用操作可以控制它，而无需再次询问。 避免为包含敏感信息或支持高影响操作的应用程序选择 始终允许。
有关负责任的使用的综合信息，请参阅 应用卡片：GitHub Copilot 智能体。
后续步骤
若要启用并使用电脑控制，请参阅：