微软正在向 Android 用户推送一项重要更新：Copilot Vision 现在支持屏幕共享（Share Screen）。这项功能此前仅限摄像头输入，现已扩展至设备屏幕内容实时分析，标志着微软在移动端 AI 交互体验上的进一步升级。
与 Google 的 Gemini Live 类似，Copilot 可通过视觉理解能力，实时解读用户屏幕上显示的内容，并提供上下文相关的帮助。不同的是，该功能目前在 Android 上完全免费开放，无需加入测试计划或订阅高级服务。
新功能能做什么？
启用“屏幕共享”后，您可以要求 Copilot 执行多种任务，包括：
- 总结或翻译当前页面内容（如网页、文档）
- 指导您使用某个应用的操作流程
- 协助起草消息、邮件回复
- 实时排查设备设置问题
例如，当您在设置菜单中犹豫如何切换主题时，Copilot 能识别界面元素，并逐步引导您完成操作：“进入‘显示’>‘外观’>选择‘浅色模式’”。
在整个过程中，Copilot 保持语音交互连续性，能够感知您的操作节奏和提问意图，表现出较强的上下文理解和响应能力。
如何使用屏幕共享？
操作路径如下：
- 打开 Copilot 应用；
- 点击顶部的 护目镜图标（Vision）；
- 选择 “Share screen”；
- 系统将弹出 Android 原生提示：“开始录制或投屏到 Copilot”，确认即可。
⚠️ 注意：
- 当前仅支持整屏共享，不支持单个应用窗口或区域选择；
- 功能通过服务器端推送启用，需确保已安装最新版 Copilot（Google Play 商店更新）；
- 所有用户均可使用，无需加入 Beta 计划。
支持个性化设置，提升交互体验
点击界面中的齿轮图标可进入 Copilot Vision 设置页，提供以下自定义选项：
- 在 8 种语音口音之间切换（如美式、英式、印度式等）
- 调整语音播放速度：从 0.5 倍慢速到 2 倍快速
- 在“摄像头”与“屏幕共享”模式间自由切换
这些设置有助于适应不同用户的听力习惯和使用场景。
实测表现：接近自然对话的交互体验
在实际测试中，Copilot 展现出较强的实时感知能力：
- 当测试者打开 Microsoft Launcher，Copilot 主动识别出屏幕上的时间信息（“现在是纽约时间上午 9 点”）；
- 在用户开口说话时，AI 自动静音并转入聆听状态，准确捕捉语音指令；
- 切换至系统设置页面后，Copilot 立即识别界面结构，并根据提问提供分步指引。
尽管 Copilot 无法像 Windows 版本那样直接控制手机界面（例如自动点击），但它能在旁白中持续提供导航辅助，形成一种“协作者”式的互动体验。
对标 Gemini Live，强化移动 AI 竞争
谷歌的 Gemini Live 已支持通过前置摄像头观察现实世界并进行对话式交互。微软此次推出屏幕共享功能，显然是为了在移动端多模态 AI 助手赛道中建立对等竞争力。
两者核心差异在于：
| 功能 | Copilot（Android） | Gemini Live |
|---|---|---|
| 输入方式 | 摄像头 + 屏幕共享 | 摄像头为主 |
| 控制能力 | 仅观察与建议 | 可结合 Assistant 执行部分操作 |
| 是否收费 | 免费 | 需订阅 Google One |
微软的选择是：以更开放的方式提供高质量视觉 AI 服务，吸引更广泛用户群体。
评论