该项目演示了如何让 GPT-4V 来控制自己的电脑,通过简单的指令完成各种任务。该系统使用领域特定语言(DSL)与机器进行交互,支持点击、输入和搜索等基本动作,每次执行操作时会携带任务目标、上一步执行结果以及屏幕截图作为上下文,具有高定制化程度的提示设计,非常适合处理复杂任务。
self-operating-computer的特点:
1. 使用DSL与机器进行交互,简化指令输入
2. 支持三种主要动作:Click、Type、Search
3. 每次执行动作时携带任务目标、上一步执行结果及屏幕截图作为上下文
4. 高定制化程度的Prompt设计,适合复杂任务
self-operating-computer的功能:
1. 告诉系统打开Google Docs并写一篇文章
2. 指示系统发布并分享文档给同事
3. 通过DSL指令执行其他计算机操作
相关推荐
暂无评论...