当前，以大型语言模型（LLMs）为核心的自主GUI智能体，已能通过文本指令自动执行跨应用、多步骤的复杂任务，极大地提升了用户的工作效率。但这种对文本的依赖，限制了其在更广泛场景下的应用。