- 理解AI智能体的核心定义及其与传统自动化的区别
- 掌握为AI智能体设计界面的三种方式与关键原则
- 学习如何为人类与智能体协同的任务流设计体验
- 认识生成式UI如何推动设计向结果导向范式转变
背景:当‘用户’不再只是人类
近年来,AI智能体(AI Agents)正以前所未有的速度渗透到数字生活的各个角落。从帮我们预订航班、筛选邮件,到管理日程、分析数据,这些系统正代表人类执行着越来越多的任务。这一变化对用户体验设计领域产生了深远影响。
尼尔森诺曼集团(NN/G)近期将其职位头衔从‘用户体验专家’改为‘体验专家’,正是对这一趋势的回应。核心转变在于,设计的对象不再仅仅是直接使用产品的人类,还包括代表人类行事的智能体。 这意味着‘用户’这一概念的边界正在急剧扩展。
过去,用户体验设计始终围绕一个核心假设展开:用户是坐在屏幕前的人类。所有的设计启发式、可用性原则和研究方法都基于此。然而,当一个人可以吩咐AI助手去完成购物、投诉或行程规划时,直接与界面交互的‘用户’就变成了智能体本身。
这种转变并非否定传统UX的价值,而是将其置于一个更广阔的框架中。体验设计(Experience Design)成为一个更贴切的名称,它涵盖了人类直接交互、智能体代理交互以及两者协同的复杂场景。设计师需要重新思考:我们为谁设计?以及如何设计?
核心定义:什么是真正的AI智能体?
面对市场上‘智能体’概念的滥用,建立一个清晰、具体的定义至关重要。NN/G提出了一个操作性定义:AI智能体是一个通过迭代地采取行动、评估进展并自主决定后续步骤来追求目标的系统。
这个定义包含三个关键要素:目标、迭代行动和自主决策。目标是智能体工作的终点,可以是具体的(如‘修复这个失败的测试’)或开放式的(如‘研究欧洲市场的竞争对手并总结发现’)。
目标、行动与决策
智能体必须能够在其环境中‘行动’。目前大多数AI智能体执行数字行动,如搜索网页、编写代码、编辑文档。但行动能力不限于数字世界,自动驾驶汽车的转向、加速,人形机器人操控物体都是行动。
评估进展是智能体循环的关键环节,这包含了‘感知’环境的能力。例如,一个编码智能体读取错误日志,或自动驾驶汽车处理激光雷达数据。
自主决定后续步骤是智能体区别于普通自动化或大型语言模型(LLM)的核心。 智能体是自我导向的,其达成目标的路径是自我决定的。
- 目标:智能体工作的方向与终点。
- 迭代行动:基于上一步的结果采取行动,推动进展。
- 评估进展:检查当前状态,判断与目标的距离。
- 自主决策:决定接下来要做什么以实现目标。
智能体如何与我们的界面交互?
既然智能体成为了用户,它们如何‘使用’我们设计的界面呢?目前主要有三种方式,每种都揭示了现有设计假设的局限性。
1. 视觉解析(截图分析):这是最接近人类的方式。智能体对界面截图,使用视觉模型解读像素,识别按钮、文本框等元素并决定点击哪里。这种方式成本高昂、缓慢、容易出错,且无法处理动态内容或多步骤工作流。
2. 解析可访问性树:这是更高效可靠的方式。智能体读取浏览器从HTML生成的可访问性树(与屏幕阅读器使用的数据结构相同)。这提供了页面元素的清晰层次化表示:角色、标签、状态和关系。处理只需几千个token,远少于截图。
3. 绕过界面:智能体对智能体或API交互:当有结构化API可用时,智能体可以直接查询数据和执行操作,无需与任何视觉或结构化的页面表示交互。新兴标准如模型上下文协议(Model Context Protocol, MCP)正在推动这种方式标准化。
| 交互方式 | 工作原理 | 优点 | 缺点/挑战 |
|---|---|---|---|
| 视觉解析(截图) | 对界面截图,用视觉模型识别元素 | 最接近人类交互方式 | 成本高、速度慢、易出错、难处理动态内容 |
| 解析可访问性树 | 读取浏览器生成的可访问性树结构 | 成本低、信息可靠、利于无障碍 | 依赖良好的语义化HTML与ARIA标注 |
| API/智能体间交互 | 通过结构化API直接获取数据/执行操作 | 高效、准确、无需解析界面 | 需要API支持,尚未普及 |
当人类与智能体协同:新的体验断层
更复杂的设计挑战出现在人类与智能体在同一任务流中协作时。一个产品可能各自独立使用时表现良好,但当两者共同作用时却可能产生体验断层。
资料[1]中提供了一个典型案例:用户让AI智能体预订航班。智能体推荐了航班并获得用户同意。但在进行预订时,智能体要求用户登录航空公司网站,而用户因其密码管理器扩展在智能体的应用内浏览器中不可用而登录失败。
问题并不出在智能体或人类单方面,而是出在控制权从智能体交还给人类的‘交接点’上。 智能体工作正常,认证请求也合理,应用内浏览器本是为智能体执行步骤、用户查看内容而设计的。但当任务需要人类使用一个非常规的、可能为智能体设计的工具时,体验就断裂了。
这类问题无法通过单独研究人类或智能体发现,只有将人机协同系统作为一个整体来研究才会显现。当任务在人与AI之间来回传递时,信息与进度的连续性、授权、透明度、错误恢复都成为独立的体验设计问题。
案例剖析:新Siri的成功与挑战
苹果于2026年9月14日开始推送测试的新版Siri AI,为我们理解个人上下文与AI能力如何结合提供了绝佳案例。资料[4]通过一系列日常任务测试,揭示了其优势与不足。
测试者要求助手完成周末纽约之旅后的三个任务:找到我的照片、查找兄弟推荐的餐厅、给伴侣起草消息。旧版Siri虽有个人数据功能(如iOS 9引入的上下文提醒和照片搜索),但非真正的生成式AI;ChatGPT能力强大却无法直接访问个人消息和照片;新版Siri AI则两者兼备。
个人上下文极大减少了用户努力。 当问“我兄弟Emmett在纽约推荐了哪些餐厅?”时,Siri AI迅速找到了他短信发来的三家早餐店。接着问“我去过其中任何一家吗?”,它能正确回答没有,并引用了我回复Emmett说选了别处的短信。用户无需回忆信息在哪、翻找短信或粘贴到聊天框。
然而,AI能力是将上下文转化为有用结果的关键。 访问权限本身不保证好答案,AI必须理解用户意图,并以足够透明的方式呈现其解读以供验证。例如,让Siri AI“给Anna发送Emmett推荐的餐厅列表”,它能正确准备列表。
案例也暴露了挑战:一是上下文在任务全程中的保持。当请求“从Emmett的地址获取去Dimes(餐厅)的Google地图路线”时,Siri AI虽然确认了起点,却最终在地图中打开了从我当前位置(北卡 Durham)出发的路线,确认的细节在后续步骤中丢失了。二是帮助用户建立准确心智模型。用户需要知道助手能做什么、不能做什么,以及它搜索了哪些数据源。
生成式UI与结果导向设计的未来
展望更远的未来,生成式用户界面(Generative UI, GenUI)可能带来更根本的变革。GenUI指由人工智能实时动态生成的、根据用户需求和上下文定制的用户界面。
资料[5]描绘了一个未来航班预订的概念场景:用户Alex打开达美航空App,因其用户档案记录有阅读障碍,生成的界面自动使用特殊字体和色彩对比度。她语音查询航班,系统根据她的历史行为(最关心成本与时间)突出显示相关信息,自动折叠她从不选择的红眼航班,并警告首选航班无靠窗座位。
这种高度个性化的体验在传统静态界面中难以规模化实现,而GenUI使其成为可能。 这将推动设计范式从关注具体界面组件,转向结果导向设计(Outcome-Oriented Design)。
设计师角色的转变
在结果导向设计范式下,设计师的工作重心将发生转移:
从设计界面到设计约束与参数。 设计师可能不再需要指定每个设计细节,而是定义AI生成界面时必须遵守的规则和边界,例如信息优先级(必须显示、应该显示、绝不显示)。
从为平均用户设计到为个体设计。 设计师需要识别不同用户类型的需求,并将其转化为AI必须遵守的“护栏”。
研究变得更为关键。 随着传统设计原则受到挑战,深入研究用户以理解其多样化需求和背景将至关重要,以确保动态生成的界面真正有效。
不同观点与适用边界
并非所有产品或业务都欢迎智能体作为用户。资料[3]明确指出,为智能体设计的前提是,用户目标与商业目标在机器代理时仍然一致,但这并非总是成立。
1. 依赖人类主动参与的业务:广告支持的内容或内容营销网站,如果智能体提取了价值而用户从未访问,则构成生存威胁。流媒体服务(如Netflix)依赖用户浏览来推荐内容并提升粘性,一个直接回答“今晚看什么”而不打开应用的智能体,会破坏其精心优化的发现体验。
2. 存在必要摩擦的领域:某些领域的界面摩擦出于监管、法律或安全原因。金融服务中,让智能体轻松执行交易而无安全检查和法律披露,会带来监管风险。医疗健康产品则面临HIPAA等法规对数据访问权限的严格限制,AI代理是否算作“授权访问者”尚无定论。
3. 数据具有竞争敏感性的行业:航空公司、酒店等公司多年来一直在与屏幕抓取机器人斗争,其动态定价是专有且战略管理的。让界面易于智能体访问,可能意味着向竞争对手和比价聚合器开放核心数据。
此外,一些平台希望自己成为智能体层,因此会主动限制第三方智能体访问。设计师需要根据具体产品、商业模式和法规环境,判断是否、以及如何考虑智能体用户。
对设计师的实际建议
面对这些变化,设计师可以采取以下具体行动来适应和引领:
1. 拥抱并应用无障碍最佳实践:这已不再只是道德选择,而是清晰的商业案例。确保清晰的元素标签、可预测的交互模式、逻辑化的页面结构和语义化HTML。这能同时服务人类用户和智能体用户。
2. 扩展研究范围与方法:开始将智能体视为用户进行研究。分析日志追踪、观察控制权在人与智能体间的转移、测试系统的可变性。传统定性研究依然重要,但需要新方法或调整现有协议来研究智能体行为。
3. 为人机协同设计交接点:在设计涉及AI代理的任务流时,特别关注控制权交接的时刻。确保信息连续性,提供清晰的进度透明度,并设计简单易用的检查和撤销机制。
4. 定义约束与参数,而非仅仅界面:开始练习结果导向的思维方式。尝试为设计任务定义用户目标、成功标准和AI必须遵守的约束条件(护栏),而不是直接画线框图。
5. 保持批判性思维与核心技能:无论技术如何变化,以用户为中心的问题解决能力、批判性思维、好奇心和对体验的整体视角将比以往更加重要。
- 立即行动:审查现有产品界面的无障碍合规性,这是服务智能体的基础。
- 研究智能体:使用AI助手完成你产品的关键任务,观察它们在哪里失败。
- 设计交接:在任务流程图中,明确标出控制权在人与智能体之间转移的点,并针对性设计。
- 练习约束设计:为一个功能列出“必须满足”、“最好满足”和“绝对禁止”的规则清单。
总结
AI智能体的兴起标志着体验设计领域的一个转折点。‘用户’的内涵正在从‘人类’扩展到包括‘代理行事的智能体’。这要求我们更新核心假设,并扩展我们的设计方法、研究工具和技能组合。
短期内,最切实的步骤是夯实无障碍基础,并开始思考我们的界面如何被非人类实体‘使用’。长期来看,生成式UI可能引领我们走向结果导向的设计范式,设计师的角色将从界面细节的塑造者,转变为目标、约束和系统行为的定义者。
变化虽巨,但设计的核心——理解并服务于最终用户(无论是人类还是其代理)的目标与福祉——始终未变。 挑战在于如何以新的方式,在新的边界内,践行这一核心。拥抱这些变化的设计师,将有机会在AI时代定义下一代卓越的体验。
要点速览
- AI智能体已成为数字产品的新‘用户’,体验设计必须同时考虑人类、智能体及两者的协同。
- 真正的AI智能体核心特征是:为目标迭代行动、评估进展并自主决定后续步骤。
- 为无障碍所做的设计(语义化HTML、清晰标签等)能显著提升界面对智能体的可理解性。
- 人机协同任务流中,控制权交接、信息连续性和透明度是关键的体验设计问题。
- 生成式UI将推动设计范式从设计具体界面转向定义目标、约束和参数的结果导向设计。
- 并非所有产品都需欢迎智能体,需根据商业模式、法规和用户目标综合判断。