告别“代码重构”焦虑:阿里开源 Page Agent,让大模型读懂网页底层逻辑
- 核心创新:DOM脱水—Page Agent 将冗杂的 DOM 树压缩为轻量化的 FlatDomTree 纯文本映射,让大模型直接解析网页结构,无需截图或多模态分析,精准完成点击、输入等操作。
- 内嵌式设计简化验证—它直接运行在网页内部,天然继承 Cookie、会话状态与登录凭证,免去后端处理复杂验证流程,显著降低开发成本。
- 兼容多模型与应用场景—Page Agent 可无缝接入任何标准接口的大语言模型,适用于 SaaS 智能副驾、自动化数据采集及 Web 无障碍交互等场景,提供高效低成本的替代方案。
- 当前局限与安全机制—该库专注单页面高效交互,处理支付或数据篡改等高安全操作时需服务端逻辑校验,采用提示词触发的权限管控作为初步安全防线。
让大模型直接读DOM,阿里巴巴开源Page Agent省掉截图多模态分析
阿里巴巴开源了一款名为 Page Agent 的 JavaScript 客户端库,它不再像传统方案那样依赖屏幕截图或底层协议驱动,而是让大模型直接“读懂”网页内部的 DOM 结构。
核心思路
在浏览器自动化开发的路上,开发者们一直在重复造轮子。要么通过复杂的截屏让 AI 去“看”网页,要么依赖底层协议强行驱动,但网页结构一变就歇菜。Page Agent 跳出了这个框:它直接运行在网页内部,从内部解读 DOM,而不是从外部暴力破解。
技术细节
Page Agent 的核心叫 DOM 脱水。有开发者试了说,传统方案为了让 AI 识别页面,得先截屏再搞多模态分析,既烧钱又容易丢掉关键交互信息。Page Agent 另搞了一套:它把冗杂的 DOM 树压缩成轻量化的 FlatDomTree 纯文本映射。这个过程就像给 AI 画了一张高精度交互地图,模型不用处理复杂的视觉渲染,光靠这份结构映射就能精准完成按钮点击、表单输入这些高难度操作。
开发者体验
对开发者来说,Page Agent 的 内嵌式 设计很实用。因为它直接跑在网页环境里,自然就继承了所有 Cookie、会话状态和登录凭证,后端不用再捣鼓复杂验证流程了。群里在传,这个库兼容性贼好,能无缝接入任何支持标准接口的大语言模型。在 SaaS 产品智能副驾、自动化数据采集、Web 应用无障碍交互这些场景里,它提供了一种高效又省钱的替代方案。
局限与开源
当然,Page Agent 也不是万能的。开发团队在文档里说了,目前它更专注于单页面内的高效交互。碰到支付、数据篡改这类高安全敏感的活,开发者还是得在服务端做严格逻辑校验。为了防翻车,Page Agent 设计了提示词触发的权限管控机制,算是给自动化流程加了道保险。
目前代码已经在 GitHub 以 MIT 协议公开了。这个工具一上线,开发者们可能真要告别昂贵得多模态算力消耗了,能用更务实的工程手段给应用植入真正有“网页感知力”的智能体。
接下来盯着看:其他浏览器自动化框架(比如 Puppeteer、Playwright)会不会跟进这种 DOM 解读方式?那些依赖截图多模态的创业公司可能得难受一阵了。