做过：
- spec-driven chart
- intelligent insights
- BI Copilot
- streaming UI
- data narrative
本质是：“人是如何理解信息的”。
- 建模信息结构
- 建模视觉层级
- 建模认知路径
Research-level: 把 UI / Interaction / Visualization 变成 formal model
具体例子：
- UI → graph
- Interaction → state machine
- Layout → spatial model
- Aesthetics → metrics
- Agent → policy
Formal Models for Agentic UI Understanding and Interaction 面向 Agent 的 UI 理解与交互形式化模型。
拆解成几个问题：
- 如何把网页 UI 转成结构化表示？
- 如何让 agent 理解 UI 的语义？
- 如何评估 UI 的美学与可用性？
- 如何让 agent 规划 UI 操作？l
- 如何构建 UI 的 world model？
UI 结构模型
🎯 目标：把 UI 当成“结构化系统”。
研究方向：
- DOM → UI graph
- Accessibility Tree → semantic UI
- Visual hierarchy detection
- Layout graph / spatial relationships
- Interaction affordance detection
你要做到：
UI ≠ HTML
UI = Graph + Semantics + Geometry
Visualization & Data Narrative
🎯 目标：让数据变成“故事”。
核心：
- Grammar of Graphics (Vega / ggplot)
- Spec-driven visualization
- Data → insight → narrative
- Intelligent chart recommendation
- Multi-modal data explanation
你要做到：
Agent 能“理解数据图表”。
UI Aesthetics & UX Modeling
🎯 目标：形式化“美学”。
研究方向：
- spacing metrics
- color contrast models
- layout balance
- information density
- cognitive load models
- design system constraints
你要做到：
UI 美学 = 可计算的指标。