Files
MobileGL/docs/archive/notes/perf-five-arm-20260928/README.md
T

104 lines
8.5 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 五臂传输性能对比(monolith / inproc / spawn+shm / spawn+tcp localhost / tcp over Wi-Fi)
> 2026-09-28,设备 Redmi `2f7cbe2e`(Adreno 830,Android 16,aarch64,**无 root 未定频**——
> 以 A-B-C-D 交错 3 轮替代定频,臂内散布 ≤2.7%)。
> 驱动与 profiling 工具已入库 [`tools/device_bench/disagg/`](../../../tools/device_bench/disagg/README.md);
> 原始数据在 `.trace-work/perf-compare/`(`summary.json` / `REPORT.md` / 逐轮目录 / `profile/` / `wifi/`)。
> 每臂均验证 logcat 臂标志(transport marker、`spawn ARMED`、`run-ahead ARMED`),全部 0 lockstep、0 Fatal;
> 每负载另跑一轮非 benchmark 的 ssim 门(openra 四臂 1.000000,rd12 四臂 0.999883,字节级一致)。
> **更正(2026-09-28 晚)**:原文的「跨主机控制面 hang(源码 bug)」是**测试环境造成的**:
> WSL 的默认路由走主机上 v2rayN 的 `xray_tun`(TUN 模式,`172.18.0.1/30`)。xray 在本地终结了 TCP、再从 `192.168.31.183` 重新发起,然后在中继时卡住。
> 这样绕过它之后跑通:`ip route replace 192.168.21.181/32 via 192.168.31.1 dev eth0`(root,临时路由,用完已删)。
> 见结论 4 与 Wi-Fi 两行。
## 结果
### rd12(Minecraft 重负载,251 帧;~7,500 条 wire 记录/帧、816 KB/帧 stage 流量)
| 臂 | fps(best-of-3) | mean ms | median ms | 备注 |
|---|---|---|---|---|
| monolith | 131.3 | 7.61 | 7.34 | 基线 |
| inproc | 176.2 | 5.68 | 5.32 | **比 monolith 快 34%** |
| spawn+shm | 178.3 | 5.61 | 5.26 | **快 36%**;与 inproc 打平(历史门 8 同结论) |
| spawn+tcp localhost | 21.0–23.1 | 43.3–48.3 | 45–49 | **比 shm 慢 ~8 倍** |
| spawn+tcp localhost + `SPIN_US=2000` | 63.6 | 15.7 | — | 单 knob A/B,**2.9×** |
| tcp over Wi-Fi(WSL → 手机,绕开 xray) | 稳态 16.9–22.1(credit 1–3) | — | 43.6–63.7 | 三次;251/251 帧;含 51–53 s 加载帧的整段均值 13.3–16.5;详见 [`p12/CROSSHOST-ACCEPTANCE.md`](../p12/CROSSHOST-ACCEPTANCE.md) |
### openra(轻负载,128 帧;28 draws/帧、199 记录/帧)
| 臂 | fps | mean ms | 备注 |
|---|---|---|---|
| monolith | 101.3 | 9.87 | mean 含首帧 setup 尖峰;median 0.76ms |
| inproc | 99.8 | 10.02 | 与 monolith 差 ~1.5%,噪声级 |
| spawn+shm | 88.8 | 11.27 | −12%,纯跨进程固定成本 |
| spawn+tcp localhost | 76.9 | 13.00 | −24% |
| spawn+tcp 同机 wlan0 IP(Wi-Fi 替代拓扑,不过空口) | 74.2–76.3 | 13.1–13.5 | ≈ tcp localhost,符合预期 |
| tcp over Wi-Fi(WSL → 手机,绕开 xray) | 稳态 104.6–133.5(credit 1–3) | 7.6–9.6(中位) | 三次;128/128 帧。早先记的 4.2 fps 是均值被首帧拉低的读法,不是稳态 |
## 结论
1. **inproc / shm 不慢,重负载下反而比 monolith 快 ~1/3。** 机制有二:
run-ahead 把 server apply(3.5ms/帧)挪到另一核与 client 编码(5.7ms/帧)并行,帧时取 max 而非求和
(实测 monolith 7.87 vs inproc 5.80 ms/帧);且 applier 逐记录路径的状态探针更少
(accessor/draw:monolith 6.08 vs split 4.05,每帧少 ~3,000 次探针)。
轻负载(openra)下没有可重叠的工作量,split 只付固定握手成本:inproc ≈ monolith,shm −12%,tcp −24%。
2. **真正差的是 tcp 臂,瓶颈是"credit=1 串行 ping-pong + futex 唤醒税",不是带宽、不是 syscall、不是 RTT。**
rd12 稳态 transport_wait ≈ 20.5ms/帧的分解:
| 分项 | 占比 | 证据 |
|---|---|---|
| present credit=1 等待(等上一帧 swap ack) | **~74%** | ftrace:GL 线程长 park 260 次 × 均值 27.5ms |
| sendmsg 内联发送(GL 线程持锁,11 次/帧) | ~18% | simpleperf `__sendmsg` 占 client 用户态 7.6% |
| reply RTT | 稳态 0% | wait_replies 全部集中在第 1 帧(create window) |
| progress 64 记录/1ms 合批节流 | ≤5% | SPIN 对照 A/B 反证 |
佐证:需求带宽 148MB/s vs 实测突发 recv 293MB/s、send 占空比 3.5%;
`MOBILEGL_IPC_SPIN_US=2000` 只消唤醒税就把 fps 21.7→63.6(GL park 合计 8.99→4.97s,futex 阻塞 4.37→1.74s)。
server 侧 io 线程每帧 41ms 阻塞在 recv 是"对端还没发"(credit 串行化)的症状,不是网络问题。
3. **shm/inproc 已贴近它们的实际上限:apply 线程 CPU。** 帧时 5.6ms 中 3.5ms 是真实 apply 工作;
剩下可削的是握手开销——apply 线程 6,963 次/帧 doorbell 等待、自旋占其 CPU ~35%(1.8ms/帧),
离跨核 cache-line ping-pong 上限(估 2–5M 记录/s,实际 1.24M waits/s)还有 2–4 倍余量;park 率仅 0.05%。
4. **Wi-Fi 臂:没有源码 hang;带宽和 RTT 才是约束。**
| 项 | 原结论 | 实为 | 证据 |
|---|---|---|---|
| seq 3 挂死 | 控制面帧重组 / 双 reader 竞态 | 主机 `xray_tun` 终结 TCP 后中继卡住 | 同一对二进制:经 xray 挂死 13/13,每次前送日志都停在同一字节(1093 B);绕开后 openra 与 rd12 都 rc=0 |
| 「client 字节已被 ACK」 | 手机内核 ACK | xray 本地 ACK | client 侧 `ss` 的 RTT 0.07–0.3 ms、PMTU 9000;手机看到的对端是 `192.168.31.183` |
| 「server 卡在 MakeCurrent」 | apply 线程卡死 | server 已空闲 | 手机本地 `mgl.server.log` 走完了整个 backend 初始化,只有**前送**的日志停在第 7 条扩展;控制 / 数据两个 socket 的收发队列都是 0 |
| Wi-Fi RTT | avg 0.78 ms | 3.3–110 ms,两次均值 19 / 30 | 绕开 xray 后两次 `ping` |
| Wi-Fi 吞吐 | 19–22 MiB/s 是上限 | **`toybox nc` 汇点低估了**:同期 server 自己读到 52.4 MB/s 持续 51 s(2,696 MB);同一 rd12 加载帧第一次跑 235 s、之后 52 s,吞吐随时刻差 4 倍 | server 侧 `P65ServerFrame`;`nc` 18–22 MiB/s |
**原来的两个 Wi-Fi 上限结论都撤回**:rd12 经 Wi-Fi 稳态 17–22 fps(每帧均值 1.5 MB、20–24 MB/s),低于实测 52 MB/s,所以稳态不是带宽约束,而是往返延迟;
openra 稳态 105–133 fps,并没有被 RTT 卡住。加载帧(2.7 GB)才是带宽约束。
`PRESENT_CREDIT` 1 → 2 让 rd12 稳态 +26%,2 → 3 只再 +4%。
**P6.5(09-22)与 P12(09-26)里 WSL → 手机的链路数也都经过 xray**(`xray_tun` 自 09-21 起在线):通过 / 失败的结论不受影响,但其中的链路 RTT / 吞吐需要带这个前提来读。
## 优化建议(按优先级)
knob 级(零代码):
1. `MOBILEGL_IPC_SPIN_US=2000`(tcp/spawn 臂)——本机已实测 **2.9×**(21.7→63.6 fps),与 P12 结论一致。
2. `MOBILEGL_IPC_PRESENT_CREDIT=2`——投影砍掉 twait 主项(74%)的一半以上;代价 +1 帧延迟(P5e 裁定允许)。**未实测,待 A/B。**
3. shm 臂 server 侧 `SPIN_US` 降到 20–35——park 率 0.05% 说明 50µs 自旋预算几乎全在白烧(35% server CPU)。**投影,待 A/B。**
4. `MOBILEGL_IPC_SERVER_AFFINITY`——ftrace 显示 tcp 臂 apply 线程落在 1.02GHz 小核(cpu6/7),apply 8.8 vs 4.0ms/帧。待 A/B。
代码级:
5. client 侧 doorbell 从 condvar 换 futex/eventfd 直唤醒(`StreamLink.cpp` 的 `StreamBell` 现包 `CondVarDoorbell`;
唤醒链 p50=128µs × 9,134 次/轮)。
6. applier 的 WaitForWork 改自适应 spin(连续空转才降预算),与 #3 同向但更精细。
7. sendmsg 跨 Flush 合批(收益上限 ~18% twait,排在后面)。
8. appliedSeq/progress 合批参数**不动**(A/B 反证 ≤5%)。
9. ~~修跨主机控制面 hang~~:不是源码问题(见结论 4)。跨机测试前先查路由:`ip route get <手机 IP>` 必须走物理网卡,不能走 TUN。
## 方法与读法陷阱(复测必读)
- 未定频设备的替代口径:A-B-C-D 交错 ≥3 轮,看 best-of-N 与散布,不看单轮。
- benchmark 模式不落 PNG、ssim 恒 −1;正确性门要单独跑一轮非 benchmark。
- spawn 臂 client 侧 PipeStats `frames=0` 是结构性零;费率用 server 侧 dump 的 frames 做分母(merge 逻辑见 `make_report.py`)。
- 无 root 设备的 profiling 组合:simpleperf(`perf_event_paranoid=-1` 时 shell 可用)+ ftrace sched
(shell 可写;本机 ring 丢弃 ~74% 事件,看分位数不看绝对计数)+ 自研 `/proc/<tid>/syscall` 采样器
(`tools/device_bench/disagg/sampler.c`,strace attach 被 SELinux 拒时的替代)。
- 已知缺口:rd12 monolith/inproc 的客户端符号级 simpleperf 报告缺失(采样收尾 bug);
loopback 裸吞吐未测成(以突发 293MB/s + 占空比论证代替);rd12 的 Wi-Fi 替代拓扑数据缺失(编排问题)。