mirror of
https://github.com/MobileGL-Dev/MobileGL
synced 2026-11-17 15:03:25 +09:00
[Docs] (Disaggregated): the cross-host eglMakeCurrent hang was the host's xray TUN proxy stalling its relay, not MobileGL; direct Wi-Fi runs pass and are bandwidth-bound
This commit is contained in:
@@ -6,6 +6,10 @@
|
||||
> 原始数据在 `.trace-work/perf-compare/`(`summary.json` / `REPORT.md` / 逐轮目录 / `profile/` / `wifi/`)。
|
||||
> 每臂均验证 logcat 臂标志(transport marker、`spawn ARMED`、`run-ahead ARMED`),全部 0 lockstep、0 Fatal;
|
||||
> 每负载另跑一轮非 benchmark 的 ssim 门(openra 四臂 1.000000,rd12 四臂 0.999883,字节级一致)。
|
||||
> **更正(2026-09-28 晚)**:原文的「跨主机控制面 hang(源码 bug)」是**测试环境造成的**:
|
||||
> WSL 的默认路由走主机上 v2rayN 的 `xray_tun`(TUN 模式,`172.18.0.1/30`)。xray 在本地终结了 TCP、再从 `192.168.31.183` 重新发起,然后在中继时卡住。
|
||||
> 这样绕过它之后跑通:`ip route replace 192.168.21.181/32 via 192.168.31.1 dev eth0`(root,临时路由,用完已删)。
|
||||
> 见结论 4 与 Wi-Fi 两行。
|
||||
|
||||
## 结果
|
||||
|
||||
@@ -18,7 +22,7 @@
|
||||
| spawn+shm | 178.3 | 5.61 | 5.26 | **快 36%**;与 inproc 打平(历史门 8 同结论) |
|
||||
| spawn+tcp localhost | 21.0–23.1 | 43.3–48.3 | 45–49 | **比 shm 慢 ~8 倍** |
|
||||
| spawn+tcp localhost + `SPIN_US=2000` | 63.6 | 15.7 | — | 单 knob A/B,**2.9×** |
|
||||
| tcp over Wi-Fi | — | — | — | 跨主机控制面 hang,0 有效帧(见下) |
|
||||
| tcp over Wi-Fi(WSL → 手机,绕开 xray) | 17.4 | 57.4 | — | 单次;251/251 帧、rc=0;Wi-Fi RTT 4.6–110 ms(均值 30) |
|
||||
|
||||
### openra(轻负载,128 帧;28 draws/帧、199 记录/帧)
|
||||
|
||||
@@ -29,6 +33,7 @@
|
||||
| spawn+shm | 88.8 | 11.27 | −12%,纯跨进程固定成本 |
|
||||
| spawn+tcp localhost | 76.9 | 13.00 | −24% |
|
||||
| spawn+tcp 同机 wlan0 IP(Wi-Fi 替代拓扑,不过空口) | 74.2–76.3 | 13.1–13.5 | ≈ tcp localhost,符合预期 |
|
||||
| tcp over Wi-Fi(WSL → 手机,绕开 xray) | 4.2 | 239.3 | 单次;128/128 帧;被 RTT × 同步点主导 |
|
||||
|
||||
## 结论
|
||||
|
||||
@@ -53,17 +58,21 @@
|
||||
3. **shm/inproc 已贴近它们的实际上限:apply 线程 CPU。** 帧时 5.6ms 中 3.5ms 是真实 apply 工作;
|
||||
剩下可削的是握手开销——apply 线程 6,963 次/帧 doorbell 等待、自旋占其 CPU ~35%(1.8ms/帧),
|
||||
离跨核 cache-line ping-pong 上限(估 2–5M 记录/s,实际 1.24M waits/s)还有 2–4 倍余量;park 率仅 0.05%。
|
||||
4. **Wi-Fi 臂被两个独立问题卡住。**
|
||||
- **跨主机控制面 hang(源码 bug,P12 验收 B 的直接阻塞项)**:WSL client → 手机 server 在
|
||||
`eglMakeCurrent`(控制面 seq 3)100% 复现挂死。字节级证据链:client 字节已被手机内核 ACK、
|
||||
`/proc/net/tcp` 接收队列已空,但 session child 的控制 fd `ppoll` 永远无 POLLIN(strace 现场:
|
||||
主线程 ppoll 100ms 超时循环、io 线程 recv 阻塞、apply 线程 futex parked)。
|
||||
同机 TCP(连本机 wlan0 IP)完全正常 → 特异于跨主机到达时序,疑为控制面帧重组/双 reader 竞态
|
||||
(本地 loopback 时窗口太小不出现)。已排除:丢包/PMTU/冷启动预算/LOG_FORWARD/run-ahead/token。
|
||||
复现与取证脚本:`tools/device_bench/disagg/wifi_hang_repro.sh`、`phone_strace.sh`、`fdprobe.sh`。
|
||||
- **带宽硬约束(即使修好 hang)**:实测 Wi-Fi TCP 吞吐 19–22 MiB/s(链路 5GHz 11ax、
|
||||
Tx 648–1441Mbps、RTT avg 0.78ms),rd12 满速需 ~49MB/s → **Wi-Fi 臂上限 ~40–45 fps**;
|
||||
轻负载则转为 RTT × 同步点主导。要满速必须减流量(压缩/去重)或提 credit 深度摊 RTT。
|
||||
4. **Wi-Fi 臂:没有源码 hang;带宽和 RTT 才是约束。**
|
||||
|
||||
| 项 | 原结论 | 实为 | 证据 |
|
||||
|---|---|---|---|
|
||||
| seq 3 挂死 | 控制面帧重组 / 双 reader 竞态 | 主机 `xray_tun` 终结 TCP 后中继卡住 | 同一对二进制:经 xray 挂死 13/13,每次前送日志都停在同一字节(1093 B);绕开后 openra 与 rd12 都 rc=0 |
|
||||
| 「client 字节已被 ACK」 | 手机内核 ACK | xray 本地 ACK | client 侧 `ss` 的 RTT 0.07–0.3 ms、PMTU 9000;手机看到的对端是 `192.168.31.183` |
|
||||
| 「server 卡在 MakeCurrent」 | apply 线程卡死 | server 已空闲 | 手机本地 `mgl.server.log` 走完了整个 backend 初始化,只有**前送**的日志停在第 7 条扩展;控制 / 数据两个 socket 的收发队列都是 0 |
|
||||
| Wi-Fi RTT | avg 0.78 ms | 4.6–110 ms(均值 30,省电模式) | 绕开 xray 后 `ping` 20 次 |
|
||||
| Wi-Fi 吞吐 | 19–22 MiB/s | 14.3–19.9 MiB/s(3 次) | 绕开 xray 后 `nb.py` 128 MiB,链路 11ax 5.8 GHz 1441 Mbps |
|
||||
|
||||
rd12 满速需要 ~49 MB/s。按中位 816 KB/帧算,**Wi-Fi 臂上限只有 ~18–26 fps**(原文的 40–45 算错了)。
|
||||
实测 17.4 fps ≈ 14.2 MB/s,已经贴着带宽。
|
||||
openra 每帧都有同步点:239 ms/帧 ≈ 8 × 平均 RTT。
|
||||
要提速,得减流量(压缩 / 去重)并加深 credit 来摊薄 RTT。
|
||||
**P6.5(09-22)与 P12(09-26)里 WSL → 手机的链路数也都经过 xray**(`xray_tun` 自 09-21 起在线):通过 / 失败的结论不受影响,但其中的链路 RTT / 吞吐需要带这个前提来读。
|
||||
|
||||
## 优化建议(按优先级)
|
||||
|
||||
@@ -81,8 +90,7 @@ knob 级(零代码):
|
||||
6. applier 的 WaitForWork 改自适应 spin(连续空转才降预算),与 #3 同向但更精细。
|
||||
7. sendmsg 跨 Flush 合批(收益上限 ~18% twait,排在后面)。
|
||||
8. appliedSeq/progress 合批参数**不动**(A/B 反证 ≤5%)。
|
||||
9. 修跨主机控制面 hang(方向:RunSession 控制泵 / ControlInbox 的读状态机与双 reader 交错;
|
||||
证据见 `.trace-work/perf-compare/wifi/`)。
|
||||
9. ~~修跨主机控制面 hang~~:不是源码问题(见结论 4)。跨机测试前先查路由:`ip route get <手机 IP>` 必须走物理网卡,不能走 TUN。
|
||||
|
||||
## 方法与读法陷阱(复测必读)
|
||||
|
||||
|
||||
Reference in New Issue
Block a user