1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

title: "我的AI在for循环中从磁盘读取JSON 900次（为什么没有静态代码检查工具能拯救你）"
date: 2026-02-24T14:00:00+01:00
draft: false
slug: "ai-read-json-900-times-in-for-loop"
slug_en: "llm-read-json-900-times-loop-performance"
description: "一个LLM写了段代码，在一个包含900个文件的循环中，每次迭代都从磁盘读取并解析一个JSON文件。这是个新手犯的错误，没有任何静态代码检查工具能察觉到它。"
tags: ["AI", "LLM", "性能", "Swift", "Tokamak", "对抗性开发"]
categories: ["观点"]

translation:
  hash: ""
  last_translated: ""
  notes: |
    - "de primero de carrera": 可以理解为“新手错误”/“初学者的错误”，不必直接翻译成“职业生涯的第一年”。
    - "enseño a mis alumnos al mes de empezar": 可译为“我会在学生入门后的第一个月教这个”，表示这是一项非常基础的内容。
    - "marear la perdiz": 翻译为“拖延问题”/“绕圈子”。猎人隐喻来源。
    - "chapuza": 表示粗糙的解决方案，可译为“临时方案”/“hack”。
    - "burrada": 可翻译为“明显的错误”，语气强于“mistake”，弱于“atrocity”。
    - "barra del bar": 可译为“酒吧柜台”，表示非正式的场景，不是字面意义的菜单操作。
    - "ojo al dato": 翻译为“请注意”。 
    - "dicho en cristiano": 翻译为“简单来说”。无宗教意味。
---

上周，我的AI写了一段代码，每次都从磁盘读取一个JSON文件，对其解析后再进行一次**查找**，然后总共重复了900次。这意味着每次迭代里都会经历：打开文件，解码JSON，找到某个值，再全部丢弃从头开始。

这个错误是我在教学生编程的第一个月就会告诉他们千万不要犯的。

## 发生了什么事（长话短说）

我在开发Tokamak，一个用于macOS的菜单栏应用，用来监控Claude Max的配额使用情况。它的一部分功能需要扫描约900个Claude Code会话数据生成的JSONL文件（JSON Lines）。对于每个文件，它需要知道在上一次的扫描中读取的**字节偏移量**（增量读取——只读取新数据）。

偏移量都保存在一个JSON文件中：

```json
{
  "version": 1,
  "offsets": {
    "proyecto-a/sesion-1.jsonl": 48231,
    "proyecto-b/sesion-2.jsonl": 12044
  }
}

1
2
3
4
5
6
7
8
9

for file in files {  // 900个文件
    let storedOffset = offsetStore.offset(for: file.relativePath)
    // ↑ 每次读取和解析磁盘上的JSON文件！！！

    if file.fileSize == storedOffset { continue }
    // ... 读取文件，更新偏移量 ...
    offsetStore.setOffset(newOffset, for: file.relativePath)
    // ↑ 再读一次，同一个JSON文件，然后修改并保存。
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

// 修复前：每次迭代都进行I/O
for file in files {
    let offset = offsetStore.offset(for: file.relativePath) // 读取JSON
    // ...
    offsetStore.setOffset(newOffset, for: file.relativePath) // 再次读取+保存JSON
}

// 修复后：一次读取，内存操作，一次保存
var offsets = offsetStore.load()  // 仅加载一次
for file in files {
    let offset = offsets.offsets[file.relativePath] ?? 0  // O(1)内存操作
    // ...
    offsets.offsets[file.relativePath] = newOffset
}
offsetStore.save(offsets)  // 仅保存一次

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

@Test("扫描性能不会随文件数量下降")
func scanPerformanceDoesNotDegradeWithFileCount() async throws {
    // 创建1000个最简单的JSONL文件
    for i in 0..<1000 {
        let content = "..." // 一行有效内容
        try content.write(to: dir.appendingPathComponent("session-\(i).jsonl"), ...)
    }
    // 预先填充offset store（模拟重新扫描流程）
    var offsets = SessionOffsetStore.OffsetData()
    for i in 0..<1000 {
        offsets.offsets["session-\(i).jsonl"] = 100
    }
    offsetStore.save(offsets)

    let start = ContinuousClock.now
    await service.scan()
    let elapsed = ContinuousClock.now - start

    #expect(elapsed < .seconds(3))  // 1000文件扫描时间<3s
}