Từ giữa tháng 11, phần lớn mã của ERP không còn do người gõ nữa.
Một phiên Claude Fable 5.2 đứng làm nhạc trưởng. Nó chia việc cho vài phiên Claude Opus 5.5 viết mã song song, mỗi phiên một module hoặc một gói. Tất cả chạy trên hai cái máy hết sức bình thường. Một là t14b, cái laptop tôi ngồi làm việc hằng ngày. Hai là S09, một cái PC bàn không màn hình đặt ở góc phòng, cúp điện xong tự lên lại, không ai ngó tới.
Chạy như vậy được khoảng mười ngày, tôi gom lại những gì rút ra được. Một nửa là chuyện người: điều phối, rà soát, hỏi chủ. Nửa kia là chuyện máy: xếp hàng, chia khe cho những bài test nặng nhẹ khác nhau. Gần như luật nào dưới đây cũng sinh ra từ một lần đo thấy nghẽn, nên tôi ghi kèm con số.
1. Ai làm việc nấy
Có ba vai.
Điều phối (Fable 5.2) chia gói, soạn brief, đọc hạn mức, gộp main, gom câu hỏi cho chủ và chuẩn bị tag. Nó không viết mã module. Nó cũng không chạy đi báo chủ mỗi khi một phiên con có động tĩnh.
Phiên viết (Opus 5.5) viết mã và test trong worktree riêng, commit từng bước, push nhánh. Nó không tự gắn tag phát hành, không đọc lại cả kho, không bung tác tử phụ tràn lan.
Phiên rà (Opus 5.5) rà độc lập theo hạng được giao và nói thẳng với phiên viết. Nó không nhắn tiến độ giữa chừng cho điều phối.
Để chạy song song mà không thành cái chợ, có ba quy ước:
- Mỗi phiên một worktree,
mainchỉ nhận fast-forward. Không ai merge vàomainkiểu “gộp cho xong”. Nhánh phải rebase lên đầumainrồi mới được dời con trỏ. Hai phiên viết không bao giờ đụng chung một bộ tệp. - Commit từng bước, và chỉ commit phần của mình. Một gói lớn đi thành nhiều commit nhỏ. Mỗi commit có thân ghi rõ luật nào bị ảnh hưởng và đã kiểm theo đường nào.
- Agent không tự gắn tag phát hành. Gắn tag là deploy lên prod. Điều phối chuẩn bị đầy đủ, nhưng câu “gắn tag nhé?” thì luôn luôn là tôi bấm.
2. Mở bao nhiêu phiên là tùy hạn mức, không tùy hứng
Ngày 20/11, tôi mở sáu phiên viết cùng lúc cho “nhanh”. Hạn mức của cửa sổ năm giờ cạn trong chừng một buổi, và cả đội đứng chờ. Nhanh đâu không thấy, chỉ thấy đứng.
Từ hôm sau, điều phối tự đọc hạn mức (cả cửa năm giờ lẫn cửa tuần) ở mỗi mốc, tức là mỗi lần có một phiên báo xong gói, rồi mới quyết mở thêm hay gọi bớt:
- Bình thường: 3 phiên viết.
- Cửa năm giờ dưới 50 % và cửa tuần còn dư so với thời gian tới lúc đặt lại: 4–5 phiên.
- Cửa năm giờ trên 70 % và còn hơn một giờ mới đặt lại: không mở việc mới, để các phiên đang chạy làm xong lượt.
- Cửa năm giờ trên 85 %: tạm dừng, chỉ giữ 1–2 phiên.
- Cửa tuần trên 90 %: chỉ giữ việc đang trên đường tới tag.
Đo theo mốc chứ không đo theo đồng hồ. Không cần vòng lặp hỏi hạn mức mỗi mười phút, vì quyết định chỉ có nghĩa vào lúc có một chỗ trống cần lấp.
Đi cùng là brief tiết kiệm. Brief nêu đúng tệp, đúng phạm vi, đúng “xong là thế nào”, và dặn thẳng phiên con không đọc lại cả kho, không bung tác tử phụ. Viết brief cho tốt là cách giảm token rẻ nhất, rẻ hơn mọi tối ưu máy móc phía sau.
3. Bớt nhắn tin, gom quyết định
Tốn kém nhất hóa ra không phải viết mã. Tốn kém nhất là những vòng “đang chờ…”, “đã xong bước 2…” cứ chạy qua chạy lại phiên điều phối. Từ 18/11, luật như sau:
- Phiên con chỉ nhắn khi có kết quả hoặc có câu hỏi.
- Phiên rà nói thẳng với phiên viết. Với điều phối, nó chỉ gửi một tin kết luận: chặn, nên sửa, hay không có gì, kèm câu nào cần chủ quyết.
- Điều phối chỉ báo tôi ở mốc: chờ duyệt, có vấn đề, đã lên prod.
- Câu hỏi nào chặn việc thì hỏi ngay, dưới dạng mấy lựa chọn để tôi bấm chứ không bắt tôi gõ. Câu không chặn thì gom lại hỏi một lượt mỗi buổi. Những điểm cần chủ quyết của cả một module thì gom vào một buổi, ngay sau khi giải phẫu xong module đó.
Hóa ra chỗ nghẽn thật của dự án là chờ chủ quyết, không phải tốc độ viết. Gom quyết định lại được việc hơn là mở thêm phiên.
4. Rà theo ba hạng
Rà kiểu “cấy lỗi vào mã rồi xem test có bắt được không” thì rất mạnh. Nhưng gói nào cũng làm vậy thì tốn cả máy lẫn người. Hai ngày 17–18/11, phần lớn chi phí đổ vào những vòng rà cấy lỗi nhiều lần, mà kết luận đa phần là “test chưa bắt, nhưng mã vẫn đúng”.
Bây giờ điều phối gắn hạng cho mỗi gói ngay trong tin giao việc:
- Hạng (a): chỉ đụng test, công cụ hoặc tài liệu. Không rà độc lập. Điều phối đọc diff và CI là đủ.
- Hạng (b): dời mã, không đổi hành vi. Rà đọc một vòng, không cấy lỗi. Bằng chứng chính là máy thử chạy lại trên dữ liệu thử cho kết quả 0 lệch, cộng với test mốc.
- Hạng (c): đổi hành vi, đụng cửa ghi sổ, tiền hoặc quyền. Rà đầy đủ, có cấy lỗi. Tiền và lương thì luôn nằm ở hạng này.
Lỗ hổng của lưới test thấy được thì kê ra để ghi nợ, vá theo lô vào cuối module, không chặn gói đang đi.
Có những thứ không nới, dù đang tăng tốc cỡ nào:
- Chạy kiểm trước tag và bộ test cơ sở dữ liệu đầy đủ trên đúng cái commit sẽ gắn tag.
- Gói nào đụng ghi sổ hay đổi số thì phải qua máy thử.
- Hỏi chủ trước mỗi lần gắn tag, và trước mỗi lần đổi hành vi hay đổi bố cục.
Nhịp mặc định là hai tag mỗi ngày, một lúc sáng sớm và một lúc tối. Mỗi tag gom một chuỗi commit và chỉ kiểm một lần trên đầu chuỗi.
5. Hai cái máy, hai tính nết
t14b là laptop Ryzen 4650U, 24 GB RAM. Tôi ngồi máy này hằng ngày. Mọi phiên Claude đều chạy ở đây. Việc thường trực của nó là phát hành và chạy test nhanh.
S09 là PC bàn Core Ultra 5 225 (10 nhân thật), 16 GB RAM, ổ NVMe. Không ai ngồi, không màn hình. Không có phiên Claude nào chạy trên đó; t14b gửi việc sang. Việc thường trực của nó là máy thử, kiểm trước tag, bộ test cơ sở dữ liệu đầy đủ, CI và e2e.
Hai điểm thiết kế quan trọng:
- S09 là máy chạy việc, không phải máy giữ bí mật. Mọi quyền phát hành và quyền ghi đều ở lại máy chính. S09 chỉ được đọc mã để tự kéo về, nên commit nào muốn kiểm trên S09 thì phải push trước. Không có hệ thống bên ngoài nào được gọi thẳng vào hai cái máy này.
- Thay đổi nào có rủi ro thì phải do chủ tự tay bật. Agent không có quyền quản trị trên S09. Chủ chưa bật thì hệ thống tự quay về hành vi an toàn cũ. Luật đổi được, nhưng người đổi phải là chủ.
6. Một cái khóa, tách thành nhiều làn
Ban đầu, mọi việc nặng trên một máy đi qua một cái khóa và một checkout. Đơn giản, an toàn, và nghẽn.
Đo chiều 17/11: S09 nhận khoảng 45 lượt. Trong đó khoảng 40 lượt là việc ngắn: test DB lọc từ vài giây tới 2 phút, offline khoảng 4 phút. Vậy mà chúng phải xếp hàng sau máy thử hay kiểm trước tag tới 24–25 phút, trong khi máy vẫn còn 7,5 GB RAM để không. Nghẽn vì cái khóa, chứ không phải vì thiếu máy.
Lời giải là tách khóa theo loại tài nguyên mà việc thật sự giành nhau. S09 bây giờ có bốn làn:
- Làn trình duyệt: kiểm trước tag, e2e CI. Chrome ăn 10–12 GB, nên làn này chỉ chứa nổi một việc.
- Làn dữ liệu: máy thử, bộ test cơ sở dữ liệu đầy đủ của các phiên. Nhẹ RAM (khoảng 1,5 GB) nhưng nặng thời gian, chạy được bên cạnh làn trình duyệt.
- Làn Kiểm: bước test cơ sở dữ liệu của CI Kiểm. Làn này tách ra sau ngày 19/11. Hôm đó làn dữ liệu bão hòa (19 lượt máy thử, mỗi lượt khoảng 27 phút). CI Kiểm từ 4 phút kéo dài thành 15–24 phút, Deploy cũng phải chờ theo.
- Khe việc nhẹ (tối đa 3): offline, test cơ sở dữ liệu lọc theo tên. Một nhân, khoảng 100 MB, chẳng có lý do gì phải chờ việc nặng.
Mỗi làn có worktree riêng trên S09 và cài gói theo lockfile của đúng commit đó. Nhờ vậy hai làn không giành nhau một checkout, và checkout chính không bị đổi tới đổi lui. Mỗi làn cũng có cổng riêng; hai lối mà chung cổng thì có test báo đỏ ngay. Việc nào không khai làn, như dọn Docker hay script ở một nhánh cũ chưa rebase, thì giữ tất cả các khóa như trước. Mã cũ vì thế vẫn an toàn.
Thử thật ngày 18/11: kiểm trước tag với 5 cửa sổ trình duyệt chạy xanh trong 16,8 phút, song song với máy thử và một lượt test DB lọc. RAM rỗi lúc thấp nhất còn 4,0 GB.
Hai cái chốt cho khe nhẹ
Khe nhẹ rất dễ bị lạm dụng thành “chạy hết mọi thứ cùng lúc”, nên có hai chốt cứng:
- RAM khả dụng dưới 3 000 MB thì không cấp khe mới.
- Làn trình duyệt đang có việc thì chỉ còn 1 khe.
Cả hai là biến môi trường có giá trị mặc định, đo lại được. Không phải con số nằm chết trong đầu ai.
7. Máy mạnh nhận trước, máy người dùng là chỗ tràn
Sau vụ 17/11, chúng tôi dời hết việc ngắn về t14b cho khỏi xếp hàng. Ba ngày sau nhìn lại: S09 (10 nhân thật) bận nhiều nhất 52 phút mỗi giờ trên ba làn. Còn t14b, cái laptop tôi đang ngồi gõ, tải 3–5 liên tục và nóng tới 82 °C. Chia tải mà dồn hết về máy người đang dùng thì đâu phải chia tải.
Luật hiện tại (21/11) cho bài offline đủ bộ:
- Commit đã push thì gửi sang S09. S09 chạy khoảng 4 phút; t14b phải mất khoảng 7.
- Log báo việc nhẹ phải chờ tới lượt nghĩa là S09 hết khe. Đừng đứng chờ. Dừng lượt đó trên S09 và chạy trần ngay tại t14b.
- Chưa push, hoặc không tới được S09, thì chạy tại t14b luôn.
Vì sao không chuyển hẳn sang S09? Vì có những ngày kiểm trước tag chạy liên tục (18/11: 18 lượt, mỗi lượt khoảng 17 phút), S09 chỉ còn đúng một khe nhẹ. Các lượt offline sẽ nối đuôi nhau, lượt thứ tư chờ chừng 12 phút, trong lúc t14b ngồi rảnh. “Máy mạnh trước, máy người dùng làm chỗ tràn” hơn hẳn cả hai cực “dồn hết một chỗ”.
Còn test DB lọc một hai bộ thì cứ chạy ngay trên t14b: 12 giây tại chỗ, nhanh hơn công push rồi gửi đi.
Một bài học nhỏ mà đắt: dời việc sang máy nào thì kiểm luôn cái khóa ở máy đó. Ngày 18/11, việc ngắn đã về t14b nhưng vẫn còn bọc khóa việc nặng. Một lượt offline giữ khóa 7 phút chặn bốn lượt khác. Hai lượt test DB 12 giây phải chờ 17 phút, trong khi máy chỉ tải 2,4 trên 12 nhân. Bây giờ việc nhẹ chạy trần hoặc xin khóa kiểu nhẹ, không bao giờ giữ cả cái máy.
8. Đo trước, chia sau
Luật nào ở trên cũng ra đời từ một lần đo. Vậy mà cho tới sáng 21/11, trên t14b không có dấu vết gì về chuyện ai chạy gì, chờ bao lâu. Con số nào cũng phải đào từ mấy cái log rời rạc.
Bây giờ, mỗi lần giữ hay nhả khóa (và mỗi lượt offline chạy trần) đều ghi một dòng nhật ký trên cả hai máy: chờ bao nhiêu giây, giữ bao nhiêu giây, chạy xong hay lỗi. Một lệnh thống kê gom lại thành bảng theo ngày và theo từng loại việc.
Bảng này là đầu vào cho mấy bước còn lại của kế hoạch chia tải. Một là lệnh tự chọn máy, thay cho luật “S09 trước” mà các phiên đang tự làm bằng tay. Hai là đo thật cảnh ba việc chạy cùng lúc. Ba là hạ trần việc nhẹ trên t14b từ 3 xuống 2. Chưa có số đo thì chưa làm.
9. Luật nằm trong test, không nằm trong trí nhớ
Mười phiên agent không thể “nhớ” một luật mà phiên khác chốt hôm qua. Nên luật nào về khóa, làn, khe cũng có test chạy trên một kho git giả, không cần máy thật:
- Test cho làn, khe nhẹ và nhật ký.
- Test cho chuyện gửi việc sang S09: nối lại khi kết nối đứt, trả checkout về chỗ cũ kể cả khi bị dừng giữa chừng.
- Test cho máy thử: báo đỏ khi hai làn chung cổng.
Bản vá bước 1–2 của chia tải mở đầu bằng 13 ca test, 8 ca đỏ trên mã cũ, rồi mới viết mã cho tới khi còn 0 ca đỏ.
Câu chữ cũng vậy. Khi luật đổi từ “đừng gửi offline sang S09” thành “gửi S09 trước”, cụm chữ cũ được đưa vào một sổ cấm, để một test chặn nó quay lại trong tài liệu hay chú thích. Agent đọc tài liệu cũ thì sẽ làm theo tài liệu cũ. Nên tài liệu cũ không được phép tồn tại.
Tóm lại, cho ai muốn chép
- Một điều phối, nhiều người viết. Mỗi người viết một worktree,
mainchỉ fast-forward, agent không tự phát hành. - Số phiên chạy theo hạn mức, đo ở mỗi mốc, có ngưỡng ghi sẵn.
- Brief hẹp. Chỉ nhắn khi có kết quả. Quyết định của chủ gom theo buổi; câu nào chặn việc thì hỏi ngay bằng nút bấm.
- Rà theo hạng rủi ro. Cấy lỗi dành cho tiền, sổ, quyền.
- Máy chạy việc không giữ bí mật. Thay đổi rủi ro do người tự tay bật; chưa bật thì về hành vi an toàn.
- Tách khóa theo tài nguyên thật sự giành nhau (trình duyệt, dữ liệu, CI, việc nhẹ). Mỗi làn một worktree, một cổng riêng.
- Máy mạnh nhận trước, máy người đang dùng làm chỗ tràn. Dời việc đi đâu thì kiểm khóa ở chỗ đó.
- Ghi nhật ký lượt chạy trước khi bàn chuyện chia tải tiếp.
- Luật vào test, cụm chữ cũ vào sổ cấm, để agent mới khỏi học lại luật đã bỏ.
Mười ngày, chín luật. Luật nào cũng được trả giá bằng một lần nghẽn. Cái máy góc phòng vẫn im lặng chạy, cái laptop thì đã bớt nóng.