Backup checkpoint và dữ liệu trên GPU Server

Dữ liệu trên GPU Server có thể gồm checkpoint tải về, dataset riêng, trọng số tinh chỉnh, cấu hình và kết quả chạy. Khi kết thúc thuê hoặc máy lỗi, mất một artifact nhỏ nhưng không thể tái tạo có thể làm mất nhiều giờ tính toán.

Phân loại trước khi sao lưu

Ghi nguồn và giấy phép model/dataset theo phạm vi sử dụng. Một checkpoint có thể chứa dữ liệu hoặc khả năng suy ra thông tin từ dữ liệu huấn luyện, nên quyền chia sẻ cần được quản lý như artifact nhạy cảm.

Checkpoint để dùng model khác checkpoint để resume

Một file trọng số có thể đủ cho inference nhưng chưa đủ để tiếp tục training với trạng thái mong muốn. Tùy framework, resume có thể cần optimizer, scheduler, trạng thái bước chạy, adapter và dữ liệu cấu hình. Kiểm tra bằng run thử thay vì đoán từ tên file.

Không khuyến nghị một lệnh save chung cho mọi framework. Dùng cơ chế lưu hỗ trợ bởi bộ phần mềm và phiên bản của dự án, rồi xác nhận artifact thực sự có thể nạp hoặc resume.

Chọn chu kỳ theo thời gian phải chạy lại

Nếu có thể chấp nhận chạy lại tối đa 30 phút, thiết kế chu kỳ cùng thời gian upload để đáp ứng mục tiêu đó. Ví dụ job lưu mỗi 30 phút nhưng upload mất 20 phút có thể để bản ngoài host chậm hơn mốc mong muốn. Đo chu kỳ hoàn tất, không chỉ thời điểm bắt đầu save.

Lưu bền vững và ngoài máy

• Xác nhận disk nào tạm thời, disk nào giữ sau khi dừng thuê.
• Có bản sao ngoài host cho artifact không tái tạo được.
• Giới hạn quyền xóa/sửa bản sao của tài khoản runtime.
• Mã hóa và quản lý khóa theo yêu cầu dữ liệu.
• Chốt thời gian retention cùng dung lượng và chi phí.

Nếu chạy container, dữ liệu trong filesystem tạm của container không nên là nơi duy nhất lưu kết quả. Volume hỗ trợ lưu ngoài writable layer nhưng volume trên cùng host vẫn có rủi ro host; cần bản sao độc lập.

Tránh checkpoint dở dang

Sao lưu trong lúc framework đang ghi có thể tạo artifact không đầy đủ. Dùng tín hiệu hoàn tất hoặc cơ chế snapshot/atomic phù hợp công cụ. Với nhiều file, cần quản lý tính đầy đủ của cả bộ, không chỉ checksum một file riêng.

Thử khôi phục trên môi trường khác

1. Ghi version, dependency và revision model.
2. Lấy checkpoint cùng cấu hình cần thiết.
3. Kiểm tra tính toàn vẹn và quyền.
4. Nạp model hoặc resume một đoạn ngắn trên môi trường thử.
5. Đối chiếu output hoặc trạng thái chạy.
6. Ghi thời gian phục hồi và các bước thiếu.

Giữ một runbook có địa chỉ artifact và cách dựng môi trường nhưng không nhúng token truy cập. Khi thay GPU, cần kiểm tra tương thích phần mềm và nhu cầu VRAM; artifact đúng chưa đảm bảo mọi phần cứng đều chạy được.

Trước khi kết thúc thuê

Đồng bộ artifact cuối, kiểm tra bản sao, xác nhận quyền sở hữu và điều kiện xóa dữ liệu. Không chờ tới khi máy bị thu hồi mới tải checkpoint lớn. Khi thuê GPU Server, hỏi storage, băng thông xuất dữ liệu và thời gian truy cập sau khi dừng.