GPUDirect Storage với KvikIO: đọc dữ liệu thẳng vào GPU

Một GPU mạnh vẫn có thể phải chờ nếu dữ liệu đi từ ổ lưu trữ qua bộ nhớ CPU rồi mới tới GPU. Với huấn luyện, ảnh y tế hoặc pipeline phân tích lớn, nút thắt I/O có thể làm GPU rảnh nhưng chi phí vẫn chạy. Ngày 22/10/2026, NVIDIA đăng hướng dẫn dùng KvikIO trong Python để đọc dữ liệu vào bộ nhớ GPU qua GPUDirect Storage.

Ba lớp cần phân biệt

Theo NVIDIA Technical Blog, GPUDirect Storage (GDS) là công nghệ tạo đường dữ liệu trực tiếp giữa storage được hỗ trợ và bộ nhớ GPU. cuFile là API C truy cập GDS, còn KvikIO cung cấp giao diện Python và C++ ở lớp cao hơn.

Có hai quyết định chọn đường độc lập: KvikIO quyết định gọi cuFile hay dùng tương thích POSIX; sau đó cuFile quyết định dùng nvidia-fs hay đường qua CPU. Vì vậy, chương trình chạy thành công không chứng minh GDS đã hoạt động.

Cấu hình NVIDIA dùng trong hướng dẫn

Ví dụ của hãng được thử trên hệ thống x86_64 có GPU H100, CUDA 13.3, cuFile 1.18, NVMe cục bộ định dạng ext4 và topology PIX — dữ liệu đi qua tối đa một cầu PCIe. IOMMU và ACS được tắt để giữ truyền peer-to-peer; nvidia-fs được nạp.

Đây là cấu hình thử nghiệm, không phải yêu cầu áp dụng nguyên xi cho mọi trung tâm dữ liệu. Việc tắt IOMMU hoặc ACS có ảnh hưởng tới mô hình cô lập và ảo hóa; đội vận hành phải đánh giá an toàn, khả năng PCI passthrough và chính sách nhà cung cấp trước khi thay đổi.

Cách xác nhận đường dữ liệu

1. Kiểm tra GPU, driver, CUDA, phiên bản cuFile và ma trận storage/file system được NVIDIA hỗ trợ.
2. Xem topology GPU–NVMe bằng nvidia-smi topo -nvme; ghi nhận cầu PCIe và NUMA thay vì chỉ nhìn tốc độ ổ.
3. Xác nhận nvidia-fs đã nạp và chạy gdscheck theo tài liệu NVIDIA.
4. Đặt CUFILE_STATS_LEVEL=3, chạy workload đại diện và đọc thống kê bằng gds_stats.
5. Phân biệt bộ đếm nvfs của đường tăng tốc với bộ đếm posix của đường qua CPU.
6. Thử nhiều kích thước khối, độ sâu hàng đợi và số luồng; ngưỡng KVIKIO_GDS_THRESHOLD có thể đổi đường thực thi.
7. Đo thông lượng, p95, CPU, thời gian GPU chờ dữ liệu và hiệu năng đầu cuối, không chỉ benchmark ổ đĩa.

Khi nào GDS có giá trị?

GDS đáng thử khi dữ liệu lớn, được đọc liên tục và CPU đang tốn đáng kể thời gian sao chép. Ví dụ gồm huấn luyện từ tập dữ liệu ảnh, phân tích dữ liệu bằng cuDF, xử lý ảnh khoa học và nạp nhiều shard mô hình. Với tập dữ liệu nhỏ đã nằm trong cache hoặc workload chủ yếu bị giới hạn bởi tính toán, khác biệt có thể thấp.

NVIDIA nêu KvikIO đã được dùng trong cuDF, cuCIM, cuPhoton và các workload Presto tăng tốc GPU. Đây là ví dụ của hệ sinh thái hãng, không phải cam kết tốc độ cho mọi storage. Hiệu năng còn phụ thuộc NVMe, RAID, hệ thống tệp, mạng RDMA, NUMA và số GPU tranh chấp I/O.

Tác động tới thuê GPU server tại Việt Nam

Khi đặt GPU server cho pipeline dữ liệu, doanh nghiệp nên hỏi không chỉ loại GPU mà cả số lane PCIe, topology NVMe, băng thông storage và khả năng kiểm soát kernel. Một VPS GPU bị giới hạn quyền host có thể không cho nạp nvidia-fs hoặc thay IOMMU; cần xác minh trước thay vì giả định GDS luôn khả dụng.

Câu hỏi thường gặp

Nguồn tham khảo

NVIDIA Technical Blog, đăng ngày 22/10/2026: How to Read Data into GPU Memory in Python with NVIDIA GPUDirect Storage.

Bước tiếp theo

Kỹ sư AI nên chuẩn bị loại GPU, dung lượng và loại NVMe, hệ thống tệp, kích thước tập dữ liệu, pattern đọc và mục tiêu thông lượng. Gửi thông tin qua trang Thuê GPU Server để trao đổi cấu hình benchmark; khả năng cung cấp GDS hoặc quyền kernel chỉ được xác nhận sau khi đối chiếu hạ tầng thực tế.