GeForce RTX 5090: thông số, phiên bản và mô hình AI

Đội làm chatbot hoặc tạo ảnh cần cân bằng bộ nhớ với giá thuê thường bắt đầu từ GeForce. RTX 5090 có 32 GB, nhưng không phải cứ là thế hệ mới thì sẽ chứa được mô hình 70B.

Thông số cần biết trước khi chọn máy

Theo tài liệu chính hãng, cấu hình tham chiếu của GeForce RTX 5090 có các thông số dưới đây. VRAM là bộ nhớ ngay trên GPU, khác RAM của máy chủ. Băng thông bộ nhớ cho biết khả năng trao đổi dữ liệu bên trong card; không phải tốc độ mạng Internet.

Công suất trong bảng là giá trị tham chiếu của sản phẩm hoặc nền tảng, không phải mức điện máy luôn tiêu thụ. Khi chọn gói thuê, cần xem cả CPU, RAM hệ thống, ổ NVMe, đường mạng và số GPU. Hai máy cùng card có thể cho kết quả khác nhau nếu dữ liệu bị chờ ở CPU hoặc ổ đĩa.

Điểm mới của công nghệ có ích gì?

Tensor Cores thế hệ 5 hỗ trợ tính toán FP4, bộ nhớ GDDR7 và RT Cores thế hệ 4. Điểm đáng chú ý cho AI là có thêm dung lượng so với RTX 4090 và đường xử lý số thấp chính xác; lợi ích chỉ xuất hiện khi phần mềm dùng được các phép toán đó.

Tính toán Tensor là các phép toán ma trận phục vụ học sâu. Con số TFLOPS/TOPS cực đại mô tả khả năng tính toán trong điều kiện nhất định, không cho biết trực tiếp bao nhiêu câu trả lời mỗi giây. Muốn so card, hãy chạy cùng mô hình, cùng độ chính xác và cùng độ dài đầu vào; số học FP4, FP8 và FP16 không được xếp chung như một thang tốc độ.

Các phiên bản và dung lượng: đọc đúng tên sản phẩm

Ví dụ có phiên bản bộ nhớ thật: RTX 4060 Ti và RTX 5060 Ti có bản 8 GB/16 GB. Ngược lại, RTX 3090 24 GB, RTX 5090 32 GB và RTX A6000 48 GB là các model khác nhau, không phải ba bản bộ nhớ của một card. Phần mềm phải được thử lại khi đổi model hoặc dung lượng.

Không phải GPU nào cũng có đủ bản 16, 24, 32 và 48 GB. Thay quạt, ép xung hoặc đổi thương hiệu bo mạch không tự tạo một dung lượng VRAM mới. Card đã độ bộ nhớ và tài nguyên vGPU/MIG cần được ghi riêng, không trình bày như phiên bản chính hãng. Yêu cầu nhà cung cấp xác nhận mã SKU, dung lượng thực nhận và quyền dùng nguyên GPU hay một phần.

Những mô hình nào nên thử trên GPU này?

Qwen2.5-32B-Instruct ở 4-bit có khoảng 16 GB trọng số lý tưởng, là ứng viên cần thử với đầu vào ngắn và ít phiên. Qwen2.5-7B hoặc Llama 3.1 8B ở BF16 có khoảng 14–16 GB trọng số, còn chỗ cho dữ liệu chạy nếu giới hạn tải.

Các gợi ý ở đây là đánh giá dung lượng để chọn ứng viên thử nghiệm, chưa phải benchmark trên máy của thuemaychu.vn. Model card của Qwen2.5-32B-Instruct và Llama 3.1 70B Instruct giúp xác định đúng mô hình, điều kiện sử dụng và phần mềm. B là tỷ tham số; cùng tên họ mô hình vẫn có nhiều kích thước.

Lượng tử hóa là giảm số bit biểu diễn trọng số. Mốc 4-bit phía trên không phải dung lượng file hay bộ nhớ đo được: định dạng còn có hệ số tỉ lệ và dữ liệu phụ. KV cache là bộ nhớ giữ thông tin các token đã xử lý; nó tăng theo độ dài đầu vào và số phiên. Dung lượng thực tế cũng cần cộng phần engine, bộ nhớ tạm và các mô hình khác trong ứng dụng.

Một RTX 5090 không chứa trọn 70B Q4 thông thường: riêng trọng số lý tưởng đã khoảng 35 GB. Chuyển một phần sang RAM hệ thống có thể chạy được nhưng làm thay đổi độ trễ; cần gọi đúng là chạy có offload.

Chạy câu trả lời khác với tinh chỉnh mô hình

Inference là dùng mô hình để sinh kết quả. Fine-tuning là tinh chỉnh bằng dữ liệu mới, cần thêm bộ nhớ cho quá trình học. LoRA/QLoRA giảm phần phải huấn luyện nhưng vẫn phụ thuộc batch, độ dài chuỗi và công cụ. Một mô hình nạp vừa để inference không có nghĩa sẽ tinh chỉnh được với cùng cấu hình. Với SDXL, phải tính cả pipeline tạo ảnh và bộ tinh chỉnh nếu bật; độ phân giải và batch ảnh làm thay đổi mức dùng VRAM.

Điều kiện triển khai và giới hạn cần kiểm tra

GeForce không tự cung cấp các tính năng phân vùng phần cứng và điều kiện vận hành giống GPU data center. Cần kiểm tra phiên bản CUDA, PyTorch và engine có hỗ trợ Blackwell; phần mềm cũ có thể chưa có kernel phù hợp.

1. Chốt đúng checkpoint, phiên bản engine và phương pháp lượng tử hóa. Xem giấy phép mô hình trước khi dùng thương mại.
2. Thử với một phiên và đầu vào ngắn, ghi mức VRAM cao nhất; sau đó tăng lần lượt độ dài và số phiên.
3. Đo thời gian tới token đầu tiên, tốc độ sinh và tỷ lệ lỗi ở tải mục tiêu. Không chỉ đo một câu hỏi ngắn.
4. Kiểm tra nhiệt độ, điện, ổ lưu dữ liệu và phục hồi dịch vụ sau khởi động lại. Với nhiều GPU, xác minh engine thật sự chia tải.
5. Đặt giới hạn đầu vào và hàng đợi, dành dư địa bộ nhớ thay vì chạy sát dung lượng danh nghĩa.

Gửi yêu cầu cấu hình để nhận tư vấn phù hợp

Nếu đội bạn đang chọn GPU Server, gửi tên model, phiên bản, số người dùng đồng thời, độ dài tài liệu và ngân sách tới hotro@thuemaychu.vn hoặc gọi 028.888.70979. Yêu cầu xác nhận đúng GPU, dung lượng thực cấp, toàn bộ cấu hình máy và phép thử trước khi chốt. Xem bảng giá GPU Server; bài này không xác nhận card luôn sẵn hoặc gói thuê có cùng hiệu năng trên mọi ứng dụng.