GeForce RTX 3090: thông số, phiên bản và mô hình AI

Khi mục tiêu là thử nghiệm mô hình nhỏ hoặc tạo ảnh, RTX 3090 có thể đáng khảo sát nếu tổng chi phí phù hợp. 24 GB giúp linh hoạt hơn card ít bộ nhớ, nhưng tuổi phần cứng và hệ thống làm mát ảnh hưởng vận hành lâu dài.

Thông số cần biết trước khi chọn máy

Theo tài liệu chính hãng, cấu hình tham chiếu của GeForce RTX 3090 có các thông số dưới đây. VRAM là bộ nhớ ngay trên GPU, khác RAM của máy chủ. Băng thông bộ nhớ cho biết khả năng trao đổi dữ liệu bên trong card; không phải tốc độ mạng Internet.

Công suất trong bảng là giá trị tham chiếu của sản phẩm hoặc nền tảng, không phải mức điện máy luôn tiêu thụ. Khi chọn gói thuê, cần xem cả CPU, RAM hệ thống, ổ NVMe, đường mạng và số GPU. Hai máy cùng card có thể cho kết quả khác nhau nếu dữ liệu bị chờ ở CPU hoặc ổ đĩa.

Điểm mới của công nghệ có ích gì?

Ampere đưa Tensor Cores thế hệ 3 và RT Cores thế hệ 2 vào GeForce; dung lượng 24 GB là điểm nổi bật cho tác vụ sáng tạo và thử nghiệm AI khi ra mắt. Đây là bước tiến lịch sử của dòng card, không phải công nghệ mới nhất hiện nay.

Tính toán Tensor là các phép toán ma trận phục vụ học sâu. Con số TFLOPS/TOPS cực đại mô tả khả năng tính toán trong điều kiện nhất định, không cho biết trực tiếp bao nhiêu câu trả lời mỗi giây. Muốn so card, hãy chạy cùng mô hình, cùng độ chính xác và cùng độ dài đầu vào; số học FP4, FP8 và FP16 không được xếp chung như một thang tốc độ.

Các phiên bản và dung lượng: đọc đúng tên sản phẩm

Ví dụ có phiên bản bộ nhớ thật: RTX 4060 Ti và RTX 5060 Ti có bản 8 GB/16 GB. Ngược lại, RTX 3090 24 GB, RTX 5090 32 GB và RTX A6000 48 GB là các model khác nhau, không phải ba bản bộ nhớ của một card. Phần mềm phải được thử lại khi đổi model hoặc dung lượng.

Không phải GPU nào cũng có đủ bản 16, 24, 32 và 48 GB. Thay quạt, ép xung hoặc đổi thương hiệu bo mạch không tự tạo một dung lượng VRAM mới. Card đã độ bộ nhớ và tài nguyên vGPU/MIG cần được ghi riêng, không trình bày như phiên bản chính hãng. Yêu cầu nhà cung cấp xác nhận mã SKU, dung lượng thực nhận và quyền dùng nguyên GPU hay một phần.

Những mô hình nào nên thử trên GPU này?

Qwen2.5-7B-Instruct và Llama 3.1 8B ở BF16 có thể được thử trên một card với tải giới hạn. Qwen2.5-32B 4-bit là phương án cần đo sát bộ nhớ; SDXL phù hợp để thử pipeline tạo ảnh ở độ phân giải và batch cụ thể.

Các gợi ý ở đây là đánh giá dung lượng để chọn ứng viên thử nghiệm, chưa phải benchmark trên máy của thuemaychu.vn. Model card của Qwen2.5-32B-Instruct và Llama 3.1 70B Instruct giúp xác định đúng mô hình, điều kiện sử dụng và phần mềm. B là tỷ tham số; cùng tên họ mô hình vẫn có nhiều kích thước.

Lượng tử hóa là giảm số bit biểu diễn trọng số. Mốc 4-bit phía trên không phải dung lượng file hay bộ nhớ đo được: định dạng còn có hệ số tỉ lệ và dữ liệu phụ. KV cache là bộ nhớ giữ thông tin các token đã xử lý; nó tăng theo độ dài đầu vào và số phiên. Dung lượng thực tế cũng cần cộng phần engine, bộ nhớ tạm và các mô hình khác trong ứng dụng.

70B 4-bit không nằm trọn trong 24 GB. Không lấy thông số 3090 Ti cho 3090: hai phiên bản có công suất và thông số khác nhau.

Chạy câu trả lời khác với tinh chỉnh mô hình

Inference là dùng mô hình để sinh kết quả. Fine-tuning là tinh chỉnh bằng dữ liệu mới, cần thêm bộ nhớ cho quá trình học. LoRA/QLoRA giảm phần phải huấn luyện nhưng vẫn phụ thuộc batch, độ dài chuỗi và công cụ. Một mô hình nạp vừa để inference không có nghĩa sẽ tinh chỉnh được với cùng cấu hình. Với SDXL, phải tính cả pipeline tạo ảnh và bộ tinh chỉnh nếu bật; độ phân giải và batch ảnh làm thay đổi mức dùng VRAM.

Điều kiện triển khai và giới hạn cần kiểm tra

Nếu dùng hai RTX 3090, kiểm tra cầu NVLink, bo mạch và cách engine chia mô hình. NVLink hỗ trợ trao đổi dữ liệu, không làm mọi ứng dụng tự nhận một vùng VRAM chung. Máy thuê cần được kiểm thử nhiệt độ, lỗi bộ nhớ và tải liên tục.

1. Chốt đúng checkpoint, phiên bản engine và phương pháp lượng tử hóa. Xem giấy phép mô hình trước khi dùng thương mại.
2. Thử với một phiên và đầu vào ngắn, ghi mức VRAM cao nhất; sau đó tăng lần lượt độ dài và số phiên.
3. Đo thời gian tới token đầu tiên, tốc độ sinh và tỷ lệ lỗi ở tải mục tiêu. Không chỉ đo một câu hỏi ngắn.
4. Kiểm tra nhiệt độ, điện, ổ lưu dữ liệu và phục hồi dịch vụ sau khởi động lại. Với nhiều GPU, xác minh engine thật sự chia tải.
5. Đặt giới hạn đầu vào và hàng đợi, dành dư địa bộ nhớ thay vì chạy sát dung lượng danh nghĩa.

Gửi yêu cầu cấu hình để nhận tư vấn phù hợp

Nếu đội bạn đang chọn GPU Server, gửi tên model, phiên bản, số người dùng đồng thời, độ dài tài liệu và ngân sách tới hotro@thuemaychu.vn hoặc gọi 028.888.70979. Yêu cầu xác nhận đúng GPU, dung lượng thực cấp, toàn bộ cấu hình máy và phép thử trước khi chốt. Xem bảng giá GPU Server; bài này không xác nhận card luôn sẵn hoặc gói thuê có cùng hiệu năng trên mọi ứng dụng.