GPU / AI

AMD Enterprise AI 2.6: thử mô hình trên MI350P

AMD công bố các gói suy luận đầu tiên cho MI350P. Đội AI nên chọn đúng cấu hình trong danh mục và thử chất lượng, bộ nhớ, tải đồng thời trước khi chuyển.

thuemaychu.vn
Minh họa mô-đun tăng tốc cạnh các khối triển khai mô hình

Đội AI đang chạy chatbot trên một dòng GPU khác và muốn thử AMD MI350P. Câu hỏi đầu tiên là mô hình đang dùng có cấu hình được AMD công bố hay nhóm sẽ phải tự đóng gói. Bản Enterprise AI 2.6 giúp trả lời câu hỏi đó cho một phần danh mục, đồng thời cho đội triển khai một mốc để kiểm tra phiên bản phần mềm.

AMD đã mở gì ngày 13/11?

Theo ghi chú phát hành AMD, Enterprise AI 2.6 công bố lần đầu các AIM dành cho MI350P. AIM là các gói phần mềm phục vụ mô hình đã được AMD đóng gói; cấu hình trong danh mục cho biết gói nào có lựa chọn cho phần cứng cụ thể. Các cấu hình MI350P được xây trên ROCm 10, bộ phần mềm để ứng dụng dùng GPU AMD. Hãng cũng ghi nhận bộ thành phần tham chiếu đã được xác thực trên ROCm 10.

Danh sách không đồng nghĩa mọi mô hình đều chạy được trên MI350P. AMD nêu một số mẫu mới có cấu hình MI350P, nhưng Kimi-K3 trong nhóm đó chỉ được liệt kê cho Instinct MI300X–MI355X. Hãy kiểm tra đúng tên mô hình và cấu hình ngay trước khi thử. Phát hành gói phần mềm cũng không xác nhận phần cứng đã sẵn để thuê tại Việt Nam.

Bắt đầu từ một nhu cầu có thể đo

Chọn một luồng như trả lời câu hỏi dựa trên tài liệu nội bộ hoặc trích thông tin từ biểu mẫu. Giữ một tập đầu vào tiếng Việt đã loại dữ liệu nhạy cảm và có kết quả mong đợi. Nếu ứng dụng đang phục vụ khách, giữ bản mô hình, cấu hình và số đo của hệ thống hiện tại để đối chiếu. Việc chuyển sang phần cứng khác chỉ có ý nghĩa khi chất lượng vẫn đạt yêu cầu và lợi ích vận hành đủ rõ.

Với mô hình hội thoại, dành một nhóm câu hỏi có tài liệu dài và một nhóm yêu cầu đến đồng thời. Đo thời gian đến phần trả lời đầu tiên, thời gian hoàn thành và tỷ lệ lỗi. Ghi cả mức bộ nhớ lúc mới nạp và lúc cao điểm. Với tác vụ xử lý theo lô, thay tiêu chí thời gian chờ bằng số hồ sơ đạt chất lượng trong một khoảng thời gian cố định.

Checklist thử cấu hình AMD

  • Ghi mã GPU, bản trình điều khiển, ROCm, tên gói mô hình và các giới hạn bộ nhớ. Ưu tiên cấu hình hãng đã liệt kê trước khi thử biến thể tự xây.
  • Tách lần chạy đầu khỏi các lần chạy sau để thấy tác động của thời gian nạp mô hình. Thử cả khi ít người dùng lẫn khi yêu cầu đến dồn dập.
  • Ghi rõ định dạng số của trọng số, phần dữ liệu mô hình đã học. Nếu đổi định dạng để giảm bộ nhớ, đánh giá lại nội dung tiếng Việt và khả năng trích dẫn nguồn.
  • Đo việc triển khai lại từ đầu và kiểm tra cách theo dõi lỗi. Nếu cần thay phiên bản, chuẩn bị đường quay lại trước khi chuyển lưu lượng.

Khi nào nên thử tiếp?

Nếu danh mục có cấu hình sát nhu cầu và nhóm có thể tái tạo kết quả trên hai lần triển khai, tiếp tục thử tải và tính chi phí trên số yêu cầu hoàn thành đạt chuẩn. Nếu cấu hình chưa có và nhóm chưa đủ thời gian duy trì gói riêng, giữ phương án đang chạy rồi đặt điều kiện để đánh giá lại. Đừng dùng một lần mô hình trả lời thành công làm tiêu chí nghiệm thu.

ROCm 10 có nghĩa mọi AIM chạy trên MI350P?

Không. Hãy xem mục hỗ trợ GPU của từng cấu hình trong danh mục.

Có cần chuyển toàn bộ ứng dụng để thử?

Có thể thử một luồng riêng bằng dữ liệu mẫu và giữ hệ thống đang phục vụ khách để so sánh.

Nguồn tham khảo

Đội AI cần dựng môi trường thử có thể xem máy chủ GPU và gửi tên mô hình, bản ROCm mong muốn, số phiên đồng thời và tiêu chí phản hồi qua hotro@thuemaychu.vn để xác nhận phương án phù hợp.

Cần máy chủ cho workload này?

NOC thuemaychu.vn hỗ trợ chọn CPU, GPU và băng thông. PoC trong 24 giờ.

Bài viết liên quan

Xem tất cả bài viết
GọiFBZaloSalesZaloOA