AWS Lambda hỗ trợ Kafka queue: tăng song song không cần thêm partition

Một topic Kafka chỉ có 12 partition thường chỉ cấp tối đa 12 consumer hoạt động trong cùng consumer group. Khi lưu lượng tăng đột biến, đội vận hành phải thêm partition hoặc dựng một lớp hàng đợi khác dù từng sự kiện có thể xử lý độc lập. Ngày 02/11/2026, AWS bổ sung chế độ Queue cho Lambda khi đọc nguồn Apache Kafka tự quản lý.

Bài dành cho đội backend và nền tảng sự kiện. Chế độ mới tăng độ song song, nhưng đổi lại không giữ thứ tự trong partition. Vì vậy đây không phải nút tăng tốc áp dụng cho mọi pipeline.

Cơ chế mới thay đổi điều gì

Theo AWS What's New ngày 02/11/2026, event source mapping của Lambda có thể dùng Kafka share groups. Share group cho phép nhiều bộ thăm dò cùng lấy sự kiện từ một partition; mỗi bộ thăm dò hỗ trợ tối đa 10 lần gọi Lambda đồng thời.

Khả năng này áp dụng cho cụm Kafka khách hàng tự vận hành và dịch vụ tương thích như Confluent Cloud. AWS yêu cầu cụm có share groups, chẳng hạn Apache Kafka 4.2 trở lên. Nhà sản xuất sự kiện, cấu hình topic và mã hàm không cần đổi chỉ để bật chế độ tiêu thụ mới.

Khi nào Queue phù hợp

Queue mode phù hợp khi mỗi bản ghi là một đơn vị độc lập: xử lý ảnh hoặc video, gửi thông báo, chấm điểm gian lận, thu thập telemetry và các job không phụ thuộc thứ tự. Một sự kiện chậm hoặc lỗi không còn giữ các sự kiện phía sau trong cùng partition, nên hệ thống phục hồi tốt hơn khi thời gian xử lý không đồng đều.

Ngược lại, không nên bật nếu nghiệp vụ cần thứ tự tuyệt đối: cập nhật số dư, chuỗi trạng thái đơn hàng, bù trừ giao dịch hoặc mọi luồng mà bản ghi B phải luôn chạy sau A. Queue mode không bảo toàn thứ tự partition. Việc xử lý song song cũng làm tăng yêu cầu idempotency, tức chạy lại cùng sự kiện không được tạo kết quả sai hoặc ghi trùng.

Checklist thử nghiệm trước khi chuyển

1. Xác định rõ topic nào không phụ thuộc thứ tự; ghi quyết định bằng ví dụ nghiệp vụ, không chỉ dựa vào mô tả kỹ thuật.
2. Kiểm tra phiên bản Kafka và trạng thái share groups; không suy từ việc client mới là broker đã hỗ trợ.
3. Tạo khóa idempotency và cơ chế chống ghi trùng cho cơ sở dữ liệu, API ngoài và hệ thống gửi thông báo.
4. Đặt dead-letter hoặc luồng xử lý sự kiện lỗi, giới hạn số lần thử lại và thời gian giữ bản ghi.
5. Đo độ trễ từ lúc ghi vào Kafka đến lúc hoàn tất, số lần gọi đồng thời, lỗi do giới hạn dịch vụ và chi phí Lambda.
6. Thử sự kiện chậm, lỗi tạm thời và tải tăng; xác nhận một bản ghi xấu không làm cạn tài nguyên của toàn hàm.
7. Bật theo từng topic hoặc nhóm consumer, có đường quay lại chế độ ConsumerGroup nếu hành vi thực tế khác dự kiến.

Ảnh hưởng tới hạ tầng Việt Nam

Với hệ thống đặt Kafka tại máy chủ riêng nhưng xử lý ở AWS, đường truyền và phí dữ liệu vẫn là biến số lớn. Tăng số lời gọi đồng thời có thể làm lộ giới hạn ở database, API nội bộ hoặc NAT trước khi Kafka hết khả năng. Đội vận hành nên đo toàn chuỗi, không chỉ số bản ghi Lambda xử lý mỗi giây.

AWS cho biết Queue mode có giá Lambda tiêu chuẩn; nếu dùng provisioned mode, khách hàng còn trả Event Poller Unit. Không có một mức tiết kiệm chung cho mọi workload. Đội backend có thể chuẩn bị phiên bản Kafka, số partition, lưu lượng cao điểm, yêu cầu thứ tự và đích ghi dữ liệu rồi trao đổi qua trang bảng giá máy chủ để đánh giá phần nào nên đặt gần nguồn dữ liệu.

Nguồn tham khảo

• AWS What's New, “AWS Lambda now supports queues for Apache Kafka in self-managed Kafka event sources”, đăng và có hiệu lực ngày 02/11/2026.
• Apache Kafka share groups là điều kiện của chế độ mới; AWS nêu Kafka 4.2 trở lên như ví dụ tương thích.