Workload nào phù hợp với Viettel Cloud NPU? Cách đánh giá trước khi triển khai

Khi triển khai AI Inference, lựa chọn hạ tầng phù hợp với từng workload là yếu tố quan trọng để đảm bảo hiệu năng và tối ưu chi phí. Viettel Cloud NPU hướng đến các bài toán AI như Computer Vision, NLP và Generative AI trên nền tảng Cloud. Vậy workload nào phù hợp với Viettel Cloud NPU và doanh nghiệp cần đánh giá những gì trước khi triển khai? Cùng Viettel IDC tìm hiểu trong bài viết dưới đây nhé.

Viettel Cloud NPU là gì?

Viettel Cloud NPU (VCNPU) là dịch vụ hạ tầng NPU trên nền tảng Cloud, hướng tới các bài toán AI inference. Dịch vụ hỗ trợ doanh nghiệp đánh giá workload, thử nghiệm PoC và từng bước đưa mô hình vào vận hành trên hạ tầng phù hợp. 

NPU là viết tắt của Neural Processing Unit, một loại bộ xử lý được thiết kế chuyên dụng cho các tác vụ tính toán AI. Khác với cách tiếp cận đa mục đích của CPU hoặc GPU, NPU tập trung vào việc tăng tốc các workload AI theo kiến trúc và khả năng xử lý được thiết kế cho loại tác vụ này. Viettel Cloud NPU sử dụng Qualcomm Cloud AI 100 và được định hướng cho AI Inference. Đây là giai đoạn mô hình AI đã được xây dựng và doanh nghiệp cần đưa mô hình vào thực hiện dự đoán hoặc sinh kết quả trong ứng dụng thực tế.

Với Viettel Cloud NPU, doanh nghiệp có thể triển khai các workload như Computer Vision, Natural Language Processing và Generative AI. Một VM có thể gắn tối đa 6 card Qualcomm Cloud AI 100, đồng thời hỗ trợ phân bổ AI Core cho các model và điều phối tài nguyên thông qua Scheduler.

Về phần mềm, Qualcomm Cloud AI 100 hỗ trợ các framework phổ biến như TensorFlow, PyTorch và ONNX. Qualcomm Cloud AI SDK cũng hỗ trợ quá trình tối ưu, biên dịch và triển khai model, giúp doanh nghiệp kiểm tra khả năng tương thích trước khi đưa workload lên môi trường thực tế.

Khi nào doanh nghiệp nên cân nhắc hạ tầng NPU cho AI Inference?

Doanh nghiệp nên cân nhắc hạ tầng NPU khi đã có nhu cầu đưa mô hình AI vào vận hành và workload chủ yếu tập trung vào AI Inference. Một số dấu hiệu cho thấy doanh nghiệp nên đánh giá NPU gồm:

Đã có model hoặc ứng dụng AI nhưng chưa xác định được hạ tầng phù hợp: Khi đã có model nhưng chưa biết nên triển khai trên loại hạ tầng nào, doanh nghiệp cần đánh giá khả năng tương thích, hiệu năng và chi phí trên workload thực tế thay vì chỉ dựa vào thông số phần cứng.

Workload cần xử lý AI Inference thường xuyên: Các hệ thống như Computer Vision, xử lý ngôn ngữ, chatbot, trợ lý ảo và Generative AI đều có nhu cầu đưa model vào xử lý dữ liệu thường xuyên. Đây là nhóm workload có thể cân nhắc hạ tầng NPU.

Có yêu cầu rõ ràng về Latency và Throughput: Nếu ứng dụng yêu cầu phản hồi nhanh hoặc phải xử lý nhiều yêu cầu đồng thời, doanh nghiệp cần kiểm tra latency và throughput của workload để xác định hạ tầng có đáp ứng được hay không.

Muốn kiểm chứng workload trước khi đầu tư quy mô lớn: PoC cho phép doanh nghiệp đưa model và workload thực tế vào môi trường thử nghiệm, từ đó kiểm tra khả năng tương thích, hiệu năng, mức sử dụng tài nguyên và chi phí trước khi mở rộng.

Cần tối ưu hiệu quả đầu tư hạ tầng AI: Một cấu hình có hiệu năng cao chưa chắc là lựa chọn tối ưu nếu chi phí vượt quá nhu cầu. Đánh giá workload thực tế giúp doanh nghiệp lựa chọn hạ tầng dựa trên sự cân bằng giữa hiệu năng và chi phí.

Workload nào phù hợp với Viettel Cloud NPU?

Viettel Cloud NPU hướng tới nhiều nhóm ứng dụng AI Inference, trong đó nổi bật là Computer Vision, Natural Language Processing và Generative AI. Khả năng phù hợp cụ thể vẫn cần được đánh giá theo model và yêu cầu của từng hệ thống.

Computer Vision và xử lý hình ảnh

Computer Vision là một trong những nhóm workload phù hợp rõ ràng với Viettel Cloud NPU. Đây là nhóm bài toán sử dụng AI để phân tích và hiểu thông tin từ hình ảnh hoặc video. Các ứng dụng Computer Vision có thể bao gồm nhận diện khuôn mặt, phân loại hình ảnh, phát hiện đối tượng và các tác vụ xử lý hình ảnh khác. Đặc điểm chung của nhóm workload này là mô hình AI liên tục nhận dữ liệu đầu vào và thực hiện inference để tạo ra kết quả. 

Viettel Cloud NPU có khả năng xử lý các mô hình nhận diện khuôn mặt, phát hiện vật thể và xử lý hình ảnh. Những bài toán như chấm công, eKYC và camera AI giám sát cũng được Viettel Cloud đưa vào nhóm ứng dụng phù hợp.

Object Detection và nhận diện đối tượng

Viettel Cloud NPU hỗ trợ các model AI phổ biến như YOLO và cho biết các bài toán phát hiện vật thể có thể hoạt động tốt trên Qualcomm NPU.

Với workload Object Detection, doanh nghiệp nên quan tâm đến số lượng khung hình cần xử lý, độ phân giải dữ liệu, số lượng camera, yêu cầu latency và throughput. Những yếu tố này quyết định lượng tài nguyên cần thiết khi workload chuyển từ thử nghiệm sang vận hành.

Character Recognition và các bài toán nhận dạng

Character Recognition là nhóm workload sử dụng AI để nhận dạng ký tự hoặc nội dung được thể hiện trong hình ảnh. Đây là một dạng bài toán nhận dạng có thể xuất hiện trong quy trình xử lý tài liệu và dữ liệu hình ảnh. Với những workload dạng này, khả năng xử lý model chỉ là một phần của bài toán. Chất lượng dữ liệu đầu vào, độ phân giải hình ảnh, yêu cầu độ chính xác và tốc độ xử lý đều có thể ảnh hưởng đến hiệu quả cuối cùng.

Do đó, khi đánh giá workload Character Recognition trên NPU, doanh nghiệp cần xác định rõ model đang sử dụng, framework, yêu cầu về độ chính xác và lưu lượng dữ liệu. Nếu workload có yêu cầu xử lý số lượng lớn yêu cầu trong thời gian ngắn, throughput trở thành một chỉ số quan trọng. Nếu hệ thống phục vụ người dùng trực tiếp và cần phản hồi nhanh, latency sẽ cần được ưu tiên hơn.

Natural Language Processing

Natural Language Processing là nhóm workload xử lý dữ liệu ngôn ngữ bằng AI. Đây là một trong những nhóm ứng dụng được Viettel Cloud NPU và Qualcomm Cloud AI 100 hỗ trợ. Các model NLP phổ biến có thể được sử dụng trong nhiều ứng dụng khác nhau như xử lý văn bản, trợ lý ảo, chatbot hoặc các hệ thống phân tích ngôn ngữ.

Một số model như BERT và GPT trong nhóm model phổ biến được hỗ trợ trên Qualcomm NPU. Qualcomm cũng xác nhận Cloud AI 100 hỗ trợ các network thuộc nhóm Natural Language Processing. Tuy nhiên, khả năng chạy một model NLP không đồng nghĩa với việc mọi model đều đạt cùng hiệu năng. Đặc biệt với các model có kích thước lớn, doanh nghiệp cần xem xét dung lượng model, cách triển khai, độ dài đầu vào, batch size và yêu cầu latency.

Generative AI và LLM Inference

Generative AI là nhóm workload ngày càng phổ biến trong doanh nghiệp. Viettel Cloud NPU được định hướng hỗ trợ các ứng dụng GenAI, bao gồm các model và ứng dụng tạo sinh văn bản, hình ảnh, video và mã nguồn.

Trong nhóm này, LLM Inference là một workload cần được đánh giá kỹ trước khi triển khai. Khác với một model nhỏ dùng cho phân loại hoặc nhận diện, LLM có thể yêu cầu tài nguyên lớn hơn và chịu ảnh hưởng bởi nhiều yếu tố như kích thước model, context length, batch size và phương án tối ưu.

Những yếu tố cần đánh giá trước khi chọn Viettel Cloud NPU

Việc xác định workload phù hợp không nên chỉ dựa trên tên ứng dụng. Doanh nghiệp cần đánh giá workload ở nhiều lớp để đảm bảo hạ tầng được lựa chọn đáp ứng đúng nhu cầu. Những yếu tố cần đánh giá trước khi lựa chọn Viettel Cloud NPU như: 

- Mô hình AI và kiến trúc Model

- Framework và khả năng tương thích

- Lưu lượng và Throughput

- Yêu cầu về Latency

- Độ chính xác và phương án Quantization

- Chi phí và Price-Performance

- Khả năng mở rộng và yêu cầu vận hành

Kết luận

Viettel Cloud NPU cung cấp hạ tầng tối ưu cho các workload AI Inference như Computer Vision, Object Detection, NLP và Generative AI. Doanh nghiệp có thể đánh giá workload và thực hiện PoC trước khi triển khai, qua đó kiểm chứng khả năng tương thích, hiệu năng và chi phí thực tế. 

Tìm hiểu Viettel Cloud NPU và đăng ký tư vấn đánh giá workload tại đây: 

https://viettelidc.com.vn/viettel-cloud-npu