Khi làn sóng Generative AI đang lan rộng toàn cầu khoảng 2023, với hàng chục nghìn mô hình mới ra đời chỉ trong vài năm. Việt Nam cũng không đứng ngoài xu thế này khi nhiều nhóm nghiên cứu và startup thử nghiệm các mô hình AI tiếng Việt. Tuy nhiên, một điểm yếu chung là thiếu thước đo thống nhất cho tiếng Việt. Hầu hết các nhóm có tiềm lực phải tự tạo bộ đánh giá riêng, dẫn đến sự phân mảnh và khó so sánh kết quả. Để lấp khoảng trống đó, tháng 11/2023, Zalo AI phối hợp cùng Viện Khoa học và Công nghệ Tiên tiến Nhật Bản (JAIST) công bố VMLU (Vietnamese Multitask Language Understanding) - bộ tiêu chuẩn đánh giá tiếng Việt toàn diện đầu tiên dành cho LLM.

VMLU gồm hai thành phần chính: tập dữ liệu và công cụ đánh giá chuẩn hóa.

• 10.880 câu hỏi trắc nghiệm, bao phủ 58 chủ đề trong 4 lĩnh vực: STEM, Khoa học xã hội, Nhân văn và Mở rộng.
• Câu hỏi được phân cấp theo 4 độ khó: Tiểu học, THCS, THPT và Chuyên nghiệp (Đại học & Sau đại học).
• Công cụ đi kèm hướng dẫn chi tiết, giúp các nhóm nghiên cứu dễ dàng triển khai, kiểm tra và so sánh kết quả công bằng.

Đặc biệt, VMLU được mở miễn phí cho cộng đồng AI Việt Nam. Nhờ vậy, từ những cá nhân độc lập, startup nhỏ cho đến viện nghiên cứu đều có cơ hội tiếp cận và sử dụng một chuẩn chung.

Động lực cho làn sóng AI Việt VMLU không chỉ là bộ công cụ kỹ thuật, mà còn là bệ phóng tinh thần cho cộng đồng nghiên cứu. Với chuẩn mực chung, các mô hình AI tiếng Việt có thể được so sánh, cải thiện và tiến gần hơn tới chuẩn quốc tế. Trước đó, Zalo AI đã nhiều lần tạo sân chơi cho cộng đồng với Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit, khuyến khích kỹ sư trẻ ứng dụng AI để giải quyết các bài toán xã hội. VMLU tiếp nối tinh thần đó, đặt thêm một nền móng quan trọng cho hệ sinh thái AI Việt Nam.

Thành quả ghi nhận Chỉ sau một năm công bố, VMLU đã chứng minh giá trị thực tiễn:

• 3.729 lượt đánh giá LLM được thực hiện,
• 155 cá nhân và tổ chức gửi kết quả,
• 45 mô hình LLM trong nước và quốc tế chính thức công bố trên nền tảng.

Đây là minh chứng rằng VMLU không chỉ dừng ở nghiên cứu, mà thực sự trở thành chuẩn chung cho cộng đồng AI tiếng Việt, nơi các nhà phát triển cùng nhau học hỏi, so sánh và nâng cao chất lượng mô hình.