Zalo LLM

Mô hình ngôn ngữ lớn do người Việt làm chủ công nghệ

Zalo LLM là mô hình ngôn ngữ lớn tiếng Việt đầu tiên, do các kỹ sư Zalo phát triển, chính thức ra mắt công chúng vào cuối năm 2023, dựa trên kỹ thuật huấn luyện từ đầu (from-scratch model). Khát vọng làm chủ công nghệ Trong bối cảnh làn sóng AI toàn cầu lan rộng, hầu hết các mô hình hiện nay được huấn luyện theo hai hướng: tinh chỉnh (fine-tuned model) – tối ưu lại một LLM đã có để phục vụ mục đích chuyên biệt, và huấn luyện từ đầu (from-scratch model) – bắt tay xây dựng toàn bộ từ khởi tạo tham số, thiết kế kiến trúc đến thuật toán huấn luyện. Nếu tinh chỉnh là con đường ngắn thì Zalo lại chọn con đường khó hơn: huấn luyện từ đầu. Với cách tiếp cận này, toàn bộ quy trình đều do kỹ sư Việt Nam làm chủ, giúp Việt Nam trở thành một trong số ít quốc gia ở Đông Nam Á sở hữu LLM nội địa. Những thách thức đặc thù tại Việt Nam Hành trình ấy không dễ dàng. Đội ngũ phải đối mặt cùng lúc với ba trở ngại: hạ tầng tính toán, dữ liệu huấn luyện và nguồn lực con người. Trong khi các công ty lớn trên thế giới đã vận hành hàng nghìn GPU hiệu năng cao, thì tại Việt Nam, kỹ sư Zalo chỉ có trong tay GPU dân dụng để làm quen và thử nghiệm. Thậm chí, dù đã đặt mua 8 máy chủ DGX H100 từ Nvidia, việc khan hiếm chip AI khiến chúng không thể được bàn giao ngay, mà phải chờ từng đợt nhỏ giọt. Song song đó, tiếng Việt vốn là ngôn ngữ có nguồn dữ liệu hạn chế, nghèo nàn hơn nhiều lần so với tiếng Anh hay tiếng Trung. Bài toán đặt ra cho Zalo không chỉ là huấn luyện mô hình, mà còn phải tự xây dựng và tuyển chọn dữ liệu chất lượng để bù đắp khoảng trống này. Linh hoạt trong điều kiện khó khăn Thay vì chờ đợi, đội ngũ Zalo tranh thủ từng chiếc GPU nhỏ để rèn luyện kiến thức và quy trình. Khi hạ tầng lớn hơn dần sẵn sàng, đội ngũ đã có đủ năng lực để bứt tốc. Việc tối ưu huấn luyện trên hạ tầng chưa hoàn chỉnh, cộng với sự đầu tư cho dữ liệu tiếng Việt, đã trở thành “bí quyết” giúp Zalo vượt qua giai đoạn khó khăn. Kết quả thật sự bất ngờ: chỉ sau 6 tháng huấn luyện, mô hình 7 tỷ tham số tập trung cho tiếng Việt của Zalo đã đạt hiệu năng bằng 150% so với GPT-3.5 của OpenAI trên bộ đánh giá VMLU – trong khi kế hoạch ban đầu là 18 tháng. Kết quả bất ngờ Đến năm 2024, Zalo tiếp tục công bố mô hình 13 tỷ tham số. Trên bảng xếp hạng năng lực tiếng Việt của VMLU, mô hình này vượt qua cả GPT-4 (OpenAI), gemma-2-9b-it (Google), Phi-3 (Microsoft) và chỉ đứng sau Llama-3-70B (Meta). Đây là minh chứng rõ ràng rằng trình độ kỹ thuật của kỹ sư Việt Nam hoàn toàn có thể sánh ngang với thế giới. Từ nghiên cứu đến ứng dụng đời sống Thành tựu về huấn luyện chỉ là bước khởi đầu. Zalo nhanh chóng đưa LLM vào các sản phẩm thực tiễn như Thiệp AI, Trợ lý hỏi đáp… Các ứng dụng dựa trên Zalo LLM vẫn đang tiếp tục mở rộng. Từ một dự án khởi đầu với nhiều thiếu thốn, Zalo đã chứng minh rằng người Việt hoàn toàn có thể làm chủ công nghệ AI, tạo ra giá trị thực sự cho cộng đồng.