VinUni ra mắt bộ công cụ đánh giá năng lực AI dành cho tiếng Việt

Trung tâm Nghiên cứu AI thuộc Trường Đại học VinUni vừa chính thức ra mắt V-Bench, bộ công cụ đánh giá năng lực của các mô hình ngôn ngữ lớn (LLM) dành cho tiếng Việt. Đây là dự án được phát triển theo định hướng phi lợi nhuận nhằm phục vụ cộng đồng và thúc đẩy sự phát triển AI có trách nhiệm tại Việt Nam.

BỘ CÔNG CỤ ĐÁNH GIÁ TOÀN DIỆN NĂNG LỰC TIẾNG VIỆT CỦA CÁC MÔ HÌNH AI

Theo VinUni, V-Bench được xây dựng dựa trên bộ dữ liệu chuyên sâu gồm hơn 40.000 câu hỏi và tác vụ, được thẩm định bởi đội ngũ chuyên gia uy tín trong và ngoài nước. Bộ công cụ có khả năng đánh giá toàn diện năng lực tiếng Việt của các mô hình AI, qua đó cung cấp hệ tham chiếu khách quan, độc lập, làm cơ sở cho việc lựa chọn và ứng dụng AI trong thực tiễn.

Dự án do Trung tâm Nghiên cứu AI của VinUni khởi xướng, với sự tham gia cộng tác hoàn toàn phi lợi nhuận của hội đồng khoa học gồm 18 chuyên gia người Việt hoạt động trong lĩnh vực AI ở trong và ngoài nước. Theo đơn vị phát triển, đây là một trong những bộ công cụ đánh giá khả năng xử lý tiếng Việt của các mô hình ngôn ngữ lớn toàn diện nhất hiện nay.

Không chỉ tập trung vào kiến thức học thuật, bộ dữ liệu của V-Bench được thiết kế theo cả chiều rộng và chiều sâu, bao phủ nhiều lĩnh vực, đồng thời phản ánh các yếu tố đặc thù của Việt Nam như văn hóa, ngôn ngữ, chủ quyền, an toàn thông tin và bối cảnh địa phương.

V-Bench được chia thành hai hạng mục lớn với năm nhóm tiêu chí đánh giá chuyên biệt. Trong đó, nhóm Văn hóa ngầm định đánh giá khả năng hiểu các tầng nghĩa văn hóa ẩn trong ngôn ngữ Việt như phong tục, tín ngưỡng và lịch sử; Đa dạng vùng miền kiểm tra mức độ hiểu biết về phương ngữ Bắc - Trung - Nam, cách xưng hô và văn phong đặc trưng của từng vùng.

Bên cạnh đó, nhóm An toàn và chủ quyền số đánh giá khả năng tuân thủ các nguyên tắc an toàn thông tin quốc gia, chống thông tin sai lệch và bảo vệ chủ quyền số Việt Nam; Ứng dụng thực tiễn đo lường hiệu quả của AI trong các lĩnh vực như giáo dục, y tế cộng đồng và những bài toán đặc thù tại Việt Nam; còn Năng lực agentic AI tập trung đánh giá khả năng lập kế hoạch, sử dụng công cụ, RAG và thực hiện các hành động tự chủ trong môi trường Việt Nam.

GIÚP CÁC TỔ CHỨC KHÁM PHÁ CHIỀU SÂU NĂNG LỰC CỦA TỪNG MÔ HÌNH AI

Theo VinUni, cách tiếp cận này giúp V-Bench không chỉ đánh giá khả năng trả lời các câu hỏi học thuật mà còn đo lường mức độ thấu hiểu văn hóa, ngôn ngữ vùng miền cũng như khả năng hành động của AI trong bối cảnh thực tế tại Việt Nam. Nhờ đó, kết quả đánh giá được kỳ vọng phản ánh khách quan và toàn diện năng lực của từng mô hình, đồng thời có giá trị tham chiếu đối với cộng đồng nghiên cứu và doanh nghiệp.

Đơn vị phát triển cho biết, kết quả đánh giá của V-Bench được bảo chứng bởi hội đồng chuyên gia cùng phương pháp luận chặt chẽ và bộ dữ liệu có quy mô lớn. Bộ công cụ cũng được xây dựng theo các kỹ thuật phổ biến trong nghiên cứu LLM quốc tế, bảo đảm khả năng tương thích về thuật ngữ và quy trình với hệ sinh thái benchmark toàn cầu, tạo điều kiện để các nhà phát triển AI quốc tế tham gia đánh giá mà không gặp rào cản về quy ước kỹ thuật.

Chia sẻ về dự án, GS.TS. Dương Nguyên Vũ, Phó Hiệu trưởng kiêm Giám đốc Khoa học Trung tâm Nghiên cứu AI, Trường Đại học VinUni, cho biết: "Với bộ dữ liệu toàn diện cùng sự góp sức hoàn toàn khách quan, phi lợi nhuận của cộng đồng chuyên gia uy tín người Việt trên toàn cầu, V-Bench mong muốn góp phần định nghĩa lại tiêu chuẩn AI tại Việt Nam và xây dựng một hệ tham chiếu AI cho quốc gia. Kết quả đánh giá của V-Bench sẽ mang tới góc nhìn toàn cảnh, giúp các tổ chức, doanh nghiệp khám phá chiều sâu năng lực của từng mô hình AI, từ đó lựa chọn mô hình tối ưu cho từng bối cảnh sử dụng và nhu cầu thực tế".

Hiện V-Bench được cung cấp miễn phí và đã tiến hành đánh giá, công bố kết quả tham chiếu đối với 15 mô hình ngôn ngữ lớn tiêu biểu. Trong thời gian tới, nhóm phát triển sẽ tiếp tục mở rộng bộ công cụ với các tiêu chí đánh giá dựa trên hình ảnh và âm thanh, bao gồm khả năng nhận diện chữ Nôm, biển hiệu vùng miền, biểu đồ, di sản văn hóa, hiểu giọng nói ba miền, phân tích ngữ cảnh văn hóa qua video ngắn, cũng như xử lý các tài liệu tiếng Việt dài trên 100.000 token như luật, hợp đồng, sách giáo khoa và trích dẫn chính xác từ văn bản pháp quy, công báo.

Theo VinUni, V-Bench là một trong những dự án nghiên cứu AI tiêu biểu của Trung tâm Nghiên cứu AI, thể hiện mục tiêu nâng cao vị thế của trí tuệ Việt trên bản đồ học thuật toàn cầu, đồng thời khẳng định định hướng phát triển khoa học, công nghệ theo tinh thần phụng sự cộng đồng.