Thế giới đang dần cạn kiệt dữ liệu để đào tạo AI

Khi các mô hình AI do các công ty công nghệ phát triển ngày càng trở nên lớn hơn, nhanh hơn và tham vọng hơn, lượng dữ liệu cần thiết để đào tạo các mô hình cũng đòi hỏi phải chất lượng cao hơn và số lượng nhiều hơn.

CUỘC KHỦNG HOẢNG DỮ LIỆU

Tuy nhiên, nguồn dữ liệu đang bắt đầu cạn kiệt, một phần vì các trang web nội dung nói chung, các trang báo chí nói riêng, đang hạn chế các công ty AI sử dụng văn bản, hình ảnh và video của họ trong việc đào tạo AI. Điều này đã tạo ra “cuộc khủng hoảng dữ liệu”, hay đúng hơn là “cuộc khủng hoảng về các thỏa thuận đồng ý sử dụng dữ liệu”, theo một nghiên cứu gần đây của Sáng kiến Nguồn gốc Dữ liệu, một nhóm do các nhà nghiên cứu tại Viện Công nghệ Massachusetts (MIT) dẫn đầu.

Nghiên cứu phát hiện rằng chỉ trong năm vừa qua đã chứng kiến “sự gia tăng nhanh chóng các trang web đồng loạt hạn chế công ty AI sử dụng dữ liệu”. Nguyên nhân được cho là do những lo ngại liên quan đến thách thức đạo đức và pháp lý khi AI “ngang nhiên sử dụng dữ liệu công cộng”.

Động thái này đã hạn chế phần lớn các trang web cho phép sử dụng dữ liệu của họ, dù với mục đích thương mại hay học thuật. Giữa tháng 4 năm 2023 và tháng 4 năm 2024, xem xét khoảng 14.000 tên miền web được sử dụng để tập hợp bộ ba tập dữ liệu lớn là C4, RefinedWeb và Dolma cho thấy 5% tổng dữ liệu và 25% dữ liệu từ các nguồn chất lượng cao nhất đã bị hạn chế,.

Các công ty AI lớn thường thu thập dữ liệu thông qua các bot tự động được gọi là web crawlers, chúng khám phá internet và ghi lại nội dung. Trong trường hợp của tập dữ liệu C4, 45% dữ liệu đã bị hạn chế thông qua các giao thức trang web ngăn chặn các web crawlers truy cập nội dung. Các hạn chế này ảnh hưởng không đồng đều đến các crawlers từ các công ty công nghệ khác nhau và thường có lợi cho “các nhà phát triển AI ít được biết đến hơn”.

Ví dụ, các crawlers của OpenAI đã bị hạn chế truy cập vào gần 26% các nguồn dữ liệu chất lượng cao, trong khi crawler của Google chỉ bị ngăn chặn khoảng 10% và Meta là khoảng 4%.

Nếu những hạn chế này vẫn chưa đủ khiến tình hình đào tạo AI gặp khó khăn, thì còn một thực tế khắc nghiệt nữa, đó là nguồn cung cấp dữ liệu công cộng để đào tạo các mô hình AI dự kiến sẽ cạn kiệt sớm.

Với tốc độ hiện tại của các công ty đang làm việc để cải thiện các mô hình AI, các nhà phát triển có thể hết dữ liệu vào khoảng từ năm 2026 đến năm 2032, theo một nghiên cứu được công bố vào tháng 6 bởi nhóm nghiên cứu Epoch AI.

CÁC CÔNG TY AI ĐANG CHI HÀNG TRIỆU ĐỂ MUA DỮ LIỆU ĐÀO TẠO

Khi các công ty công nghệ lớn cố gắng tìm đủ dữ liệu để hỗ trợ các mục tiêu AI đầy tham vọng của họ, một số công ty đang ký kết các hợp đồng với các ấn phẩm nội dung để có quyền truy cập vào kho lưu trữ của họ.

Ví dụ, OpenAI được cho là đã đề nghị trả từ 1 triệu đến 5 triệu USD cho các đối tác như vậy. Gã khổng lồ AI này đã ký kết các hợp đồng với các ấn phẩm như The Atlantic, Vox Media, The Associated Press, Financial Times, Time và News Corp để sử dụng kho lưu trữ của họ vào đào tạo các mô hình AI.

Để mở khóa dữ liệu mới, OpenAI thậm chí đã cân nhắc sử dụng Whisper, công cụ nhận diện giọng nói, để phiên âm video và âm thanh từ các trang web như YouTube - một phương pháp mà Google cũng đã thảo luận. Trong khi đó, các nhà phát triển AI khác như Meta, đang tìm cách mua lại các công ty xuất bản như Simon & Schuster để có được kho sách lớn của họ.

SỬ DỤNG DỮ LIỆU DO CHÍNH AI TẠO RA ĐỂ ĐÀO TẠO AI

Một giải pháp tiềm năng khác cho cuộc khủng hoảng dữ liệu AI là dữ liệu tổng hợp, một thuật ngữ dùng để mô tả dữ liệu được tạo ra bởi các mô hình AI thay vì con người. Sam Altman của OpenAI đã đề cập đến phương pháp này trong một cuộc phỏng vấn đầu năm nay khi ông lưu ý rằng dữ liệu từ Internet cuối cùng “sẽ hết”. 

“Miễn là có thể vượt qua thách thức dữ liệu tổng hợp, nguồn dữ liệu do chính AI tạo ra, để có những dữ liệu tổng hợp tốt, tôi nghĩ mọi thứ sẽ ổn thôi”, người đứng đầu OpenAI nói.

Tuy nhiên, một số nhà nghiên cứu AI nổi bật, tin rằng lo ngại về một cuộc khủng hoảng dữ liệu đang nổi lên là quá phóng đại. Khi phát biểu tại Hội nghị Công nghệ Bloomberg vào tháng 5, Fei-Fei Li, một nhà khoa học máy tính tại Stanford và thường được gọi là “Mẹ đỡ đầu của AI” cho rằng lo ngại về giới hạn dữ liệu là một “quan điểm rất hẹp”.

Trong khi các nguồn dữ liệu, nội dung trên internet đang bị thắt chặt bởi những hạn chế thỏa thuận, Fei-Fei Li lưu ý rằng một loạt các nguồn dữ liệu thay thế và liên quan vẫn chưa được khai thác cho AI. Ví dụ như dữ liệu trong ngành chăm sóc sức khỏe hay các ngành như giáo dục, “vì vậy không, tôi không nghĩ chúng ta đang hết dữ liệu”, bà nói.