Trí tuệ nhân tạo (AI) đang tiêu thụ nhiều năng lượng hơn bao giờ hết, khiến các trung tâm dữ liệu gặp khó khăn trong việc đáp ứng nhu cầu. Một phương pháp huấn luyện đột phá có thể thay đổi hoàn toàn cục diện, giúp giảm đáng kể mức tiêu thụ năng lượng mà vẫn duy trì độ chính xác.
Các nhà nghiên cứu đã tìm ra cách tối ưu hóa mạng nơ-ron với lượng tính toán ít hơn nhiều. Được lấy cảm hứng từ các hệ thống động lực học trong tự nhiên, đổi mới này có tiềm năng giúp AI trở nên thân thiện với môi trường hơn—mà không làm giảm hiệu suất.
Cụ thể, các nhà nghiên cứu tại Đại học Kỹ thuật Munich (TUM) đã phát triển một phương pháp nhanh hơn 100 lần và do đó tiết kiệm năng lượng hơn đáng kể. Thay vì sử dụng cách tiếp cận lặp lại (iterative approach), các tham số được tính toán trực tiếp dựa trên xác suất. Kết quả cho đến nay có chất lượng tương đương với các phương pháp lặp lại hiện có.
Phương pháp mới nhanh hơn 100 lần với độ chính xác tương đương
Các ứng dụng AI như mô hình ngôn ngữ lớn (LLM) đã trở thành một phần không thể thiếu trong cuộc sống hàng ngày. Các trung tâm dữ liệu cung cấp khả năng tính toán, lưu trữ và truyền tải cần thiết nhưng tiêu tốn lượng điện năng khổng lồ. Riêng tại Đức, mức tiêu thụ năng lượng của các trung tâm dữ liệu vào năm 2020 đã lên tới khoảng 16 tỷ kWh, tương đương 1% tổng mức tiêu thụ năng lượng của cả nước. Dự báo đến năm 2025, con số này sẽ tăng lên 22 tỷ kWh.
Sự xuất hiện của các ứng dụng AI phức tạp hơn trong những năm tới sẽ làm tăng đáng kể nhu cầu về năng lực của trung tâm dữ liệu, kéo theo mức tiêu thụ điện năng khổng lồ để huấn luyện mạng nơ-ron. Để đối phó với xu hướng này, các nhà nghiên cứu đã phát triển một phương pháp huấn luyện nhanh hơn 100 lần nhưng vẫn đạt độ chính xác tương đương với các quy trình hiện tại. Điều này sẽ giúp giảm đáng kể mức tiêu thụ năng lượng cho quá trình huấn luyện.
Tính toán tham số dựa trên xác suất
Hoạt động của mạng nơ-ron, được sử dụng trong AI cho các nhiệm vụ như nhận diện hình ảnh hay xử lý ngôn ngữ, được lấy cảm hứng từ cách hoạt động của não người. Các mạng này bao gồm các nút liên kết với nhau, gọi là nơ-ron nhân tạo. Các tín hiệu đầu vào được gán trọng số với các tham số nhất định, sau đó được tổng hợp lại. Nếu vượt quá một ngưỡng xác định, tín hiệu sẽ được truyền đến nút tiếp theo.
Để huấn luyện mạng, giá trị tham số ban đầu thường được chọn ngẫu nhiên, chẳng hạn bằng phân phối chuẩn. Sau đó, các giá trị này được điều chỉnh dần dần qua nhiều lần lặp để cải thiện độ chính xác của mạng. Do yêu cầu nhiều vòng lặp, quá trình huấn luyện này tiêu tốn nhiều tài nguyên tính toán và điện năng.
Giáo sư Felix Dietrich, chuyên ngành Máy học kết hợp Vật lý, cùng nhóm nghiên cứu của ông đã phát triển một phương pháp mới. Thay vì xác định tham số giữa các nút theo cách lặp lại, phương pháp của họ sử dụng xác suất (probabilities). Phương pháp xác suất này tập trung vào việc sử dụng các giá trị theo mục tiêu tại các điểm quan trọng trong dữ liệu huấn luyện, nơi có sự thay đổi lớn và nhanh chóng về giá trị.
Mục tiêu của nghiên cứu hiện tại là sử dụng phương pháp này để xây dựng các hệ thống động lực học tiết kiệm năng lượng từ dữ liệu. Những hệ thống này thay đổi theo thời gian theo các quy tắc nhất định và được áp dụng trong các mô hình khí hậu hay thị trường tài chính chẳng hạn.
“Phương pháp của chúng tôi cho phép xác định các tham số cần thiết với công suất tính toán tối thiểu. Điều này giúp quá trình huấn luyện mạng nơ-ron diễn ra nhanh hơn và do đó tiết kiệm năng lượng hơn,” Felix Dietrich cho biết. “Ngoài ra, chúng tôi nhận thấy rằng độ chính xác của phương pháp mới này tương đương với các mạng được huấn luyện theo phương pháp lặp truyền thống.”
Siêu máy tính SuperMUC-NG tại Trung tâm Siêu máy tính Leibniz là máy tính nhanh thứ tám trên thế giới. Ảnh: Veronika Hohenegger, LRZ
