Các mô hình trí tuệ nhân tạo (AI) mạnh mẽ như ChatGPT vốn đòi hỏi lượng lớn năng lượng và thường được lưu trữ tại các trung tâm dữ liệu khổng lồ. Tuy nhiên, một bước đột phá mới có thể nén các mô hình AI này để chúng hoạt động ngay trên smartphone hoặc laptop.
Thuật toán nén đột phá: CALDERA
Một thuật toán mới, mang tên Calibration Aware Low Precision Decomposition with Low Rank Adaptation (CALDERA), cho phép nén lượng dữ liệu khổng lồ cần thiết để vận hành các mô hình ngôn ngữ lớn (LLM) bằng cách loại bỏ sự dư thừa trong mã và giảm độ chính xác của các lớp thông tin.
Theo nghiên cứu được công bố vào ngày 24/5 trên cơ sở dữ liệu tiền in arXiv, CALDERA giúp các mô hình ngôn ngữ trở nên gọn nhẹ hơn, nhưng vẫn giữ được độ chính xác và tính tinh tế gần tương đương với phiên bản gốc. Thuật toán này sẽ được trình bày tại Hội nghị về Hệ thống Xử lý Thông tin Thần kinh (NeurIPS) vào tháng 12 tới.
Thuật toán này kết hợp hai kỹ thuật chính: Đầu tiên, kĩ thuật “Low-precision” sẽ giảm số lượng bit được sử dụng để lưu trữ thông tin, giúp tăng tốc độ xử lý và cải thiện hiệu quả năng lượng. Trong khi đó, kĩ thuật “Low-rank” sẽ cắt giảm các tham số dư thừa trong quá trình đào tạo mô hình, giúp giảm dung lượng lưu trữ.
💥 ĐỌC RỒI, XEM RỒI > chán mắt quá rồi , tìm hiểu ngay đây >> Video chủ đề AI với các đề tài nóng nhất cùng Công nghệ AI đỉnh cao << tại đây nhé !
Sự kết hợp này cho phép CALDERA đạt mức độ nén vượt trội hơn hẳn so với khi chỉ sử dụng từng kỹ thuật riêng lẻ.
“Chúng tôi phát hiện rằng không chỉ các tập dữ liệu mà cả các mô hình ngày nay cũng đang trở nên khổng lồ. Thuật toán của chúng tôi có thể áp dụng để nén cả hai,” Rajarshi Saha, đồng tác giả nghiên cứu và nghiên cứu sinh tại Đại học Stanford, chia sẻ.
Kết quả thử nghiệm đầy triển vọng
Nhóm nghiên cứu đã thử nghiệm CALDERA trên các mô hình mã nguồn mở của Meta như Llama 2 và Llama 3. Kết quả cho thấy thuật toán này cải thiện hiệu suất nén lên đến 5% so với các phương pháp chỉ sử dụng một trong hai kỹ thuật trên.
Việc này mở ra triển vọng cho các mô hình AI lớn có thể được lưu trữ và vận hành trực tiếp trên smartphone hoặc laptop trong tương lai — đặc biệt ở những trường hợp đòi hỏi sự bảo mật cao hoặc khi không cần độ chính xác tối đa.
Dù CALDERA mang lại tiềm năng lớn, các nhà khoa học cũng cảnh báo rằng các mô hình AI hiện tại chưa được tối ưu hóa để hoạt động hiệu quả trên các thiết bị nhỏ như smartphone.
“Nếu bạn chạy một mô hình AI lớn và điện thoại hết pin chỉ trong một giờ, điều đó sẽ không hề lý tưởng,” Saha giải thích. “Thuật toán này là một phần trong giải pháp tổng thể, kết hợp với các kỹ thuật khác để làm cho việc sử dụng AI trên thiết bị di động trở nên khả thi và hiệu quả hơn.”
Có lẽ bạn chưa biết Công nghệ ‘nén AI’ sẽ cho phép ChatGPT chạy trực tiếp trên điện thoại, laptop: Không còn cần tới hàng trăm nghìn máy chủ khổng lồ? !
Tin nóng về AI cũng không thiếu những ví dụ thành công về khởi nghiệp. Các startup AI đang mọc lên như nấm, từ các giải pháp nhận diện khuôn mặt đến các ứng dụng y tế dựa trên AI. Các công ty khởi nghiệp này không chỉ tạo ra những sản phẩm sáng tạo mà còn tạo nên những tiềm năng mới cho các nhà kinh doanh và doanh nghiệp. Lĩnh vực startup cùng AI đang thành trào lưu với khả năng thay đổi cách chúng ta sống và làm việc. Công nghệ ‘nén AI’ sẽ cho phép ChatGPT chạy trực tiếp trên điện thoại, laptop: Không còn cần tới hàng trăm nghìn máy chủ khổng lồ? Theo dõi những thông tin mới nhất và hot nhất về AI để không mất đi những cơ hội quý giá trong lĩnh vực công nghệ hứa hẹn phát triển này.
Hoàn toàn có thể bạn chưa chắc chắn ! Cân Thế Giới Điện Tử chuyên sản xuất và phân phối những loại cân treo không dây công nghiệp số 1 tại Tp. Hồ Chí Minh. Hãy đến ngay website thiết bị đo lường của chúng tôi và trải nghiệm sản phẩm cân và thiết bị cân. Thương mại và dịch vụ với sản phẩm cân điện tử và thiết bị đo lường
* Quảng cáo chất lượng cao !
