Meta vừa công bố mô hình AI mới mang tên Muse Spark Open, với quy mô 816 tỷ tham số kiểu MoE và khả năng chạy ngay trên hai chiếc Mac Studio M5 Ultra 512 GB nhờ công nghệ MLX của Apple. Đây là bước tiến đáng chú ý trong việc đưa AI quy mô lớn về phía người dùng cuối, đồng thời mở ra câu hỏi về chi phí và bảo mật dữ liệu.
Muse Spark Open: mô hình AI quy mô mới
Muse Spark Open được thiết kế dựa trên kiến trúc Mixture‑of‑Experts (MoE), cho phép tổng cộng 816 tỷ tham số nhưng chỉ kích hoạt 42 tỷ tham số trong mỗi lần suy luận. Kiến trúc này giúp giảm thiểu độ trễ và tiêu thụ năng lượng mà vẫn duy trì độ chính xác cao.
Điểm nổi bật khác của mô hình là ngữ cảnh lên tới 1 triệu token, cho phép xử lý các đoạn văn bản siêu dài mà không cần cắt nhỏ. Ngoài ra, Muse Spark Open được tối ưu mạnh cho lập trình và các tác vụ agent, hỗ trợ đa phương thức (văn bản, hình ảnh) một cách mượt mà.
- 816 tỷ tham số tổng, 42 tỷ tham số mỗi lần.
- Ngữ cảnh 1 triệu token, hỗ trợ đa phương thức.
- Thành thạo lập trình và tác vụ tự động hoá.
Khả năng chạy trên Mac Studio nhờ MLX
Apple đã cung cấp khung MLX (Machine Learning eXecution) cho phép tận dụng tối đa sức mạnh của chip M5 Ultra. Với 512 GB RAM, hai máy Mac Studio có thể chạy mô hình Muse Spark Open ngay tại nhà mà không cần kết nối tới máy chủ đám mây.
Theo thử nghiệm của Meta, một cụm bốn máy Mac Studio đạt tốc độ hơn 36 token mỗi giây. Điều này không chỉ giảm đáng kể độ trễ mà còn giúp bảo vệ quyền riêng tư dữ liệu vì toàn bộ quá trình xử lý diễn ra trên thiết bị cá nhân.
Tuy nhiên, chi phí đầu tư phần cứng vẫn còn khá cao. Một Mac Studio M5 Ultra có giá trên 10 nghìn USD, và để duy trì hiệu năng tối ưu thường cần bổ sung các thiết bị lưu trữ và làm mát chuyên dụng.
Ý nghĩa và thách thức cho người dùng Việt
Việc AI quy mô 800 tỷ tham số có thể chạy trên máy tính để bàn mở ra cơ hội mới cho các doanh nghiệp công nghệ và nhà phát triển ở Việt Nam. Họ có thể triển khai các giải pháp tự động hoá quy trình, phân tích dữ liệu lớn và tạo ra các trợ lý ảo chuyên biệt mà không lo lắng về việc dữ liệu phải truyền ra khỏi mạng nội bộ.
Song song đó, chi phí phần cứng và yêu cầu về kiến thức kỹ thuật để cấu hình môi trường MLX vẫn là rào cản. Các công ty vừa và nhỏ cần cân nhắc giữa lợi ích bảo mật và đầu tư tài chính, đồng thời tìm kiếm các đối tác hoặc dịch vụ đám mây hỗ trợ hybrid để giảm gánh nặng.
Trong bối cảnh Việt Nam đang đẩy mạnh chuyển đổi số, Muse Spark Open có thể trở thành công cụ quan trọng cho các dự án AI công cộng, giáo dục và y tế, miễn là có chiến lược đầu tư hợp lý.
Kết luận
Muse Spark Open đánh dấu bước tiến lớn của Meta trong việc đưa AI quy mô siêu lớn về phía người dùng cuối, nhưng để khai thác tối đa tiềm năng cần cân nhắc chi phí phần cứng và năng lực kỹ thuật.
1💡 Muse Spark Open cho phép chạy AI 800 tỷ tham số tại nhà, nhưng chi phí phần cứng cao đòi hỏi cân nhắc kỹ lưỡng.
