Microsoft đang huấn luyện mô hình AI mới đủ lớn để cạnh tranh với các LLM chính

Microsoft đang phát triển một mô hình ngôn ngữ lớn (LLM) mới với mật danh MAI-1, có tiềm năng cạnh tranh với các LLM AI do Google và OpenAI phát triển. Đây là lần đầu tiên Microsoft phát triển một LLM lớn như vậy kể từ khi đầu tư hàng tỷ đô la vào OpenAI để nắm quyền triển khai công nghệ của công ty này trong bộ phần mềm năng suất của mình.

Quá trình phát triển MAI-1 đang được giám sát bởi Google DeepMind và đồng sáng lập của Inflection Mustafa Suleyman, theo báo cáo của The Information. Tháng 3 năm 2024, Microsoft đã thu nạp một số nhân viên của Inflection trong một thỏa thuận trị giá 650 triệu đô la.

Theo báo cáo phát hành vào ngày 6 tháng 5, MAI-1 sẽ có khoảng 500 tỷ tham số, khiến nó nằm ở khoảng giữa 1 nghìn tỷ tham số được báo cáo của GPT-4 của OpenAI và 70 tỷ tham số của mô hình Meta Llama 3 AI. Nó cũng được kỳ vọng sẽ “lớn hơn nhiều” và đắt hơn bất kỳ AI nguồn mở nhỏ nào trước đây của Microsoft (Phi-3 và WizardLM-2) vì mô hình này sẽ yêu cầu nhiều sức mạnh tính toán cũng như dữ liệu đào tạo hơn.

Mặc dù MAI-1 có thể tận dụng các kỹ thuật và dữ liệu đào tạo từ Inflection, nhưng nó vẫn khác biệt so với bất kỳ mô hình hoặc công nghệ nào được OpenAI hoặc Inflection sản xuất. Theo các nhân viên của Microsoft biết đến dự án này, MAI-1 là một LLM hoàn toàn mới được phát triển nội bộ bởi Microsoft.

Microsoft chưa công bố mục đích chính xác của MAI-1 và công dụng chính xác của nó sẽ phụ thuộc vào hiệu suất của mô hình này. Trong khi đó, công ty đã phân bổ một cụm máy chủ lớn với GPU Nvidia và sử dụng lượng lớn dữ liệu từ các nguồn khác nhau để cải thiện mô hình.

Theo các báo cáo, tùy thuộc vào tiến độ, công ty có thể giới thiệu MAI-1 tại hội nghị nhà phát triển Build vào cuối tháng này, nhưng thông tin này chưa được xác nhận.