Intel đã khởi động hội nghị Vision 2024 với việc ra mắt chip xử lý AI Gaudi 3. Gaudi 3 được thiết kế để tăng tốc khối lượng công việc AI ở cấp doanh nghiệp và Intel cho rằng nó nhanh hơn tiêu chuẩn ngành hiện tại – GPU H100 của Nvidia.
Gaudi 3 sử dụng kiến trúc và nguyên tắc cơ bản giống như Gaudi 2, nhưng nó sử dụng quy trình 5nm của TSMC (so với 7nm của TSMC trong Gaudi 2), giúp hiệu quả hơn.
Gaudi 3 có tới 128GB HBM2e với băng thông 3,7 TB/s và TDP 900W.
Intel đã đưa ra các điểm chuẩn so sánh Gaudi 3 với Nvidia dẫn đầu thị trường và GPU H100 thống trị của nó, chạy các mô hình ngôn ngữ lớn khác nhau như LLAMA2-7B, LLAMA2-13B và GPT 3-175B. Gaudi 3 nhanh hơn tới 1,7 lần.
Công ty cũng cho biết Gaudi 3 có hiệu suất sử dụng điện cao hơn tới 2,3 lần so với H100 của Nvidia.
Hãng đã gửi mẫu Gaudi 3 làm mát bằng không khí để lấy mẫu cho các đối tác có sẵn rộng rãi trong Quý 3. Các thiết bị làm mát bằng chất lỏng sẽ xuất hiện vào Q4 năm nay.