맥 스튜디오 4대로 8,160억 매개변수 AI 모델 구동…초당 36토큰 넘어
애플 연구진은 M5 Ultra 맥 스튜디오 4대를 연결해 8,160억 개 매개변수의 메타 ‘Muse Spark Open’을 클라우드 없이 실행했다. MLX와 Thunderbolt 5 기반 RDMA를 활용했으며, 8,192토큰 문맥에서 초당 36.73토큰을 생성했다. 2대에서 4대로 늘리자 속도와 첫 토큰 응답 시간이 크게 개선됐다.
애플 연구진은 M5 Ultra 맥 스튜디오 4대를 연결해 8,160억 개 매개변수의 메타 ‘Muse Spark Open’을 클라우드 없이 실행했다. MLX와 Thunderbolt 5 기반 RDMA를 활용했으며, 8,192토큰 문맥에서 초당 36.73토큰을 생성했다. 2대에서 4대로 늘리자 속도와 첫 토큰 응답 시간이 크게 개선됐다.
댓글을 달려면 로그인해야 합니다.