맥 스튜디오 4대로 8,160억 매개변수 AI 모델 구동…초당 36토큰 넘어

애플 연구진이 M5 Ultra 맥 스튜디오 4대를 연결해 메타의 대형 언어 모델 ‘Muse Spark Open’을 클라우드 서버 없이 실행했다. 매개변수 8,160억 개 규모의 이 모델은 애플이 시험한 단일 맥 스튜디오에 들어가지 않았다. 연구진은 모델을 여러 대에 나눠 올려 8,192토큰 문맥에서 초당 36.73토큰을 생성했다.

같은 모델을 맥 스튜디오 2대와 4대에서 비교

연구진은 애플 실리콘용 머신러닝 프레임워크 MLX를 사용했다. 맥 사이에는 Thunderbolt 5 기반 RDMA를 적용해 연산에 필요한 데이터를 교환했다. 파이프라인 병렬화는 모델의 층을 여러 기기에 나눠 순차적으로 처리하고, 텐서 병렬화는 개별 층의 계산을 여러 기기에 분담한다.

파이프라인 병렬화는 모델의 층을 나누고, 텐서 병렬화는 각 층의 연산을 여러 맥에 분담한다.
파이프라인 병렬화는 모델의 층을 나누고, 텐서 병렬화는 각 층의 연산을 여러 맥에 분담한다.

Muse Spark Open은 원래 정밀도인 BF16에서 모델 가중치만 1.6TB 넘게 필요하다. 애플은 4비트 양자화(NVFP4)로 약 493GB까지 줄였지만, 추론 중간 결과를 저장할 공간까지 합하면 512GB 맥 스튜디오 한 대에 들어가지 않았다. 파이프라인 방식은 층 묶음 사이에서만 중간 결과를 전달하는 반면, 텐서 방식은 각 층에서 연산 결과를 합쳐야 해 기기 간 통신 지연에 더 민감하다.

M5 Ultra 구성첫 토큰까지생성 속도
2대 · 파이프라인 병렬화8.4초15.74토큰/초
2대 · 텐서 병렬화8.2초24.99토큰/초
4대 · 텐서 병렬화4.8초36.73토큰/초

표는 문맥 길이 8,192토큰에서 측정한 결과다. 생성 속도는 입력 문맥을 처리한 뒤 이어서 생성한 128개 토큰을 기준으로 했다. 같은 텐서 병렬화 방식에서 2대를 4대로 늘리자 생성 속도는 약 47% 높아졌고, 첫 토큰까지 걸리는 시간은 8.2초에서 4.8초로 줄었다.

맥 스튜디오의 로컬 AI 실행 화면
M5 Ultra 맥 스튜디오에서 LM Studio를 실행한 화면.

첫 응답과 이후 생성 속도는 다른 지표

첫 토큰까지 걸리는 시간은 모델이 입력을 처리해 답변을 시작하기까지의 대기 시간이다. 초당 생성 토큰 수는 답변을 시작한 뒤 텍스트가 나오는 속도를 뜻한다. 입력 문맥 길이나 모델, 기기 간 통신 비용에 따라 두 지표는 다르게 변할 수 있다.

애플은 문맥을 65,536토큰으로 늘린 조건도 별도로 측정했다. 긴 문맥에서는 기기 간 통신 비용이 커져, 두 대 구성에서 텐서 병렬화가 파이프라인 병렬화보다 입력 처리에 더 오래 걸리는 경우도 있었다. 연구 자료에는 다른 모델과 문맥 길이별 비교도 수록됐다.

65,536토큰 문맥에서 M5 Ultra 맥 스튜디오 4대를 텐서 병렬화로 연결했을 때, 기기 쌍마다 Thunderbolt 케이블을 한 개에서 두 개로 늘리자 첫 토큰까지 걸린 시간이 약 50.5초에서 40.6초로 줄었다. 이는 긴 입력을 처리하는 단계의 비교이며, 앞 표의 8,192토큰 조건이나 이후 토큰 생성 속도와는 별개다.

출처: Apple Machine Learning Research 원문
관련 자료: 9to5Mac 후속 기사
Apple Newsroom: M5 Ultra 맥 스튜디오

KMUG 애플에 대한 모든 것.
Apple 케이머그 김영권
https://kmug.com


KMUG 케이머그에서 더 알아보기

구독을 신청하면 최신 게시물을 이메일로 받아볼 수 있습니다.