노타(대표 채명수)가 멀티모달 인공지능(AI)의 성능 저하를 억제하면서 그래픽처리장치(GPU) 메모리 사용량을 줄이는 전문가 프루닝(Expert Pruning·전문가 가지치기) 기술을 개발했다. 노타는 관련 연구 논문이 1일 세계적 AI 학술대회 뉴립스(NeurIPS·신경정보처리시스템학회) 2026 메인트랙에 채택됐다고 밝혔다. 뉴립스 공식 일정상 올해 논문 저자 대상 결과 통보는 지난 9월 24일 이뤄졌다.

채택 논문은 ‘모달리티-어웨어 엑스퍼트 프루닝 포 엠오이-베이스드 멀티모달 라지 랭귀지 모델스(Modality-Aware Expert Pruning for MoE-Based Multimodal Large Language Models·MoE 기반 멀티모달 대규모 언어모델을 위한 모달리티 인식 전문가 프루닝)’다. 텍스트와 이미지 등 서로 다른 형태의 정보를 함께 처리하는 멀티모달 AI 특성을 반영해 전문가 혼합(MoE·Mixture of Experts) 모델의 전문가 모듈을 선별적으로 제거하는 방법을 다뤘다. 뉴립스 2026 메인트랙은 언어·멀티모달 언어모델을 주요 연구 분야 가운데 하나로 제시하고 있다.

노타가 제시한 연구 결과에 따르면 약 310억 개 파라미터 규모의 멀티모달 모델에서 전문가 모듈의 25%를 제거한 경우 원본 모델 성능의 98%가 유지됐다. 제거 비율을 50%까지 높였을 때도 원본 성능의 91% 수준을 기록했다.

메모리 절감 폭도 확인됐다. GPU 메모리 사용량은 기존 58GB에서 31GB로 약 47% 감소했다. 이에 따라 40GB급 GPU 한 장에서도 해당 모델을 구동할 수 있는 수준으로 메모리 요구량을 낮췄다.

MoE는 여러 전문가 모듈을 모델 내부에 두고 입력에 따라 필요한 일부 전문가만 선택적으로 활용하는 구조다. 실제 연산에 참여하는 전문가가 제한적이더라도 전체 전문가 모듈을 메모리에 저장해야 해 모델 규모가 커질수록 GPU 메모리 부담이 증가한다. 전문가 프루닝은 상대적으로 중요성이 낮은 모듈을 제거해 이런 부담을 낮추는 방식이다.

문제는 텍스트 중심 언어모델에 적용하던 프루닝 방식을 멀티모달 모델에 그대로 사용하면 이미지 처리에 중요한 전문가까지 제거할 가능성이 있다는 점이다. 노타 연구진은 실제 실험에서 차트 이해처럼 시각 정보의 비중이 큰 작업에서 성능 저하가 나타나는 문제를 확인했다고 설명했다.

연구진은 이를 보완하기 위해 텍스트와 이미지 입력에 대한 각 전문가의 중요도를 별도로 평가했다. 텍스트 정보를 기준으로 보존할 전문가를 판단하는 동시에 이미지 정보를 활용해 제거 대상을 선정하는 방식으로 두 영역의 처리 능력을 함께 유지하도록 설계했다.

전문가를 제거하는 범위도 개별 층 단위에서 모델 전체로 넓혔다. 모든 층에서 동일한 수의 전문가를 일괄적으로 줄이지 않고 전체 전문가의 중요도를 비교해 상대적으로 중요한 층에 필요한 모듈이 남도록 했다.

별도의 추가 학습 없이 한 차례 압축 과정으로 모델을 경량화할 수 있는 것도 연구의 특징이다. 전문가 제거 비율을 설정해 적용하는 방식으로 설계돼 새로운 파운데이션 모델이 등장했을 때 최적화 작업에 활용할 수 있다고 설명했다. 

노타는 이번 연구 결과를 AI 최적화 플랫폼 ‘넷츠프레소(NetsPresso)’에 적용해 멀티모달 및 MoE 모델 지원 범위를 확대할 계획이다. 텍스트뿐 아니라 이미지와 영상, 음성 등을 함께 처리하는 AI 모델이 늘어나는 흐름에 맞춰 최적화 대상 모델과 기업 적용 영역을 넓힌다는 구상이다.

노타는 앞서 ‘키미 K3(Kimi K3)’ 등 대규모 MoE 모델에도 전문가 프루닝 기술을 적용해 왔다. 지난 8월에는 키미 K3 압축을 통해 모델 구동에 필요한 GPU 수를 줄인 결과를 공개했다.