노타, 글로벌 AI 학회 'Efficient Qwen' 대회서 세계 3위 기록
자체 양자화 및 추측적 디코딩 기술 결합해 대형 언어 모델 추론 속도 7배 가량 높여
2026-07-13 심상훈 기자
노타가 세계적 머신러닝 학회 ICML 2026에서 열린 '에피션트 큐웬 컴피티션 (Efficient Qwen Competition)’에서 3위를 차지했다.
ICML은 머신러닝·인공지능 분야 대표 학회로, AdaptFM 워크숍은 제한된 컴퓨팅 자원에서 대형 AI 모델을 효율적으로 실행하는 기술을 다룬다. 이번 대회는 오픈소스 대형 언어 모델 Qwen3.5-4B을 단일 엔비디아 A10G GPU에서 실행하면서 답변 품질은 유지한 채 생성 속도를 높이는 기술을 평가했다.
전 세계 40여 팀이 참가한 가운데 노타는 평균 6.978배 빠른 추론 성능을 기록해 3위에 올랐다.
노타는 자체 양자화(Quantization) 기술로 모델의 메모리와 연산량을 줄이고, 추측적 디코딩(Speculative Decoding) 기술을 결합했다. 여기에 슬라이딩 윈도우 어텐션(Sliding-window Attention) 기법을 적용해 효율을 높였다.
김태호 노타 CTO는 “이번 성과는 글로벌 오픈소스 모델 큐웬을 대상으로 노타의 추론 최적화 기술을 검증받은 사례”라며 “온디바이스·엣지 AI 등 다양한 환경에 최적화 기술을 확대 적용할 계획”이라고 말했다.
한편, 노타는 이번 워크숍에서 MoE(Mixture of Experts) 구조 모델 양자화 관련 논문 2편이 채택됐다. 회사 측은 ICML 기간 중 ‘Nota AI - Korea Efficient Days’ 행사도 개최해 글로벌 연구자 및 기업 관계자들과 기술 교류를 진행했다.