칩스앤미디어, NPU 병목 해소 ‘데이터 압축 IP’ 공개

칩스앤미디어(대표이사 김상현)는 AI 반도체의 메모리 병목을 해소하는 '데이터 압축(Data Compression, DC) IP'를 공식 공개하고 AI 엣지 및 서버 시장 공략에 나선다고 7일 밝혔다.

이번에 공개한 데이터 압축 IP는 비디오 이외의 응용 분야를 겨냥해 선보이는 첫 번째 멀티미디어 IP다. AI 연산 과정에서 발생하는 피처맵(Feature Map)을 무손실로 압축해 NPU(신경망처리장치)의 메모리 병목 현상을 완화한다.

최근 엣지 디바이스와 서버에서 AI 추론 연산량이 빠르게 증가하면서 NPU의 연산 성능뿐 아니라 메모리 대역폭이 전체 시스템 성능을 좌우하는 핵심 요소로 부상하고 있다. 특히 AI 연산 과정에서 생성되는 대규모 활성화 데이터인 피처맵을 DRAM 등 외부 메모리에서 지속적으로 읽고 쓰는 과정에서 상당한 데이터 트래픽이 발생한다.

이 과정에서 외부 메모리의 대역폭이 한계에 도달하면 NPU의 연산 성능이 충분하더라도 데이터를 제때 공급받지 못해 연산 유닛이 대기하는 현상이 발생할 수 있다. 잦은 메모리 접근은 시스템 전력 소비도 증가시켜 전력 효율과 발열 관리가 중요한 모바일·임베디드 환경에서는 더욱 큰 부담으로 작용한다.

칩스앤미디어는 이러한 문제를 해결하기 위해 NPU와 외부 메모리 사이에서 피처맵 데이터를 실시간으로 압축·복원하는 데이터 압축 IP를 개발했다. 회사가 강조하는 핵심 경쟁력은 무손실 압축 방식이다. 원본 데이터를 손실 없이 그대로 복원하기 때문에 압축 과정에서 AI 모델의 추론 정확도가 저하되는 문제를 방지할 수 있고, 압축 효율도 높였다.

칩스앤미디어가 ResNet, MobileNet, YOLO 등 주요 비전 네트워크를 대상으로 테스트한 결과, 데이터 형식별 메모리 대역폭 절감률은 FP16 35.2%, BF16 45.7%, INT8 53.5%를 기록했다. 이를 통해 동일한 메모리 환경에서도 NPU가 사용할 수 있는 실질적인 메모리 대역폭을 확대하고 전체 시스템의 처리 효율을 높일 수 있다는 설명이다.

시스템 적용 편의성도 고려했다. 데이터 압축 IP는 기존 NPU와 AXI 버스 사이에 배치하는 ‘인라인 AXI 브리지(Inline AXI Bridge)’ 구조로 설계됐다. 별도의 내부 SRAM 없이 기존 AXI 클럭을 활용할 수 있는 경량 구조로, 하드웨어 면적 증가를 최소화하면서 기존 시스템에 비교적 쉽게 통합할 수 있도록 했다. 또한 INT8, FP16, BF16 등 다양한 데이터 형식을 지원하며, 고속 데이터 흐름에 대응할 수 있도록 라인레이트(Line-rate) 처리를 지원한다.

현재 칩스앤미디어는 데이터 압축 IP의 핵심인 피처맵 압축 알고리즘과 C-모델 개발을 완료했으며, 2027년 1분기 하드웨어 구현 완료를 목표로 개발을 진행하고 있다. 향후 고객 요구와 AI 워크로드 특성에 맞춰 데이터 압축 IP의 적용 범위를 확대할 계획이다. 현재 피처맵 압축을 시작으로 정적 가중치(Static Weight) 압축, 나아가 대규모언어모델(LLM)과 비전언어모델(VLM)에서 메모리 사용량 증가의 주요 요인으로 꼽히는 KV 캐시(KV Cache) 압축까지 제품군을 확대한다는 구상이다.

칩스앤미디어 관계자는 “20년 이상 축적해 온 하드웨어 IP 설계 역량과 전력·면적·성능 최적화 기술을 기반으로 기존 비디오 코덱 시장에서의 경쟁력을 유지하는 동시에 빠르게 성장하는 AI 및 고성능 멀티미디어 IP 시장으로 사업 영역을 확대할 것”이라고 말했다. 이어 “데이터 압축 IP를 시작으로 비디오 연관 IP 제품군을 지속적으로 확대해 칩스앤미디어의 멀티미디어 IP 포트폴리오를 구축할 계획”이라며 “글로벌 주요 고객사의 검토와 채택을 확대해 새로운 성장동력으로 육성하겠다”고 밝혔다.