경제타임스 김은국 기자 |  온디바이스(On-Device) AI는 데이터를 클라우드 서버로 전송하지 않고, 스마트폰·IoT기기·차량·로봇 등 단말(디바이스) 내부에서 직접 인공지능 연산을 수행하는 기술을 말한다.

기존의 클라우드 기반 AI는 대규모 서버에서 데이터를 분석하고 결과를 다시 단말로 전송하는 구조였지만, 온디바이스 AI는 연산의 중심을 ‘단말 내부’로 옮겨 지연시간(latency)을 최소화하고 개인정보 유출 위험을 줄이는 장점이 있다.

특히 최근에는 반도체 성능 향상과 경량화 기술 발달로 인해 엣지 컴퓨팅(Edge Computing) 기반의 AI 구현이 가능해지면서, 스마트폰의 음성인식·자율주행차의 실시간 판단·스마트팩토리의 품질검사·보안카메라의 영상 분석 등 다양한 산업 현장에서 폭넓게 활용되고 있다.

또한 온디바이스 AI는 네트워크 접속이 제한된 환경에서도 작동할 수 있어 ‘오프라인 AI’ 또는 ‘로컬 AI’로 불리기도 한다. 이 기술은 데이터의 보안성, 실시간성, 에너지 효율성을 동시에 확보할 수 있다는 점에서 차세대 AI 인프라의 핵심 축으로 꼽힌다.

노타(NOTA)와 같은 기업들은 이러한 흐름 속에서 AI 모델의 크기와 연산량을 획기적으로 줄이는 ‘AI 경량화·최적화 기술’을 통해 온디바이스 AI의 상용화를 가속화하고 있다.