휴대폰으로 번역 기능이 된다는거 그리 멀지 않은 과거에는 몽상이라 했죠.

CPU 에 GPU 가 통합된지 오래고, 지금은 게임도 어느 정도 원활하게 할 수준이죠.

온디바이스AI 라는게 별거 아닙니다. AI 용으로 좀 더 최적화된 GPU 라고 생각하면 되죠.

낸드 메모리 용량도 스마트폰에서도 테라바이트 단위가 기본이 될 날이 멀지 않았는데 이 정도면 AI 를 스마트폰 독자적으로 실행할 빅데이타(?)용 스토리지가 가능하다는 얘기죠.

CPU 와 달리 GPU 와 AI 용 최적화 GPU 는 성능 올리기 쉽습니다.

외부와 연결되지 않고도 스마트폰 단독으로도 AI 가 실행될 수 있다는 얘기도 됩니다.
빅데이타(?) 업그레이드만 받으면 오프라인 상태에서도 최신 AI 실행.

2025년부터 ai온디바이스로 돈을 벌게 됩니다

최대 수혜주는 메모리 반도체 기업 입니다. D램 탑재량이 2배~2.5배 늘어나거든요

실용성 있는 뭔가가 있냐는 말씀도 하셨네요.

실시간 음성 통역은 어떤가요 ? 스마트폰만 들고 있으면 전세계 어디든 어떤 사람이든 상대의 언어와 관계없이 대화할 수 있다면 ? 스타트렉 같은 세상이 펼쳐지는거죠.

네트워크/인터넷 연결 안 되도  대화의 문맥까지 파악해서 통역해주는 AI 가 스마트폰에 다 들어갈 수 있거든요.

이걸 실용성 없다고는 못 하시겠죠.

온디바이스 AI는 GPU가 아닙니다.
NPU 입니다. 딥러닝 가속에 최적화된 전용 칩 또는 블럭입니다.

휴대폰 GPU는 이미 GUI 렌더링, 게임 등 여러 작업을 하고 있고,
에너지 효율도 전용 ASIC인 NPU보다 떨어집니다.
따라서 AI를 GPU에 돌리면 발열, 멀티태스킹 등 여러 이슈가 생깁니다.

온디바이스 AI는 실체가 있습니다.
1-2년 사이 대중화 될겁니다.

국내 업체들은 1-2 사이클은 이미 개발해봤고,
좀 더 반복해서 안정화, 최적화 중으로 상용화 단계에 있습니다.
해외는 조금 더 빠르고요.

실시간 변환은 서버기반이나 씨퓨 지퓨 에뮬해봤자 하드웨어 npu 못 따라옴
그래서 자율주행도 gpu로 해결해오던 차량용반도체에 npu 심잖음 이미지분석 땜에
그리고 최근 교체주기 길어진 가전이든 폰이든 컴이든 관련기능을 위해 교체수요가 생길 것
음성인식과 대화형 인터페이스 외에 위에서 언급한 번역도 있고 카메라를 적극 활용하고 틱톡 인스타 등에서 자체 컨텐츠를 만들어내는 젊은세대들은 실시간 보정이나 특수효과 같은 것 때문에 온디바이스 ai에 빠르게 따라오는 수요가 될 듯

난 동의. 3D 폰 같은 거라 봄.
아직 CUDA 처럼 생태계도 없고 구글 혼자 하는데 구글이 일 진행이 드럽게 느림.

아직 정확한 산업용 표준기술규격도 없고 구글이나 오픈소스 진영에선 아직 시작단계긴 하지만 이미 인텔 서버용 제품엔 들어가는 중이고 14세대부터는 소비자용에도 들어감
그동안 피씨엔 cpu gpu만 있었는데 npu가 지금처럼 cpu나 gpu에 끼워팔기식으로 계속 보급되면 os 차원에서도 활용 들어갈 거라는게 내 생각. 비스타 쉐이더 2.0 때처럼

애플에선 ios에 라이브포토기능 박아놓고 아이폰8에 쓴 a11부터 npu 들어감 12부턴 amx도 들어가고
원래 화질논쟁엔 카메라렌즈 정밀가공이 화두였고 디지털 시대에 와선 모듈성능이었다가 gpu였는데 npu가 들어간 시점부터 이미지프로세싱으로 본격적으로 넘어감 모바일에서 모듈 하드웨어 스펙에선 뒤진 애플이 실제 사진과 동영상 결과물에선 선두다툼을 하는 이유가 이거임
그래서 이런 해프닝도 생김
https://zdnet.co.kr/view/?no=20231201160103

안드에서도 하고 있긴 하지만 스냅이나 엑시에 비해 애플 실리콘 컴퓨트 성능이야 뭐...

글고 메모리특수도 성능을 위해 추가비용에 돈을 아끼지 않는 서버용이나 웍스급 소비자들에게나 해당되지 전통의 램크루지 애플이나 이번 갤24 램탑재량만 봐도 모바일은 램플러스 같은 sw적인 방법으로 떼울거라는 거 예상 가능함

On-Device AI에 대해서 조금 오해가 있으신것 같습니다.

이 기술은 기존에 네트웍을 통해 서버에 요청해서 서버상의 GPU를 사용해 학습하고 추론하던 방식의 AI가 아닌 학습은 그대로 서버에서 하지만 추론은 네트웍 연결없이 Edge Device 자체에서 AI가 '빠르게' 처리 하는것이 핵심 입니다.

삼성전자와 애플의 제품들에는 수년전부터 이미 얼굴인식, 음성인식을 비롯하여 네트웍 연결없이 휴대폰 내부에서 동작해야하는 On-Device AI들을 이미 NPU나 메인칩에서 처리하고 있습니다.

테슬라와 같은 자율주행차량은 도로상황을 실시간으로 인지 / 판단 / 제어 하기위해서 당연히 차량내부에서 On-Device AI 기반의 기술들을 활용해야만 합니다. 앞에보이는 저 물체가 차량인지 그림자인지 내가 도로의 가운데를 똑바로 가고 있는지를 네트웍을 통해서 서버에게 판단하도록 하면 그걸 기다리다가 추돌 사고가 날 수 밖에 없어서 On-Device AI 형태로 개발을 해야 합니다.

이처럼 On-Device AI는 앞으로 다가올 기술들이 아니라 실시간성 혹은 응답속도가 중요한 Device에서는 이미 수년전부터 사용되고 있는 대중화된 기술 이라 할 수 있습니다.

이분의 말에 동의.

애플이 폴더블은 그닥 삼성을 빠르게 추종하지 않았으나
온디바이스 AI는 삼성 스케줄과 동행중.

저라도 개인 서버 활용하는걸 선호함. 공유된 서버는 믿을수가 없어서 정보의 질을 올리기 힘듬. 물론 특정분야를 말하는 것임. 개인용 슈퍼컴퓨터 키우는 취미가 생길것임. 곧