하이닉스 IR로 바라보는 AI와 디램의 미래

AI가 앞으로 얼마나 메모리 수요를 창출할 수 있는가에 대해 갑론을박이 많은 상황임. 가장 협소하게 보는 사람은 HBM 수요만 계산해서 현재 용량 기준으로 디램 수요의 2~3%밖에 되지 않는 별 것 아닌 비중으로 평가절하하기도 함.

그런데 지난 주 있었던 하이닉스 비공개 IR에서는 단순히 AI 디램(HBM, TSV 어드밴스드 패키징 적용 대용량 디램 모듈) 수요가 내년에도 2배 이상 성장한다고 주장한 것뿐만이 아니라 AI가 AI 서버뿐만 아니라 장기적으로 다른 어플리케이션 전체의 디램 수요까지 같이 증가시킨다고 주장했고, 그에 대해 구체적인 수치까지 제시하기도 했음.

관련해서 해당 IR에서 가장 의미있다고 생각하는 부분을 요약해 봄.

"AI는 AI 서버뿐만 아니라 PC, 스마트폰, 일반 서버 등 다른 어플리케이션의 메모리 수요 역시 같이 성장시킬 것이다.

우선 서버만 해도 AI 서버가 성장할 때 Canibalization 효과로 일반 서버 수요가 감소하는 것이 아니고, 일반 서버 역시 같이 성장할 것으로 전망한다. 현재 AI 서버가 AI 모델의 학습(Training)과 추론(Inference)를 담당하고 있다면, AI 모델로 생성되는 밸류와 비즈니스 모델을 클라우드 컴퓨팅 등 기존 서버 플랫폼이 운영해 줘야만 한다.

일반 서버의 성장 없이는 AI 서버 역시 지속적인 성장이 어렵기에, 장기적으로는 동반 성장으로 나아갈 것으로 전망한다. 이로 인해 전체 서버 세트 출하량은 연평균 한자릿 수 중반 % 성장에서 한 자릿수 후반 %로 성장률이 상승할 것으로 전망한다.

이는 서버 디램 수요증가율(빗그로스) 전망치를 10%대 초반 %에서 +10% 이상 끌어 올리며, 전체 디램에서는 3~4%의 추가 수요창출이 있을 것으로 전망한다.

뿐만 아니라 AI는 향후 온 디바이스 형태의 AI 플랫폼을 위한 엣지 컴퓨팅 수요를 더욱 자극할 것이다."

현재 메모리 반도체 업계의 가장 큰 고민은 AI 서버를 제외하고 다른 어플리케이션들, 예컨대 PC, 스마트폰, 일반 서버 등이 완전히 성숙기에 들어가 수요성장율이 크게 감소했다는 데 있음. 강력한 공급 축소로 다운턴은 어떻게든 끝낼 수 있겠지만, 수요가 좋지 못하다면 업턴의 기간과 높이는 그만큼 약해질 수밖에 없음.

그런데 하닉은 AI가 장기적으로 AI 서버 뿐만 아니라 저성장기(성숙기)에 들어간 다른 어플리케이션들의 디램 수요도 다시 되살릴 수 있다고 주장하고 있음. 저 주장에 대한 내 생각을 써 보고자 함.

우선 서버 수요부터 이야기해보면 현재까지는 AI 서버 투자와 일반 서버 투자는 서로 상호 대체적인 관계임. 한정된 예산으로 인해 AI 서버 투자가 증가하면 반대급부로 일반 서버 투자가 감소하고 있음. 즉, Canibalization 관계임.

그런 관점에서 최근에 나온 가트너의 분석이 상당히 인상적인데, 클라우드 컴퓨팅 중심의 일반 서버 투자가 (비록 올해는 주춤할 지라도) 내년부터 다시 성장할 것으로 전망했기 때문임. 그게 다 생성형 AI 덕분임.

우선 클라우드 컴퓨팅에 대해 먼저 설명하면 우리가 일반적으로 이야기하는 MS 에저, 구글 GCP, 아마존 AWS를 IaaS라고 지칭함. 서버와 스토리지, 네트워크 장비 등의 IT 인프라 장비를 빌려주는 것이 IaaS(Infrastructure as a Service, 서비스로서의 인프라스트럭처)임.

그리고 현재 주요 생성형 AI인 챗GPT(오픈AI)와 라마2(메타) 모두 MS 에저에서 작동하는데, AI 서버에서 AI 모델을 개발하면 그 모델을 일반 클라우드 서버에 올려서 실행하는 방식임. 그렇기 때문에 AI 모델의 개발은 필연적으로 일반 서버의 CAPA 역시 확대시킬 수밖에 없음.

특히 이런 클라우드 서버를 통한 AI 서비스에 가장 앞서 나가는 게 MS인데, 챗GPT뿐만 아니라 MS오피스에 챗GPT을 도입한 'MS오피스 코파일럿' 역시 SaaS를 통해 서비스할 예정임. 이 역시 MS의 일반 서버 인프라 투자를 늘리게 만들 수밖에 없음. 다른 빅테크들 역시 조만간 동일한 상황에 처할 것이라고 생각함.

글로벌 IaaS 매출 1200억달러 돌파…가트너 "생성AI가 추가성장 견인"

가트너(Gartner)는 지난해 글로벌 IaaS(서비스형 인프라) 시장이 전년(928억달러) 대비 29.7% 성장, 총 1203억달러(약 153조원) 규모로 커졌다고 20일 발표했다. 가트너에 따르면 클라우드 고객들

n.news.naver.com

시그 내그 가트너 리서치 부사장은 “고객들이 기존의 약정 용량을 최대한 활용하는 데 집중하면서 4분기 성장세가 다소 둔화되었음에도 불구하고, 2022년 전체 IaaS 성장은 예상보다 강세를 보였다”고 설명했다. 이어서 그는 “이러한 추세는 시장의 성숙에 따른 자연스러운 결과로 2023년 중반까지 지속될 것으로 예상되며, IaaS 시장은 향후 추가적인 성장 가능성 또한 충분하여 2024년에는 성장세가 더욱 가속화될 것”이라고 전했다.

또한 그는 “생성형 AI가 클라우드 시장을 계속해서 이끌어 나갈 것이며, 특히 하이퍼스케일러(Hyperscaler)들은 기존의 대중화된 생성형 AI 솔루션 이상의 제품을 지원하려고 할 것”이라며, “기업들이 생성형 AI를 기술 포트폴리오에 통합함에 따라, 클라우드 하이퍼스케일러에게는 주권, 윤리, 개인 정보 보호 및 지속 가능성과 관련된 새로운 시장과 기회가 열릴 것”이라고 전망했다. (이하 중략)

그런데 이러한 서버 시장의 지속적인 성장을 위해 가장 중요한 게 결국 AI를 통한 수익 모델의 창출임. AI 모델 구축에 엄청난 돈이 들어가는데, 그 모델로 돈을 못 벌면 추가적인 투자 확대는 불가능하기 때문임.

그런 관점에서 지금 챗GPT 같은 LLM(Large Language Model: 거대 언어 모델)을 적용한 검색 엔진이 일반 검색 엔진보다 검색에 드는 비용이 (LLM에 쓰인 파라메터 개수에 따라 좀 다르긴 하지만) 무려 최대 200배 이상 비싼데, 구글의 경우 모든 검색 엔진에 LLM을 적용하면 연간 수십조 원 이상의 추가 비용이 발생한다고까지 전망할 정도임. 현재 AI 서버 투자가 일반 서버 투자를 잠식(Canibalization)하는 건 AI 모델 구축(훈련&추론)에 이처럼 막대한 비용이 드는 반면, 이를 통한 수익 모델 창출이 이제 겨우 시작 단계이기 때문임.

이처럼 AI 모델 개발에 투자되는 막대한 비용을 감안하면 챗GPT 등 검색 엔진 비즈니스만으로는 충분한 수익 창출에 한계가 있고, 결국 추가적인 수익 창출 모델이 필요한 상황임. 그래서 주목하는 게 최근 MS에서 공개한 'MS오피스 코파일럿'인데, MS오피스에 챗GPT를 탑재하여 문서 요약과 정리, 반복적이고 정기적인 문서 작성 작업 등을 전부 자동화한 MS오피스 신규 버전임. 이 버전을 사용하려면 추가적인 구독료 월 30불만 더 내면 됨.

그렇게 보면 현재 MS오피스를 유료 구독하는 인구가 3.5억명이고, 여기에서 창출되는 매출이 연간 600억 불인데, 전체 구독자 중 1/5만 코파일럿 버전을 구독한다고 해도 3.5억명*30불*12개월*1/5=연 252억 불의 추가 매출 창출이 가능함.

나는 기업들이 이러한 업무 자동화에 상당히 적극적으로 나설 것으로 생각하는데, 예컨대 삼성전자 국내사업장 전체 임직원 수가 약 12만 명인데, 이 사람들이 전부 다 MS오피스 코파일럿을 구매한다고 쳐도 12만 명*월 30불*12개월*1300원/불=연간 약 5600억 원 정도의 추가 비용밖에 발생하지 않음. 삼성전자 연간 매출이 수백조 원이라는 점을 감안하면 그리 크지 않은 비용임.

AI의 미래에 대한 맥킨지 컨설팅의 최신 리포트 공유함- 갤럭시 마이너 갤러리

 The economic potential of generative AI: The next productivity frontierGenerative AI’s impact on productivity c

골드만삭스: 생성형 AI, 진짜 혁명인가? 허상인가?- 갤럭시 마이너 갤러리

골드만삭스에서 생성형 AI 관련해서 리포트가 나왔어서 관련 내용 중 일부를 공유해 봄. 생성형 AI의 매우 큰 경제적 영향 골드만삭스의 선임 글로벌 이코노미스트인 Joseph Briggs는 생성형 AI의 광범위한

그리고 예전에 공유했던 맥킨지 리포트에서도 일반 사무직 업무 시간의 약 1/5이 정보를 찾고 정리하는 단순 노동 시간이라고 분석한 점, 골드만삭스 리포트에서도 사무직 업무 상당 부분을 자동화 가능하고, 또 노동 시장이야말로 생성형 AI의 영향을 가장 크게 받을 시장이라고 언급했다는 점을 감안하면 기업들이 업무 자동화를 통해 얻을 비용 대비 효익이 훨씬 더 크다고 생각함.

그래서 앞으로는 MS오피스 뿐만 아니라 일반적인 사무직 업무에 쓰이는 ERP 프로그램(SAP, 오라클 등)에도 AI 모델이 광범위하게 적용될 것이고, 장기적으로는 MES(Manufacturing Engineering System) 같은 제조 현장에서 쓰이는 전산 프로그램 전반에도 AI 모델이 적용되리라고 생각함.

뿐만 아니라 장기적으로 테슬라가 추구하는 자율주행 프로그램 구독료 모델 등도 AI의 또 다른 수익 창출 모델이 될 것이라고 생각함.

즉, 챗GPT는 AI 수익 창출 모델의 겨우 시작일 뿐임. 본격적으로 AI 모델이 업무 자동화 등 다른 비즈니스 모델에 적극적으로 적용되기 시작하면 'AI 모델 투자->수익 창출->수익으로 재투자->이하 반복...'의 선순환 사이클이 가능해질 것으로 생각함. 즉, AI 서버뿐만 아니라 일반 클라우드 서버 투자 역시 같이 증가하게 되는 것임.

그리고 궁극적으로 맥킨지와 골드만삭스가 공통적으로 언급했듯 AI를 통한 업무 자동화는 노동 생산성의 성장과 연 8조 불 이상에 달하는 전 세계적인 경제 성장을 가져올 것이기 때문에 경제 성장을 통한 추가적인 서버 CAPEX 투자를 가능하게 할 것임.

앞서 나온 하이닉스 IR에서 제시한 AI로 인한 전체 디램 수요증가율 상승치가 연간 약 3~4%(서버 디램만은 약 10%)인데, 이게 어느 정도의 효과를 갖냐면 장기적인 디램 수요증가율 전망치가 현재 약 12% 정도인데, 여기에서 AI로 +4%가 더해진다고 하면 5년(1.12^5 vs. 1.16^5) 후의 디램 시장규모는 기존 대비 약 20% 이상 더 성장하게 됨. 10년으로 하면 약 42%임. 참고로 이것은 AI 디램이 HBM에서 알 수 있듯 훨씬 더 부가가치가 높다는 점을 제외하고 단순 용량증가율만 계산한 것임. 가격까지 고려한 매출증가율로 보게 되면 앞서 제시한 수치보다 훨씬 더 커질 것으로 전망함.

그리고 이건 서버 디램만을 놓고 본 것이고, 엣지 디바이스 레벨의 AI 컴퓨팅이 확산되면 서버뿐만 아니라 PC, 스마트폰 등 일반 IT 기기의 디램 수요 역시 상당히 증가할 수 있음.

현재 AI 모델 개발은 훈련과 추론 중에서 특히 훈련에 집중되고 있는데, 훈련은 방대한 무작위한 데이터를 분석해서 의미를 찾아내는 과정이다 보니 컴퓨팅 파워가 훨씬 더 많이 필요함. 그래서 여기에서는 AI GPU가 필수적임. 반대로 추론은 훈련 과정에서 완성된 모델을 통해 모델을 사용하는 사람이 원하는 답을 제시하는 과정이기 때문에 훈련 대비 다뤄야 하는 데이터가 꽤 많이 정형화 되어 있고, 따라서 컴퓨팅 파워 역시 그 정도로 많이 필요하지는 않음.

그래서 추론은 엣지 디바이스 레벨에서도 충분히 실행 가능함. 그러면 시간과 접근성 모두 크게 절약할 수 있음. 최근에 인텔이 메테오레이크에 AI 추론용 TPU를 탑재해서 중앙 서버 연결 없이 PC 레벨에서 실시간 모션 캡쳐 렌더링을 시연한 게 그 사례임. 실제로 첨부에 나왔듯 가트너에서도 2025년까지 IoT에서 가장 성장할 분야로 엣지 AI를 꼽았음.

\

이 엣지 디바이스 레벨에서 AI 모델을 실현(엣지 컴퓨팅)하려면 역시 전용 메모리가 필요한데, 여기에서 제시되는 게 고대역폭의 GDDR임. 첨부는 램버스 사에서 공개한 AI 디램 로드맵인데, HBM은 AI 학습(Training)과 HPC에 쓰이고 GDDR은 AI 추론(Inference) 영역에 쓰일 것이라고 전망하고 있음. 또한 엣지 디바이스 레벨에 AI TPU가 탑재되면 이에 발맞춰 CPU 컴퓨팅 파워 상승을 위해 GDDR뿐만 아니라 메인 메모리인 DDR의 수요 역시 같이 증가하리라고 생각함.

그런데 모든 엣지 AI 디바이스에 GDDR이 탑재될 것 같지는 않은데, PC는 그렇다 쳐도 스마트폰이나 노트북 같은 모바일 기기는 GDDR의 막대한 발열과 전력 소모를 감당하기 어렵기 때문임. 이에 대한 해결책 중 하나가 최근 애플의 AR 기기인 '비전 프로'에 탑재된 하이닉스의 Modified LPDDR5임.

[단독]SK하이닉스 특수 D램, 애플 '비전 프로'에 탑재된다

SK하이닉스(000660)가 애플의 차세대 증강현실(AR)기기 ‘비전프로’에 탑재되는 특수 D램을 독점 공급한다. 고대역폭메모리(HBM)에 이어 새롭게 열리는 시장에 필요한 응용 D램을 고객사에 발 빠르게 공급하면서

naver.me

10일 업계에 따르면 SK하이닉스는 애플이 지난달 야심차게 공개한 AR기기 비전프로에 들어가는 특수 디램을 공급하기로 했다. 이 디램은 애플이 비전프로용으로 새롭게 개발한 ‘R1’이라는 칩과 연동한다. R1은 AR기기 곳곳에 장착된 카메라·센서가 인지한 외부 정보를 연산하는 프로세서다. 사람이 눈을 한 번 깜빡이는 시간보다 8배나 빠른 12ms(밀리초·0.012초) 안에 새로운 화면을 띄우는 역할이다.

이런 기능을 구현하려면 바로 옆에서 연산을 보조하는 디램 역시 변화해야 해 기존 스마트폰에 탑재되는 모바일용 디램 속도로는 한계가 있다. SK하이닉스는 애플의 요구 조건에 맞춰 R1 동작에 최적화한 디램을 제공했다. 각종 데이터를 메모리 밖으로 전달하거나 내부로 가져오는 통로(입출구·IO) 수를 대폭 늘리면서다.

업계에 따르면 이 특수 디램은 기존 스마트폰에 들어가는 LPDDR5X 디램보다 입출구 수가 8배 많은 512개다. 입출구 수가 늘어난 만큼 데이터의 이동이 원활해지면서 일반 디램보다 속도가 2배 가까이 늘어나는 것으로 알려졌다. 이 디램은 R1칩 바로 옆자리에 붙어 하나의 칩처럼 움직인다. 두 칩 간 정보 공유 거리가 기존보다 훨씬 짧다는 얘기다. (이하 중략)

LPDDR을 마치 HBM처럼 Modify 해서 채널(IO) 개수를 크게 늘리고, 또 AR 연산 칩 바로 옆에 Near Memory로 탑재했음. 이를 통해 LPDDR로 모바일 기기에 필수적인 저전력/저발열을 구현함과 동시에 고성능 연산에 필요한 초고속 스펙을 같이 구현했음. 하닉이 이번에 구현한 이런 Modified 형태의 LPDDR이 장기적으로 모바일 기기에서 구현하는 AI 추론 모델에 사용되리라고 생각함.

메타가 자체 챗봇인 '라마2' 개발에 퀄컴과 협력하고 있는 것도 앞서 언급한 모바일 기기 레벨의 엣지 AI 컴퓨팅 때문임. 파라메터 수가 압도적인 MS의 챗GPT와 정면 승부하기보다는 파라메터 수를 줄여 AI 모델을 경량화하고, 이를 통해 모바일 기기에 탑재 가능하게 하여 챗GPT와는 다른 검색 시장을 공략하겠다는 전략임. 이를 위해서는 모바일 기기에 탑재 가능한 고성능 AI 추론용 TPU의 개발이 필수적이고, 그래서 메타가 모바일 AP의 절대강자 퀄컴과 협력하는 것임. 이처럼 엣지 AI 컴퓨팅은 아직은 시작 단계에 불과하지만 잠재력이 크다는 사실은 분명하고, 그 잠재력이 구체화될 시 이 역시 막대한 메모리 수요를 창출할 것임.

여담으로 이러한 저전력/저발열이라는 특성 때문에 LPDDR은 향후 AI 서버 같은 HPC에도 탑재가 늘어날 것으로 예상되는데, HPC 레벨에서도 이제 발열과 전력 소모가 심각한 문제가 되고 있기 때문임. 예컨대 엔비디아의 최신형 AI 수퍼칩인 GH200에는 메인 메모리로 LPDDR5X가 대량으로 탑재되고, 마이크론도 컨콜에서 비슷한 이야기를 했었음. 컨콜에서 관련 내용을 인용해 봄.

조셉 로렌스 무어(모건스탠리): 앞선 CEO 발언에서 엔비디아의 수퍼칩 GH200를 위해 저전력 메모리를 개발하는 일종의 파트너십에 대해 언급했었다. 그것에 대해서 더 설명이 가능한지? 그리고 이런 거대 AI 반도체 시스템에서 저전력 디램이 어떤 역할을 수행합니까? 그리고 그것을 위해 마이크론이 무엇을 하고 있습니까?

수밋 사다나(마이크론 CBO): 간단히 설명해 드리겠습니다. 우리는 LPDDR이 데이터센터에 탑재될 수 있도록 엔비디아와 특별한 파트너십을 가지고 제품을 개발했습니다. LPDDR은 DDR이 장기간에 걸쳐 서버향 고객들과 축적해 온 방대한 신뢰성, 가용성, AS 역량이 없다는 등의 이유로 그동안 데이터센터에서는 사용되지 않았었습니다. 그래서 LPDDR을 데이터센터에 탑재하기 위한 추가적인 개선 사항들이 있었습니다.

이 데이터센터용 LPDDR은 몇 가지 중요한 추가적인 특징과 기능이 있습니다. 표준 LPDDR 제품이 아닙니다. 그래서 이 제품은 엔비디아와 제휴하여 개발되었으며, 독특하고 차별화된 제품이며, 또한 수퍼칩 시스템 전체의 디램 탑재량이 144TB에 달하는 압도적인 초대용량 제품입니다.

이는 현재 데이터센터에서 매우 큰 문제인 전력 소비를 크게 감소시킨다는 의미입니다. 그리고 이런 제품을 통해 저전력 디램을 데이터센터에 탑재하는 것은 큰 발전이고, 우리는 그 최전선에서 업계를 선도하고 있어서 정말로 흥분됩니다. (이하 중략)

결론적으로 AI는 HPC 전용 초고성능 메모리 수요만을 증가시키는 게 아니라 어플리케이션 측면에서는 일반 서버부터 PC, 모바일, 오토모티브 등 어플리케이션 전반을, 그리고 디램 제품 측면에서는 HBM부터 DDR, GDDR, LPDDR까지 모든 형태의 디램 수요 전체를 한 단계 레벨업 시킬 것이라고 생각함. 그래서 HBM에만 집중하는 것은 AI 메모리 수요를 정확히 이해하지 못하는 행동이고, 바로 그렇기 때문에 AI는 당장 지금의 사이클에만 영향을 주는 단기적인 요인이 아니라 장기적으로 디램 시장을 완전히 변모시킬 레짐 체인저가 될 것이라고 생각함.

PS. 여담으로 이래서 반도체야말로 향후 미래 경제에서 그 무엇과도 비교 불가능한 가장 중요한 자원이며, 이 때문에 미국이 미중 패권전쟁에서 죽기 살기로 반도체를 규제한다고 생각함. 맥킨지와 골드만삭스 분석대로 AI가 연간 경제성장률에 1.5% 가까운 영향을 준다면 10년이면 AI의 유무가 20% 가까운 경제규모 차이를 가져옴. 중국 경제가 미국 경제 규모를 역전할 수 있느냐, 반대로 미국 경제가 중국 경제와의 격차를 크게 벌릴 수 있느냐를 AI가 결정함. 그리고 그 AI의 핵심이 바로 반도체임. 그런 관점에서 최근에 미국 반도체 기업들이 대중국 반도체 규제를 풀어달라고 징징대는데, 미국 정부가 그깟 장사치들 이익놀음에 놀아나서 패권전쟁에서 혹여나 패배할 리스크를 만드는 일은 절대로 없을 것이라고 생각함.