학습(Training)의 시대에서 추론(Inference)의 시대로, 연산보다 데이터 공급 병목

생성형 AI가 학습(Training) 중심에서 추론(Inference) 중심으로 이동하면서, 연산보다 데이터 공급(메모리 대역폭·용량)이 병목이 되어 HBM, 서버 DRAM, NAND까지 동반 호황이 전개될 수 있다는 전망이 확산. (한국경제)

국내 보도는 2026년 메모리 반도체 시장이 약 4,400억 달러 규모로 커지며, 시장 전망이 크게 상향(IB 전망 30% 상향 언급)됐다는 프레임으로 “내년 시장 두 배”를 제시. (한국경제)

해석 포인트 : “두 배”는 해당 기사에서 설정한 기준(전년 대비·집계 범위)을 전제로 한 표현이며, 리서치 기관별 범주(HBM 포함/제외 등)에 따라 수치 차이가 날 수 있음. (한국경제)

 

왜 ‘추론 시대’가 메모리 전성기를 만들나(기술/서비스 구조)

LLM 추론은 KV 캐시 접근이 많아 메모리 대역폭·용량 제약이 성능을 좌우(“memory wall”)한다는 연구 결과가 축적. (arXiv)

• 추론은 “한 번 돌리고 끝”이 아니라 상시 서비스(24/7)이므로, 모델 가중치 상주,  KV 캐시/컨텍스트 유지,  RAG용 벡터DB·인덱스, 로그·세션 히스토리 저장 등으로 메모리/스토리지 상시 점유가 증가. (한국경제)

메모리별 수혜 구조(“HBM만이 아니다”)

• HBM(가속기용) : AI 데이터센터 구축이 확대될수록 HBM 수요가 강해지고, 공급제약이 시장의 핵심 변수가 된다는 논조가 반복. (The Verge)
• 서버 DRAM(DDR5 등) : 추론 서버가 늘수록 시스템 메모리 수요가 동반 증가(“메모리 센트릭” 서사). (한국경제)
• NAND/SSD(스토리지) : RAG, 로그, 모델 저장/배포·데이터레이크로 스토리지 트래픽이 커지며 NAND도 동반 수혜 가능성이 언급됨. (PC Gamer)

해외 사례로 확인되는 ‘전성기’ 신호

(1) Micron : “공급 타이트가 2026년 이후에도 지속”

• 마이크론 CEO가 DRAM·NAND 공급 부족이 2026년 이후에도 지속될 수 있다고 언급(AI 데이터센터 수요가 핵심 배경). (The Verge)
• 같은 흐름에서 2026년 실적/마진(예: 67% 가이던스)과 HBM 계약 고정 등 ‘슈퍼사이클’ 신호가 해외 경제지에서도 부각. (마켓워치)

(2) SEMI/Reuters: 메모리·로직 수요로 장비 투자 확대

• SEMI 전망(Reuters 인용) : 2026년 웨이퍼 제조장비 매출이 $126B로 증가(AI용 로직·메모리 수요 확대가 배경). (Reuters)
• SEMI 공식 발표 : DRAM 장비 매출이 2025~2027년 연속 성장, 이유로 HBM 램프업 및 공정 고도화를 명시. (SEMI)

NPU까지 포함한 ‘추론 확산’의 다음 단계(엣지/온디바이스)

• 추론이 데이터센터만의 일이 아니라 PC/엣지/로봇/카메라 등 온디바이스로 확산되면, NPU가 활성화되면서 메모리의 중요성이 다시 커짐(전력 한계 하에서 메모리 대역폭·용량이 체감 성능을 좌우). (ceva-ip.com)
• 예: 인텔 자료에서도 NPU가 추론 처리량/지연시간을 개선하는 지표를 제시(온디바이스 추론의 정량 근거). (Intel Download Center)
• 엣지 AI 리포트에서도 AI 추론은 대량 데이터 처리와 메모리 대역폭/가중치(Weights) 처리 부담이 크다고 설명(즉, NPU 확산 = 메모리 설계 중요도↑). (ceva-ip.com)

“추론 시대”의 핵심은 연산 성능만이 아니라 메모리(대역폭·용량·공급)와 스토리지가 AI 서비스의 상한을 규정한다는 점이며, (1) 데이터센터(HBM/서버 DRAM/NAND)와 (2) 온디바이스(NPU+LPDDR/저전력 메모리)가 동시에 커지면서 메모리 수요 기반이 넓어지고, 그 결과 “메모리 전성기/슈퍼사이클” 서사가 강화되는 구조입니다. (한국경제)

 

 

[1]: https://www.hankyung.com/article/2025122169741 "AI 추론의 시대 메모리 전성기 온다…내년 시장 4400억弗"
[2]: https://arxiv.org/abs/2508.13231 "Accelerating LLM Inference via Dynamic KV Cache ..."
[3]: https://www.theverge.com/news/847344/micron-ram-memory-shortage-2026-earnings "Micron says memory shortage will 'persist' beyond 2026"
[4]: https://www.pcgamer.com/hardware/memory/micron-says-memory-shortages-will-persist-beyond-2026-but-more-memory-is-essential-for-the-ai-experience/ "Micron says memory shortages will persist beyond 2026 but 'more memory is essential' for the 'AI experience'"
[5]: https://www.marketwatch.com/story/micron-blows-past-expectations-and-the-stock-is-climbing-d0e2943a"Micron can't keep up with its massive demand, and its stock is soaring"
[6]: https://www.reuters.com/world/asia-pacific/ai-boom-seen-lifting-chipmaking-equipment-sales-9-126-billion-2026-2025-12-16/ "AI boom seen lifting chipmaking equipment sales 9% to $126 billion in 2026"
[7]: https://www.semi.org/en/semi-press-release/global-semiconductor-equipment-sales-projected-to-reach-a-record-of-156-billion-dollars-in-2027-semi-reports "Global Semiconductor Equipment Sales Projected to ..."
[8]: https://www.ceva-ip.com/wp-content/uploads/Edge-AI-2025-Report-070125-V.28-1.pdf "Edge-AI Market Analysis: Applications, Processors ... - Ceva"
[9]: https://download.intel.com/newsroom/2025/client-computing/f368n4/Intel-Edge-CES2025-Media-Deck.pdf "Edge CES Press Briefing"