이 글에서는 AI 반도체를 만드는 4가지 단계(모델 만들기, 설계, 파운드리, 메모리)를 개략적으로 설명합니다. 각 단계의 주요 작업과 특징을 이해하기 쉽게 요약하며, AI 반도체 제조 과정에 대한 기본적인 개념을 제공합니다.
AI 즉 LLM을 구동시키는 칩을 만들려면 먼저 "소프트웨어 + 하드웨어"를 갖춰야 합니다.
소프트웨어는 Chat GPT, Gemini 등을 말합니다.
하드웨어는 반도체 칩을 가리킵니다.
AI 반도체를 만드는 기본 과정을 알아봅시다.
AI 반도체 만들기 개요
예전에는 CPU를 만들 때 거기에 들어가는 소프트웨어 따로, 칩 따로 만들어도 크게 사용하는데 무리가 없었습니다. 하지만 AI 반도체를 만들 때는 소프트웨어와 칩, 메모리 그리고 어떤 방식으로 만들 것인지 등이 처음부터 유기적으로 협력하여 만들어진 다는 것이 다릅니다.
예를 들어 NDIVA에서 AI 칩을 만들 때 반도체를 만드는 삼성과 모델을 만드는 Opeon AI 팀들이 협력해야만 더 효율적인 AI칩을 만든다는 이야기입니다. 대략적으로 만드는 과정은 아래와 같습니다.
가장 먼저 OpenAI 같은 회사들이 딥러닝 또는 각종 학습을 시켜 AI칩에서 사용 가능한 Chat GPT 또는 구글 Gemini 등의 AI 모델을 먼저 만들어야 합니다. 그리고 거기에 맞는 AI 반도체 칩에 그 소프트웨어를 올려 AI가 작동하는 것이죠.
AI 칩 만들기 위한 순서
1. 모델 만들기(AI소프트웨어 만들기)
2. 설계
3. 파운드리
4. 메모리
AI는 크게 모델 만들기, 설계, 파운드리, 메모리 4가지 단계로 나눌 수 있습니다. 이는 AI 기술 개발 과정을 단순화하고 이해하기 쉽게 만든 분류 방식입니다. 각 단계는 서로 밀접하게 연결되어 있으며 AI 시스템의 성능과 효율성에 중요한 역할을 합니다.
1. 모델 만들기
모델 만들기 단계는 AI 시스템의 핵심인 모델을 만드는 과정입니다. 이 단계에서는 다음과 같은 작업이 수행됩니다.
대표적인 회사가 OpenAI, Google 등입니다. 즉 AI를 소프트웨어적으로 만드는 회사들을 이야기합니다.
AI를 학습시키고, 딥러닝 시켜 소프트웨어적으로 언어를 이해하고 다양한 정보를 처리할 수 있는 모델을 만드는 일입니다. 이 과정에서 아래와 같은 일을 합니다.
- 데이터 수집 및 전처리: AI 모델을 학습시키기 위한 데이터를 수집하고 전처리합니다.
- 모델 학습: 다양한 알고리즘을 사용하여 데이터를 기반으로 모델을 학습시킵니다.
- 모델 평가: 학습된 모델의 성능을 평가하고 개선합니다.
2. 설계
설계 단계는 AI 모델을 실제 하드웨어에서 실행할 수 있도록 준비하는 과정입니다. 이 단계에서는 다음과 같은 작업이 수행됩니다. 즉 팹리스라고 부르는 회사를 말합니다.
대표적인 회사들이 구글, Apple, 퀄컴, 엔비디아, AMD, 미디어텍 등이 모두 팹리스 회사입니다. 그러나 이중 몇몇 회사들이 요즘 반도체를 직접 생산한다고 말들을 합니다.
삼성전자의 경우 팹리스(설계)와 파운드리(반도체 생산)를 동시에 하는 회사입니다.
- 하드웨어 플랫폼 선택: AI 모델을 실행할 하드웨어 플랫폼을 선택합니다.
- 모델 최적화: 하드웨어 플랫폼에서 효율적으로 실행될 수 있도록 모델을 최적화합니다.
- 소프트웨어 개발: 모델을 실행하기 위한 소프트웨어를 개발합니다.
3. 파운드리
파운드리 단계는 설계된 AI 시스템을 실제 칩으로 제조하는 과정입니다. 이 단계에서는 다음과 같은 작업이 수행됩니다. 파운드리를 잘하는 회사는 삼성과 TSMC입니다.
- 칩 설계: AI 시스템을 위한 칩을 설계합니다.
- 칩 제조: 설계된 칩을 반도체 제조 공정을 통해 제조합니다.
- 칩 테스트: 제조된 칩의 성능을 테스트하고 검증합니다.
4. HBM 메모리
메모리 단계는 AI 시스템 작동에 필요한 메모리를 제공하는 과정입니다. 이 단계에서는 다음과 같은 작업이 수행됩니다. AI에서는 수많은 데이터를 임시적으로 저장할 수 있는 메모리가 반드시 필요합니다.
이 데이터의 양이 매우 방대합니다. 이 방대한 데이터를 저장하기 위해서 HBM 메모리 즉 기존 메모리보다 대역폭이 큰 고대역폭 메모리가 사용되어야 합니다.
AI 칩에 들어가는 메모리로 HBM(High Bandwidth Memory)을 사용하는 경우가 많습니다. HBM은 고대역폭 메모리로, 고성능 그래픽 카드 및 AI 가속기와 같은 고성능 컴퓨팅 시스템에 사용되며, 주로 GPU와 같은 고성능 칩에서의 메모리로 사용됩니다.
HBM 메모리 특징
높은 대역폭(Bandwidth)으로 HBM은 기존의 GDDR 메모리와 비교하여 훨씬 높은 대역폭을 제공합니다. 이는 데이터를 더 빠르게 읽고 쓸 수 있어서 대용량 및 고성능 데이터 처리에 적합합니다.
낮은 에너지 소비가 특징입니다. HBM은 낮은 전력 소비를 가지고 있어서 전력 효율적인 시스템을 구축할 수 있습니다. 특히 AI 칩과 같이 대량의 데이터를 처리하는 고성능 시스템에서는 에너지 효율이 매우 중요하므로 이는 큰 장점입니다.
고밀도 패키징(Density) 가능, HBM은 고밀도 패키징을 통해 더 적은 공간에 더 많은 메모리를 넣을 수 있습니다. 이는 칩 디자인의 유연성을 높이고, 더 높은 성능을 달성할 수 있도록 도와줍니다.
낮은 레이턴시(Latency)입니다. HBM은 레이턴시가 낮아서 데이터 액세스 시간이 짧습니다. 이는 빠른 응답 시간이 필요한 응용 프로그램에 적합합니다.
높은 신뢰성(Reliability)으로 HBM은 고온 및 고해상도 환경에서도 안정적으로 작동할 수 있도록 설계되어 있습니다.
이러한 특징들은 AI 칩과 같은 고성능 컴퓨팅 시스템에서 메모리로서 HBM을 선택하는 이유 중 일부입니다. HBM은 대량의 데이터를 효율적으로 처리하고 높은 성능을 유지하는 데 있어서 중요한 역할을 합니다.
Summary
AI 반도체는 Chat GPT, Gemini 등의 AI 모델을 칩에 구현하여 AI 기능을 구현합니다. 제작 과정은 모델 만들기, 설계, 파운드리, 메모리 4단계로 나뉘며 각 단계는 서로 밀접하게 연결되어 있습니다. 각 단계의 주요 작업과 특징을 이해하면 AI 반도체 기술 개발의 중요성을 파악할 수 있습니다.