唐顿庄园
삼성전자 ‘연산기 넣은 메모리’ 실증…AI 답변 속도 3배 빨라졌다_我的网站
A | 메모리 안에 연산기 넣어 데이터 이동 최소화‘라마3.1’ 모델 실증…토큰 생성속도 3배↑기존 제어장치 활용해 상용화 문턱도 낮춰 0.65㎜(밀리미터) 두께의 삼성전자 7세대 저전력 D램(LPDDR5X). 삼성전자삼성전자(005930)가 메모리 내부에서 연산 기능을 수행하는 프로세싱 인 메모리(PIM) 기술을 통해 인공지능(AI) 답변 생성 속도를 3배 이상 끌어올렸다. AI 반도체 성능 경쟁이 그래픽처리장치(GPU)의 연산 능력을 높이는 데서 나아가 데이터 이동 시간을 줄이는 방향으로 확대되고 있다는 분석이다.26일 업계에 따르면 삼성전자는 25일(현지 시간) 미국 스탠퍼드대에서 열린 ‘핫칩스 2026’에서 LPDDR5X 기반 프로세싱 인 메모리(PIM)의 실제 AI 추론 성능을 공개했다.PIM은 메모리 내부에 연산 기능을 탑재하는 기술이다. 데이터를 저장하는 역할에 머물던 메모리가 일부 계산까지 직접 처리해 프로세서의 부담을 줄이는 방식이다.기존 AI 반도체 구조에서는 메모리에 저장된 데이터를 GPU가 가져와 연산한 뒤 다시 메모리로 보내는 과정을 반복한다. 반면 PIM은 메모리 내부에서 필요한 연산 일부를 처리해 데이터 이동 거리를 줄인다. 이를 통해 처리 속도를 높이고 전력 소비도 낮출 수 있다.삼성전자는 저전력 더블 데이터 레이트 5X(LPDDR5X)-PIM에 16개 D램 뱅크마다 하나의 PIM 블록(연산회로 묶음)을 배치해 총 16개의 연산 블록을 탑재했다고 밝혔다. 뱅크는 데이터를 나눠 저장하는 D램 내부의 독립적인 저장 공간으로, 각 뱅크가 동시에 연산을 수행할 수 있도록 설계했다.이번 발표의 핵심은 실제 제작한 반도체에서 AI 모델 성능 향상을 검증했다는 점이다. 삼성전자는 자체 개발한 엣지 AI 가속기 시스템온칩(SoC)에 기존 LPDDR5X와 LPDDR5X-PIM을 각각 연결하고 메타의 거대언어모델(LLM) ‘라마 3.1 8빌리언(B)’을 구동했다. ‘생각하는 메모리’인 프로세싱 인 메모리(PIM) 구조 설명자료. 삼성전자그 결과 LPDDR5X-PIM의 토큰 생성 속도는 초당 81.3개로 기존 LPDDR5X(27개) 대비 3.01배 빠른 것으로 나타났다. 같은 작업에 걸리는 시간도 12.3초에서 5.4초로 줄었다.토큰은 AI가 답변을 생성할 때 사용하는 글자나 단어 단위의 데이터 조각이다. 동일한 AI 모델을 사용하더라도 메모리 구조를 개선하면 추론 속도를 크게 높일 수 있다는 의미다.삼성전자는 앞서 LPDDR5X-PIM 시제품과 기본 성능을 공개해왔다. 이번 발표는 실제 반도체 칩에 상용 AI 모델을 적용해 성능 개선을 확인하고, 내부 연산 구조까지 구체적으로 공개했다는 점에서 의미가 있다.상용화를 고려한 설계도 적용했다. 삼성전자는 주소정렬모드(AAM)를 활용해 LPDDR5X-PIM이 기존 D램 메모리 컨트롤러를 그대로 활용할 수 있도록 했다. 메모리 컨트롤러는 프로세서와 메모리 사이에서 데이터 입출력을 관리하는 장치다. PIM 적용을 위해 기존 시스템 구조를 전면 개편해야 하는 부담을 낮춘 것이다.삼성전자는 차세대 LPDDR6-PIM의 국제반도체표준협의기구(JEDEC) 첫 정식 규격도 최종화 단계에 가까워졌다고 밝혔다. 특정 업체만 사용하는 기술을 넘어 다양한 시스템 업체가 활용할 수 있는 표준 메모리 기술로 확대하겠다는 계획이다.업계 관계자는 “삼성전자가 세계적인 반도체 학회 핫칩스에서 선보인 LPDDR5X-PIM은 메모리가 위치한 곳에서 AI 연산 일부를 직접 처리하는 구조적 변화”라며 “AI 반도체 경쟁도 이제 GPU의 연산 속도를 높이는 것뿐 아니라 데이터를 얼마나 효율적으로 이동시키고 처리하느냐가 중요한 단계로 넘어가고 있다”고 말했다.。 메모리 안에 연산기 넣어 데이터 이동 최소화‘라마3.1’ 모델 실증…토큰 생성속도 3배↑기존 제어장치 활용해 상용화 문턱도 낮춰 0.65㎜(밀리미터) 두께의 삼성전자 7세대 저전력 D램(LPDDR5X). 삼성전자삼성전자(005930)가 메모리 내부에서 연산 기능을 수행하는 프로세싱 인 메모리(PIM) 기술을 통해 인공지능(AI) 답변 생성 속도를 3배 이상 끌어올렸다. AI 반도체 성능 경쟁이 그래픽처리장치(GPU)의 연산 능력을 높이는 데서 나아가 데이터 이동 시간을 줄이는 방향으로 확대되고 있다는 분석이다.26일 업계에 따르면 삼성전자는 25일(현지 시간) 미국 스탠퍼드대에서 열린 ‘핫칩스 2026’에서 LPDDR5X 기반 프로세싱 인 메모리(PIM)의 실제 AI 추론 성능을 공개했다.PIM은 메모리 내부에 연산 기능을 탑재하는 기술이다. 데이터를 저장하는 역할에 머물던 메모리가 일부 계산까지 직접 처리해 프로세서의 부담을 줄이는 방식이다.기존 AI 반도체 구조에서는 메모리에 저장된 데이터를 GPU가 가져와 연산한 뒤 다시 메모리로 보내는 과정을 반복한다. 반면 PIM은 메모리 내부에서 필요한 연산 일부를 처리해 데이터 이동 거리를 줄인다. 이를 통해 처리 속도를 높이고 전력 소비도 낮출 수 있다.삼성전자는 저전력 더블 데이터 레이트 5X(LPDDR5X)-PIM에 16개 D램 뱅크마다 하나의 PIM 블록(연산회로 묶음)을 배치해 총 16개의 연산 블록을 탑재했다고 밝혔다. 뱅크는 데이터를 나눠 저장하는 D램 내부의 독립적인 저장 공간으로, 각 뱅크가 동시에 연산을 수행할 수 있도록 설계했다.이번 발표의 핵심은 실제 제작한 반도체에서 AI 모델 성능 향상을 검증했다는 점이다. 삼성전자는 자체 개발한 엣지 AI 가속기 시스템온칩(SoC)에 기존 LPDDR5X와 LPDDR5X-PIM을 각각 연결하고 메타의 거대언어모델(LLM) ‘라마 3.1 8빌리언(B)’을 구동했다. ‘생각하는 메모리’인 프로세싱 인 메모리(PIM) 구조 설명자료. 삼성전자그 결과 LPDDR5X-PIM의 토큰 생성 속도는 초당 81.3개로 기존 LPDDR5X(27개) 대비 3.01배 빠른 것으로 나타났다. 같은 작업에 걸리는 시간도 12.3초에서 5.4초로 줄었다.토큰은 AI가 답변을 생성할 때 사용하는 글자나 단어 단위의 데이터 조각이다. 동일한 AI 모델을 사용하더라도 메모리 구조를 개선하면 추론 속도를 크게 높일 수 있다는 의미다.삼성전자는 앞서 LPDDR5X-PIM 시제품과 기본 성능을 공개해왔다. 이번 발표는 실제 반도체 칩에 상용 AI 모델을 적용해 성능 개선을 확인하고, 내부 연산 구조까지 구체적으로 공개했다는 점에서 의미가 있다.상용화를 고려한 설계도 적용했다. 삼성전자는 주소정렬모드(AAM)를 활용해 LPDDR5X-PIM이 기존 D램 메모리 컨트롤러를 그대로 활용할 수 있도록 했다. 메모리 컨트롤러는 프로세서와 메모리 사이에서 데이터 입출력을 관리하는 장치다. PIM 적용을 위해 기존 시스템 구조를 전면 개편해야 하는 부담을 낮춘 것이다.삼성전자는 차세대 LPDDR6-PIM의 국제반도체표준협의기구(JEDEC) 첫 정식 규격도 최종화 단계에 가까워졌다고 밝혔다. 특정 업체만 사용하는 기술을 넘어 다양한 시스템 업체가 활용할 수 있는 표준 메모리 기술로 확대하겠다는 계획이다.업계 관계자는 “삼성전자가 세계적인 반도체 학회 핫칩스에서 선보인 LPDDR5X-PIM은 메모리가 위치한 곳에서 AI 연산 일부를 직접 처리하는 구조적 변화”라며 “AI 반도체 경쟁도 이제 GPU의 연산 속도를 높이는 것뿐 아니라 데이터를 얼마나 효율적으로 이동시키고 처리하느냐가 중요한 단계로 넘어가고 있다”고 말했다.。
Current article:http://qccuk.liaoenxingunchuanglou.buzz/list_d0xg/ltt.html
Published on:18:56:20