Lec 27 · 메모리 장치와 Memory Controller (DRAM, refresh, scheduling, HBM, SCM)

1.1Lec19 전체(ca_L19 42쪽): DRAM 1T1C cell, precharge·activation·sensing, access 5단계와 row hit

1.2JEDEC timing(tRCD/tRAS/tRP/tRC, tCL, burst), DIMM·rank·bank·channel 과 bank-level parallelism

1.3refresh 오버헤드(tRFC·tREFI, per-bank refresh), memory controller 기능, FR-FCFS 와 open/closed row policy

1.4power mode, DRAM 추세(latency 정체), HBM, storage-class memory(PCM, STT-MRAM) 비교

상황·문제main memory 는 DRAM. cell = access transistor 1개 + capacitor 1개(1T1C), bit line 1개라 6T SRAM 보다 dense

원인bit 를 capacitor 전하로 저장 → read 하면 전하가 bit line 으로 빠져 내용이 지워지고(destructive read), 접근 없어도 누설

해결매 access 후 data restore, 주기적 refresh 필요. trench capacitor(위 좁고 깊음)로 밀도 확보

상황·문제cell 전하는 작고 bit line 은 긴 wire 라 parasitic capacitance 가 큼(물탱크 비유: bit line 탱크가 더 큼)

원인cell 을 연결해도 bit line 전압은 조금만 변함

해결precharge 로 bit line 을 VDD/2 에 맞춘 뒤 activate → sense amplifier 가 작은 차이를 VDD/GND 로 증폭하며 cell 도 restore

상황·문제CPU 요청이 DRAM data 로 돌아오기까지 여러 단계가 있음

원인row 를 바꾸려면 precharge + activate 후 sense amp 에 data 가 찰 때까지 기다려야 함

해결(1) controller 로 요청(요즘 온칩) (2) precharge·activate (3) column access (4) data 전송 (5) CPU 로 응답. 열린 row 에 여러 column = row hit

상황·문제controller 가 보내는 모든 명령은 JEDEC 표준 timing 을 지켜야 함

원인activate→column(tRCD 15ns), restore 동안 row 유지(tRAS), precharge(tRP 15ns), ACT→ACT = tRC = tRAS + tRP

해결READ 후 tCL 뒤 burst(BL 8, DDR 이라 cycle 당 2회) 전송. ACT 간격이 길어 row 당 column access 를 최대화 → scheduling 중요

상황·문제cache line 폭의 data 를 여러 chip 에서 동시에 얻어야 함

원인chip 하나는 x4/x8 등 좁은 폭

해결DIMM 에 x8 chip 8개(+ECC 1개, 72-bit), chip 은 8 bank, channel 당 DIMM 2개(과거 4개), DIMM 은 rank 1~2+, 여러 channel 로 bandwidth·capacity 확보

상황·문제bank 가 하나면 DRAM access 동안 CPU 가 대기하고 row 전환 지연이 그대로 노출

원인bank 는 command/address/data 핀을 공유하지만 독립 동작, 각자 다른 row 를 열 수 있음

해결여러 bank 에 activate/precharge 를 겹쳐 latency 숨김(bank-level parallelism). data 를 bank 에 분산해야 효과. 64-bit bus × BL 8 = 512 bit = 64B line

상황·문제각 row 를 64 ms 마다 refresh(DDR3 85℃ 초과 시 32 ms). 한 명령이 여러 row 를 처리하지만 오래 걸림

원인refresh 중 rank/bank 접근 불가 → 성능·energy 낭비·QoS(deadline) 악화. 용량↑ = row↑ → tRFC 거의 선형 증가

해결distributed vs burst refresh, 1x/2x/4x mode, per-bank refresh(LPDDRx): 다른 bank 는 계속 서비스, tRFC 짧고 tREFI 도 짧음

상황·문제controller 는 timing·resource 제약(bank/bus/channel 충돌, write→read 지연)을 지키며 요청을 처리해야 함

원인같은 load 도 row 상태에 따라 필요한 명령열이 다름(열림: READ, 닫힘: PRE+ACT+READ)

해결요청 buffer(bank 별) + scheduling. FCFS 대신 FR-FCFS(row hit 우선, 다음 oldest; command 수준에선 column 명령 우선). 우선순위에 age, 요청 유형, load/store miss, criticality, fairness 고려

상황·문제요청 queue 가 비었을 때 열린 row 를 둘지 닫을지 결정해야 함

원인open row: 다음이 같은 row 면 hit, 다른 row 면 precharge 지연·sense amp energy 낭비. closed row: conflict 는 피하나 같은 row 재접근 시 re-activate

해결adaptive policy 로 다음 access 가 같은 row 일지 예측. 50개 이상 timing 제약, resource 상태 추적, refresh·power·QoS 까지 함께 처리해야 해 설계가 어려움

상황·문제DRAM 은 active 에서 가장 많은 전력. capacity 는 지수적 증가, bandwidth 는 느리게, latency 는 거의 상수

원인DIMM form factor 는 bandwidth 한계. 상태 전환(power-down, self-refresh)은 wake-up latency 발생

해결HBM: interposer 위 processor 옆에 DRAM die 적층(TSV), die 당 2 channel·channel 당 128-bit, 8 channel = 1024 IO. V100 4 stack 900 GB/s vs Xeon DDR4 6ch 131 GB/s, energy/bit ~1/4

상황·문제DRAM(수십 ns)과 flash 사이 latency gap 이 큼(~1500x)

원인SCM 은 non-volatile, DRAM 보다 느리지만(수백 ns) storage 보다 빠르고 비트당 저렴

해결PCM: crystalline(저저항)/amorphous(고저항), RESET=melt, SET=중간 전류로 결정화, multi-level 가능, 쓰기 느리고 endurance ~10⁷. STT-MRAM: MTJ, SRAM 보다 dense → LLC 후보

상황·문제질문은 PLMS Q&A 게시판, 추천 읽기 교재 2.2절

read 시 cell 전하가 bit line 으로 빠져 내용 소실 → sense amp 가 증폭하며 restore

bit line 을 VDD/2 로 맞추는 동작. 다른 row 를 열기 전 필수, tRP 소요

bit line 전압 차를 VDD/GND 로 증폭, 열린 row 를 보관

열린 row 에 대한 column access 는 hit, 다른 row 면 PRE+ACT 필요

ACT→READ / row 유지 / precharge / ACT→ACT(=tRAS+tRP), DDR3-1066: 15 / 37.5 / 15 / 52.5ns

column access 1회에 연속 전송하는 횟수. DDR3/4 8, DDR5 16(강의)

여러 bank 의 activate/precharge 를 겹쳐 latency 를 숨김

refresh 명령 1회 시간 / 명령 발행 간격. 용량↑ → tRFC↑

bank 단위 refresh 로 다른 bank 는 계속 요청 처리. LPDDRx

row hit 요청 우선, 그다음 oldest. row buffer hit rate·throughput 극대화

queue 가 비었을 때 row 를 열어 둘지 닫을지. adaptive 는 예측

TSV 적층 DRAM + interposer, 8 channel × 128-bit = 1024 IO

DRAM 과 storage 사이의 non-volatile 메모리(PCM, ReRAM, FeRAM, MRAM 등)

crystalline/amorphous 저항 차로 저장. RESET=melt, SET=결정화, multi-level 가능

MTJ free layer 자화 방향(parallel/anti-parallel)으로 저항 차 저장, non-volatile

4.1DRAM read 가 destructive 인데 data 는 어떻게 유지되나?

4.2DDR3-1066 에서 같은 bank 의 두 row 를 연속 activate 하려면 최소 몇 ns?

4.364-bit bus, BL 8 이면 column access 1회로 얻는 data 는?

4.4per-bank refresh 가 all-bank 보다 유리한 점과 대가는?

4.5FR-FCFS 를 command 수준에서 구현하면?

4.6HBM 한 stack 의 data IO 폭은?