Lec 26 · Power & Energy (Dennard scaling 종료, dynamic/static power, DVFS)

1.1Lec18 전체(ca_L18 37쪽): power 가 성능·열·비용을 제한하는 이유와 Dennard scaling 종료 → power wall

1.2mobile(big.LITTLE)·desktop(Turbo)·data center(비용, TPU air cooling) 사례

1.3power vs energy·EDP, CMOS water analogy 로 dynamic(capacitive, short-circuit)·static(leakage) 전력의 원인

1.4절감 기법: V·C·activity 감소, clock gating, multi-Vt·reverse body bias·power gating, DVFS·P/C-state, energy proportionality

상황·문제power 는 성능 제한(dark silicon), 열 방출, 전력 공급 비용 세 측면에서 문제

원인모든 transistor 를 켜면 전력이 너무 커서 일부만 켤 수 있음 (2008년 예측: 22nm 25%, 11nm 10%)

해결열이 많으면 packaging 비용 증가·thermal throttling, 배터리 용량·전기요금도 전력에 비례해 증가

상황·문제세대마다 transistor 2배, 같은 전력에서 40% 빠른 clock — 2000년대까지 성능 향상의 원동력

원인치수·전압 ×0.7 → 면적 0.5, C 0.7, f 1.4 → Power=C·f·V² 가 0.5. 그러나 leakage·threshold voltage 를 무시했고 2000년대 중반 종료

해결frequency·single-thread 성능 정체, 늘어난 transistor 는 cache·core 수 증가로 사용. power density 추세가 계속됐다면 nuclear reactor 수준 → power wall

상황·문제최근 smartphone CPU peak power 가 TDP(3.5W) 를 크게 초과, 예전엔 display 가 최대 소비원

원인CPU 전력 증가가 배터리 용량 증가 요구의 일부 원인 (display 전력은 오히려 감소)

해결ARM big.LITTLE: in-order LITTLE(Cortex-A7) + out-of-order big(Cortex-A15), 부하에 따라 OS 가 core 간 task 이동. 최근 AP 는 prime core 까지 3종

상황·문제core 들은 최고 clock 으로 설계됐지만 모두 동시에 최고 clock 으로 돌릴 수 없음

원인TDP 한계가 core clock frequency 를 제한 (dark silicon 의 한 형태)

해결1 core 만 켜면 3.20GHz, 2 core 3.06GHz, 4 core 전부면 2.26GHz (Intel Core i7-920XM Turbo)

상황·문제data center 월 비용 중 power distribution & cooling 과 전기요금을 합치면 1/4 이상

원인고전력은 전기요금뿐 아니라 인프라 비용도 키움. TPUv3(450W) 는 liquid cooling 이 필요 (TPUv1 75W·TPUv2 280W 는 air cooled)

해결liquid cooling 은 인접 rack 배치 필요 → 학습용 supercomputer 는 괜찮지만, 사용자 가까이 전 세계에 배치해야 하는 inference DSA 는 air-cooled 여야 함 (Jouppi ISCA'21)

상황·문제power(W) 는 배터리 수명·packaging 한계를, energy(J)=power×delay 는 총 작업 비용을 결정

원인low-power ≠ low-energy: 전력을 줄여도 실행시간이 늘면 energy 가 같거나 커짐. 다른 component(memory 등)도 늘어난 시간 동안 전력 소비

해결energy 는 전력 곡선 아래 면적. 성능도 함께 볼 때 EDP(Energy-delay product)=energy×t, 같은 energy 면 빠른 쪽이 EDP 우수

상황·문제전력은 dynamic(switching) 과 static(leakage) 으로 나뉨

원인dynamic = capacitive(0→1, 1→0 충·방전) + short-circuit(전이 순간 VDD-GND 연결). static = 활동과 무관하게 켜져 있으면 소비

해결대부분 dynamic 이 지배적이나 idle core 에서는 static 이 상대적으로 중요

상황·문제전력 원인을 이해하려면 CMOS 동작을 알아야 함

원인NMOS 는 gate=1 일 때 닫힘(연결), PMOS 는 gate=0 일 때 닫힘

해결inverter = PMOS 1 + NMOS 1. NAND = PMOS 병렬 + NMOS 직렬, NOR = PMOS 직렬 + NMOS 병렬, AND/OR = NAND/NOR + inverter

상황·문제전하=물, 전압=높이, 전류=유량, capacitance=용기 단면적으로 inverter 를 물 회로로 설명

원인입력 쪽(gate·metal interconnect)과 출력 쪽(fanout·diffusion·interconnect) capacitance 가 용기. switching 때마다 채운 물(전하)을 GND 로 버림 → energy 소비·열

해결propagation delay = 출력 용기(capacitor) 를 50% 채우는 시간. load capacitance·fanout 이 크면 느림. 전류를 키우려 transistor 를 키우면 C 도 증가. switching 당 energy 는 전류와 무관 (옮긴 전하량에 의존)

상황·문제Power ~ ½CV²Af: C(wire 길이·transistor 크기), V(공정마다 감소), A(activity factor), f(증가)

원인activity factor 는 cycle 마다 switching 하는 비율(실제로 1 은 아님), V 는 제곱으로 작용

해결V_DD 감소(제곱 효과, 단 frequency 도 낮아짐), C_L 감소(성능도 개선), switching activity 감소 → clock gating: AND gate 로 idle unit 의 clock 차단

상황·문제입력 신호 기울기가 유한해 전이 중 NMOS·PMOS 가 동시에 도통 → VDD-GND 직접 경로

원인Power_SC ~ t_sc·V·I_peak: 전이 시간·기울기와 transistor 크기·공정·C_L 로 정해지는 I_peak

해결입력·출력 rise/fall time 을 맞추어 최소화. architecture 해법은 거의 없음, 다행히 상대 비중은 줄어드는 중

상황·문제transistor 가 꺼져 있어도 subthreshold current 가 흘러 static power 발생

원인subthreshold current 는 온도 상승·threshold voltage 감소에 따라 지수적으로 증가 (냉각이 중요한 또 다른 이유). gate leakage 는 oxide 두께 의존, 둘 다 stacking·입력 패턴 의존

해결설계 시: 적고 작은 transistor, stacking, multi-threshold 공정(critical path 밖은 high-Vt). 실행 시: reverse body bias(low-leakage sleep, 상태 유지), power gating(header/footer switch, zero-leakage 이나 상태 소실·전환 overhead)

상황·문제workload 에 idle 시간이 있으면 최고 성능이 항상 필요하지 않음

원인Power ∝ V²f 이므로 f 와 V 를 함께 낮추면 전력이 크게 줄어듦 (dynamic·static 모두 절감)

해결deadline 을 지키는 한도에서 f·V 를 절반으로 → power 1/8, 시간 2배 → energy 1/4 (75% 절감). CPU 는 P-state(동작 중 V/f)와 C-state(idle 깊이) 제공

상황·문제CPU+GPU 통합 chip 에서 workload 종류에 따라 발열 위치가 다름. server 는 idle 에도 큰 전력 소비

원인예시 server: idle 약 175W, full load 약 250W → 부하가 낮을 때 performance/W 가 급락 (100% 1,214 vs 10% 175)

해결energy-proportional 시스템: idle 시 거의 0W, 활동에 비례해 전력 증가. data center server utilization 은 보통 50% 미만이라 저부하 효율이 중요

상황·문제질문 받고 종료, 추천 독서는 교과서 Chapter 1.5 (다음 수업 수요일)

치수·전압 ×0.7 이면 면적 0.5, f 1.4, power 0.5 → 같은 전력에서 transistor 2배·40% 빠름. 2000년대 중반 종료

전력 한계 때문에 동시에 켤 수 없는 chip 영역

냉각계가 지속적으로 제거할 수 있는 열. mobile CPU peak power 는 이를 크게 초과

energy × 실행시간. energy 와 성능을 함께 평가

Power ~ ½CV²Af, switching 시 capacitor 충·방전으로 소비

전이 중 NMOS·PMOS 동시 도통으로 VDD-GND 직류 경로, Power_SC ~ t_sc·V·I_peak

꺼진 transistor 에 흐르는 전류, 온도↑·Vth↓ 에 지수적으로 증가

idle unit 의 clock 을 AND gate 로 차단해 activity factor 감소, 대가로 clock skew·면적

header/footer switch 로 전원 차단해 leakage 제거, 상태 소실·wake-up overhead

필요한 만큼만 V·f 를 낮춤. V,f 를 절반으로 하면 power 1/8, energy 1/4

전력이 활동 수준에 비례, idle 시 거의 0W 가 이상

4.1Dennard scaling 에서 치수·전압이 ×0.7 이면 power 가 0.5 가 되는 계산은?

4.2low-power 가 low-energy 가 아닐 수 있는 이유는?

4.3DVFS 로 V·f 를 절반으로 하면 power·energy 는?

4.4power gating 이 reverse body bias 보다 나은 점과 대가는?

4.5inference DSA 가 air-cooled 여야 하는 이유(Jouppi ISCA'21)?