Lec 2 · 기술 동향, ISA, power·performance metric

1.1technology trend: feature size·DRAM·flash·disk 용량 추세, wire delay 는 scaling 되지 않음.

1.2bandwidth 는 latency 보다 훨씬 빨리 개선됨(rule of thumb 1.2–1.4x per BW 2x)과 그 6가지 이유.

1.3ISA 는 SW/HW contract. microcoded CISC 의 비효율(IBM 801, VAX 분석)이 RISC 로 이어졌고, 수업 ISA 는 RISC-V.

1.4power·energy(TDP, ½CV²f, static power)와 절감 기법(clock gating, DVFS, power gating).

1.5performance 측정: SLA tail latency, benchmark 종류, AM/GM/HM 요약, SPEC CPU2017.

상황·문제노트북 문제로 지연 후 시작. 오늘 주제는 technology trends, ISA, power·energy·performance metric.

원인지난 강의: Babbage 부터 IBM 360 까지 130년. calculator → fully programmable machine, 2차대전 이후 electromechanical → pure electronic.

해결software 비용이 커지면서 compatibility 가 중요해졌고, IBM 360 은 같은 ISA 로 성능·가격이 다른 여러 구현(family of machines)을 냄.

상황·문제feature size 는 전통적으로 gate length(최소 lithography 크기)를 뜻했음 (예: 90 nm → gate 길이 약 90 nm).

원인요즘 7 nm·5 nm 는 gate length 가 아니라 여러 차원 scaling 을 묶은 node 이름이고 foundry(Samsung, TSMC)가 정의를 공개하지 않음 → Intel 14 nm ≈ TSMC/Samsung 10 nm 같은 비교가 나옴.

해결transistor performance 는 linear, integration density 는 quadratic(x·y 모두 축소)으로 좋아지지만 wire delay 는 개선되지 않아 회로 latency 를 지배할 수 있음.

상황·문제logic 처럼 memory·storage 용량도 빠르게 늘었으나 둔화 중.

원인DRAM 은 chip 크기가 CPU/GPU 처럼 커지지 않아 density 가 곧 용량. 8 Gb(2014) → 16 Gb(2019), 5년에 2배.

해결flash 는 50–60%/year, DRAM 보다 bit 당 싸지만 느림 → storage 용. magnetic disk 는 5%/year 로 둔화됐지만 flash 보다 싸서 여전히 사용.

상황·문제작은 transistor 를 원하는 궁극적 이유는 performance 이고, performance 는 bandwidth(throughput)와 latency(response time)로 나뉨.

원인수십 년간 processor bandwidth 는 32,000–40,000X, memory·disk 300–1,200X 늘었지만 latency 는 processor 50–90X, memory·disk 6–8X 에 그침.

해결rule of thumb: bandwidth 가 2배 되는 동안 latency 는 1.2–1.4배만 개선 = bandwidth 개선이 latency 개선의 제곱보다 큼.

상황·문제bandwidth 만 빠르게 좋아지는 구조적 이유를 6가지로 정리.

원인(1) Moore's law 의 더 많은 transistor·pin 은 bandwidth 에만 도움 (2) wire delay·die 크기·빛의 속도 → distance 가 latency 를 제한 (3) bandwidth 가 더 잘 팔려 자원이 몰림.

해결(4) latency 개선은 bandwidth 를 돕지만 역은 아님 (5) queue·memory module 확장(address fan-out)처럼 bandwidth 가 latency 를 해침 (6) OS·software overhead 는 짧은 message 의 latency 에 더 큼.

상황·문제대학원 과목이라 ISA 는 이미 안다고 가정(MIPS, ARM 등). 원칙 위주로 빠르게 진행.

원인ISA = programmer-visible state(register, memory, flag) + 그 state 를 다루는 instruction 의 semantics. privileged state·instruction 도 OS 개발자 관점에선 포함.

해결IBM 360 이 처음 ISA 를 implementation(microarchitecture)과 분리 → Soviet clone, AMD64 의 여러 구현, ARM 의 Apple·Qualcomm·Samsung 구현. 이 과목 표준 ISA 는 open ISA 인 RISC-V.

상황·문제ISA 는 보통 특정 microarchitecture 스타일을 염두에 두고 설계됨.

원인accumulator → hardwired·unpipelined, CISC → microcoded(복잡한 instruction 을 한정된 logic 으로 실행), RISC → hardwired·pipelined, VLIW → fixed-latency parallel pipeline(compiler 가 scheduling, 크게 성공 못 함), JVM → software interpretation.

해결그러나 어떤 스타일로도 구현 가능: Ivy Bridge(hardwired pipelined CISC), Spike(software 로 RISC-V 해석), ARM Jazelle(hardware JVM). 이번 강의 내용은 microcoded 구현.

상황·문제processor = datapath(data 가 지나가며 저장·연산) + control(datapath 구성요소를 올바른 순서로 제어).

원인datapath 는 비교적 쉬웠지만 computer 가 복잡해질수록 control 을 맞게 설계하기 어려웠음.

해결Maurice Wilkes 가 microprogramming 고안(EDSAC-II, 1958): processor 안의 작은 program. decoder 가 opcode·condition·현재 state 로 microcode ROM row 를 찾아 control line 신호를 내고, next state 로 다음 row 를 접근.

상황·문제CISC 는 programmer 편의·마케팅을 위해 instruction 을 계속 추가해 수백~수천 개가 됨.

원인IBM(John Cocke): PL.8 compiler 를 370 에 port 해 단순 instruction 만 써도 전체 instruction 을 쓰는 compiler 보다 빠름. DEC: VAX instruction 20% 가 microcode 60% 를 차지하지만 실행 시간은 0.2%. VAX8800 은 control store 가 cache 보다 큼.

해결control store 를 줄여 data cache 에 투자하면 더 빠를 수 있음. Motorola 68000 은 microcode 아래 nanocode 계층을 두어 반복 control pattern 을 분리.

상황·문제microcode 안에 있던 것을 user-visible instruction 으로 꺼내자는 발상.

원인빠른 RAM(instruction cache)에 user instruction 을 두면 application 에 맞게 내용이 바뀜. compiler 가 high-level 문장을 단순 instruction 으로 번역하므로 complex instruction 이 필요 없음 (compiler 가 대부분 안 씀).

해결simple ISA → hardwired pipelined 구현이 쉬워짐. 80년대 초 32-bit datapath 와 small cache 를 한 chip 에 넣어 chip crossing 제거 → 추가 성능 이득.

상황·문제RISC-V 는 Berkeley 의 5세대 RISC. realistic·complete 하면서 open·small (x86 대비).

원인RV32/RV64, multiprocessing 고려, 효율적 encoding, 교육·연구용 subset/extension 용이. simulator·emulator·open core 가 GitHub 에 공개. NVIDIA GPU 내부 관리용 core 도 RISC-V.

해결ISA 요소: control flow 는 register 내용 사용(x86·ARM 은 status bit), 고정 길이 encoding, byte addressed·aligned access 가 빠름, addressing mode 는 register·immediate·base+offset 만. format 은 6개, rs1·rs2 위치 고정 → hardware 단순화.

상황·문제power 를 넣고(get power in) 발생한 heat 를 빼야(get power out) 함.

원인TDP 는 sustained power 기준 cooling 요구치이며 순간 power 는 더 높을 수 있음. power 를 줄여도 network 예처럼 runtime 이 늘면 energy 가 오히려 증가할 수 있어 energy 가 더 나은 지표.

해결dynamic energy = ½·C·V² (0↔1 전환 시), dynamic power 는 × frequency. voltage 를 절반으로 → energy 1/4. 고정 task 에서 clock 만 낮추면 power 는 줄지만 energy 는 비슷.

상황·문제power 를 줄이는 기법들.

원인dynamic power ∝ V²·f 이고 static(leakage) power 는 activity 와 무관하게 전체의 25–50%, transistor 수에 비례.

해결clock gating(idle unit clock 차단, 주파수 0 효과), DVFS(낮은 f 로 충분하면 V 도 낮춤; 2.4 GHz vs 1 GHz 예), cache·DRAM low-power state, idle core 끄고 나머지 overclock(Turbo Boost), power gating(ground 사이 switch 로 static power 제거).

상황·문제주 metric 은 response time(latency) 과 throughput(bandwidth).

원인server application 은 SLA 가 있어 평균이 아니라 99th percentile latency 가 10 ms 이하 같은 요구를 가짐. 평균이 같아도 tail 이 길면 percentile latency 가 나빠짐.

해결execution time 은 wall clock(모든 overhead 포함) vs CPU time. benchmark: kernel(matrix multiply), toy(sorting), synthetic(Dhrystone, LINPACK), 최종적으로 real application suite(SPEC CPU, TPC-C).

상황·문제p41–46 은 학부 과정 복습이라 빠르게 넘기며 스스로 보라고 함.

원인여러 application 결과를 하나로 요약할 때 측정량에 맞는 평균을 써야 함.

해결runtime → arithmetic mean, 정규화 speedup → geometric mean, IPC 같은 rate → harmonic mean. SPEC CPU2017 은 SPECspeed(single task 실행 시간) 와 SPECrate(throughput) 로 나뉨. 추천 읽기: 부록 C, RISC vs CISC 논쟁 논문.

원래 gate length. 요즘 7 nm 등은 node 이름일 뿐 실제 치수와 대응하지 않음.

transistor 가 작아져도 개선되지 않아 회로 latency 를 지배할 수 있음.

bandwidth = 단위 시간 총 작업량, latency = 시작~완료 시간. BW 2x 동안 latency 1.2–1.4x.

programmer-visible state + instruction semantics. SW/HW contract.

control 을 microcode ROM 의 작은 program 으로 구현. Wilkes 고안.

microcode 아래 한 단계 더 둔 control store (68000). 반복 control pattern 분리.

simple ISA + instruction cache + compiler 로 hardwired pipelined 구현.

sustained power 기준 cooling 설계 목표. 순간 peak 보다 낮음.

½·C·V²·f. voltage 절반 → energy 1/4.

낮은 f 로 충분하면 V 도 낮춤. V·f 15%↓ → power ≈ 0.6x.

clock gating 은 idle unit clock 차단(dynamic), power gating 은 switch 로 전원 차단(static).

activity 무관, 총 power 의 25–50%, transistor 수에 비례.

평균이 아니라 99th percentile latency 같은 요구. tail 이 길면 평균이 같아도 나쁨.

runtime 은 AM, 정규화 speedup 은 GM, rate(IPC) 는 HM.

SPECspeed = single task 실행 시간, SPECrate = throughput.

4.1요즘 '7 nm' 가 gate length 7 nm 를 뜻하지 않는 이유는?

4.2bandwidth 가 2배 될 때 latency 는 얼마나 개선되는가?

4.3DRAM chip 을 4개에서 8개로 늘릴 때 latency 가 나빠질 수 있는 이유는?

4.4VAX 분석에서 microcode 복잡성과 실행 시간의 관계는?

4.5고정 task 에서 clock frequency 만 낮추면 power 와 energy 는?

4.6V·f 를 각각 15% 낮추면 dynamic power 는?

4.7IPC 평균에 harmonic mean 을 쓰는 이유는?