Project Progress Presentation
대학원 CA · 한국어 정리
1개요
1.1프로젝트 진행 상황을 종합적으로 점검하고, 성능 향상 및 optimization(최적화) 방향을 제시한다.
1.2PIM 기반 설계와 메모리 optimization(최적화)를 중심으로 기술적 문제를 분석하고 해결 방안을 도출한다.
1.3목표 명확화와 프레젠테이션 구조 개선을 통해 연구의 투명성과 전달력을 강화한다.
2섹션별 요약 상황·문제 → 원인 → 해결
2.11:31–7:37전송 속도 향상 원리
상황·문제데이터 전송 부담 증가로 성능 저하 발생
원인전체 연결 계층 전송으로 인한 과도한 메모리 이동
해결GPU 기반 scale(스케일링)으로 전송 데이터량 최소화
2.27:38–13:41PIM 기반 SE 블록 최적화
상황·문제기존 PIM 설계에서 메모리 접근 증가로 전력 소모 발생
원인복잡한 계산 유닛으로 인한 전력 과다 소비 및 data movement(데이터 이동) 증가
해결simple computation(간단한 계산)만을 DRAM PIM에서 수행해 전력과 메모리 비용 절감
2.313:45–19:45Adder Tree 병렬 설계
상황·문제은행 그룹 parallel processing(병렬 처리) 시 연산 지연 발생
원인각 은행에 독립적인 Adder Tree 부족으로 병렬성 제한
해결은행 그룹별 Adder Tree 배치로 parallel processing(병렬 처리) 성능 향상
2.420:04–26:04목표 명확성 문제
상황·문제목표가 모호해 성과 측정이 어려움 발생
원인에너지 및 performance metrics(성능 지표)가 구체적으로 정의되지 않음
해결시스템 수준 지표 기반의 명확한 목표 설정 필요
2.526:06–32:06프레젠테이션 구조 개선
상황·문제내용 설명 순서가 뒤죽박죽 발생
원인핵심 개념 설명이 나중에 등장함으로써 이해 저하
해결논의 전에 관련 개념을 먼저 제시해야 함
2.632:06–38:07유니파이드 메모리 최적화
상황·문제GPU 메모리 부족으로 인한 페이지 결함 증가
원인HBM/GDDR5 고비용 메모리로 인한 용량 제한
해결Q-학습 기반 페이지 교체 알고리즘 도입으로 성능 향상
2.738:07–44:10트리 기반 프리패치 기법
상황·문제메모리 프리패치 부족으로 성능 저하 발생
원인개발자가 수동으로 메모리 주소 설정 어려움
해결하드웨어 기반 트리 구조 프리패처 도입
2.844:11–50:14Q-학습 기반 페이지 치환
상황·문제페이지 치환 정책의 효율성 평가가 어려움
원인보상 함수 정의 미흡으로 performance evaluation(성능 평가) 불확실성 발생
해결다양한 특성 기반 보상 함수 설계 필요
2.950:14–56:13프리패치와 교체 정책
상황·문제캐시 교체 시 프리패치가 제대로 이루어지지 않음
원인미래 액세스 정보 부족으로 보상 정의 어려움
해결PC 값 인코딩을 통한 미래 액세스 패턴 예측 필요
2.1056:16–1:02:22캐시 최적화 목표 설정
상황·문제웹피 squeeze(압축) 성능 저하 발생
원인메모리 접근 패턴으로 인한 캐시 미스 증가
해결소프트웨어 optimization(최적화)를 통한 캐시 미스 감소
2.111:02:22–1:07:33캐시 최적화 전략
상황·문제이미지 크기 다양성 부족으로 캐시 performance evaluation(성능 평가) 제한 발생
원인대용량 이미지(4K 등) 누락으로 캐시 동작 검증 불가
해결작은, 중간, 큰 이미지로 단계별 캐시 performance evaluation(성능 평가) 필요
3핵심 개념
3.1data movement(데이터 이동)
메모리 간 데이터 전송 과정으로, 성능과 energy efficiency(에너지 효율성)에 큰 영향을 미친다.
3.2DRAM PIM(DRAM 프로세싱 메모리)
DRAM 내부에서 연산을 수행하는 기술로, data movement(데이터 이동)을 줄이고 성능을 향상시킨다.
3.3simple computation(간단한 계산)
DRAM PIM에서 수행 가능한 저복잡도 연산으로, power consumption(전력 소비)를 최소화한다.
3.4adder tree(가산 트리)
다수의 값들을 효율적으로 accumulation(누적)하는 연산 구조로, parallel processing(병렬 처리)에 활용된다.
3.5bank group parallelism(뱅크 그룹 병렬성)
다수의 bank group(뱅크 그룹)을 동시에 활용하여 연산 병렬성을 높이는 기법이다.
3.6energy efficiency(에너지 효율성)
단위 작업당 소비하는 에너지의 양을 최소화하는 performance metrics(성능 지표)이다.
3.7performance evaluation(성능 평가)
시스템의 성능을 측정하고 비교하기 위한 평가 과정이다.
3.8Q-learning based page replacement(Q-학습 기반 페이지 치환)
강화 학습 기반의 페이지 교체 정책으로, 메모리 사용 효율을 향상시킨다.
3.9tree-based prefetching(트리 기반 프리패치 기법)
하드웨어 기반 트리 구조를 이용해 미래 메모리 접근을 예측하고 프리패치하는 기법이다.
3.10cache optimization(캐시 최적화)
캐시 미스를 줄이고 성능을 향상시키기 위한 소프트웨어 및 하드웨어 기법이다.
4강의 흐름
4.1project objective(프로젝트 목표)와 baseline(기준) 설정을 재정립한다.
4.2PIM 기반 SE-Block(SE 블록)의 설계 및 optimization(최적화) 방향을 제시한다.
4.3adder tree(가산 트리) 병렬 설계를 통해 bank group parallelism(뱅크 그룹 병렬성) 향상을 분석한다.
4.4GPU 기반 scale(스케일링)을 통한 데이터 전송 최소화 전략을 도입한다.
4.5Q-학습 기반 페이지 교체 및 트리 기반 프리패치 기법을 적용한다.
4.6캐시 optimization(최적화)를 위한 다양한 이미지 크기 기반 performance evaluation(성능 평가)를 수행한다.
4.7프레젠테이션 구조를 개선하고 핵심 개념을 사전에 제시한다.
4.8final report(최종 보고서) 및 related work(관련 연구)를 종합하여 프로젝트의 성과를 정리한다.
5용어집
5.1
| # | English | 한국어 |
|---|---|---|
| 5.1.1 | PIM | 프로세싱 메모리 |
| 5.1.2 | DRAM PIM | DRAM 프로세싱 메모리 |
| 5.1.3 | SE-Block | SE 블록 |
| 5.1.4 | squeeze | 압축 |
| 5.1.5 | excitation | 흥분 |
| 5.1.6 | scale | 스케일링 |
| 5.1.7 | global average pooling | 전역 평균 풀링 |
| 5.1.8 | adder tree | 가산 트리 |
| 5.1.9 | bank group | 뱅크 그룹 |
| 5.1.10 | IO gating | 입출력 게이팅 |
| 5.1.11 | HBM | 고속 메모리 |
| 5.1.12 | NCHW | NCHW 형식 |
| 5.1.13 | FP16 | FP16 형식 |
| 5.1.14 | row buffer | 행 버퍼 |
| 5.1.15 | result buffer | 결과 버퍼 |
| 5.1.16 | MAC unit | MAC 유닛 |
| 5.1.17 | Matrix-Vector product | 행렬-벡터 곱 |
| 5.1.18 | interleaving | 인터리빙 |
| 5.1.19 | Bank-Level parallelism | 뱅크 수준 병렬성 |
| 5.1.20 | bank group parallelism | 뱅크 그룹 병렬성 |
| 5.1.21 | area overhead | 영역 오버헤드 |
| 5.1.22 | power overhead | 전력 오버헤드 |
| 5.1.23 | thermal overhead | 열 오버헤드 |
| 5.1.24 | Memory-Intensive layer | 메모리 집약적 레이어 |
| 5.1.25 | Off-Chip data transfer | 온칩 외 데이터 전송 |
6스스로 확인
6.1PIM 설계에서 simple computation(간단한 계산)만 수행하는 것이 power consumption(전력 소비)에 어떤 영향을 미치는가?
6.2adder tree(가산 트리) 병렬 설계가 bank group parallelism(뱅크 그룹 병렬성)에 어떻게 기여하는가?
6.3Q-학습 기반 페이지 교체 정책의 보상 함수는 어떻게 설계되어야 하는가?
6.4캐시 optimization(최적화)에서 다양한 이미지 크기(작은, 중간, 큰)의 필요성은 무엇인가?
6.5프레젠테이션 구조 개선이 연구의 이해도에 어떤 영향을 미치는가?