ComSys_jh

본 포스팅은 향후 장기적으로 진행될 Processing In Memory 연구의 Base line을 위해 정리한 내용입니다. Introduction PIM이 왜 중요한가? 대한민국 정부에서는 인공지능 반도체 선도국가 도약을 위한 초격차 기술 중 하나로 Processing-In Memory(PIM)을 선정하였습니다. 대한민국 뿐 만 아니라 많은 국가의 일류 반도체 기업과 학계에서는 PIM을 주목하고 있는데, 그 이유는 무엇일까요? 일반적으로 컴퓨터에서 가장 중요한 두 가지를 고르라고 한다면 연산을 처리하는 Processing unit과, 처리할 연산 정보를 가져오고 다시 저장하는 공간인 Memory를 선택할 것입니다. 컴퓨터와 반도체 기술이 지금처럼 발달하기 전에는 연산을 처리하는 Processing un..

Zsim + Ramulaotor 는 Processing-in-Memory(PIM) 을 시뮬레이션 할 수 있는 프레임워워크로 향후 장기적으로 진행할 PIM 관련 연구의 Base line을 설정하기 위하여 정리했습니다. I. Introduction Zsim+Ramulator 은 General-purpose processing-in-memory (PIM) 아키텍쳐를 시뮬레이션 하기 위한 빠르고 유연한 프레임워크 입니다. Ramulator-PIM으로도 불리는 이 프레임워크는 널리 사용되고 있는 두 시뮬레이터(*Zsim, *Ramulator)를 기반으로 만들어졌습니다. 이 프레임워크의 Computing system에는 host CPU core와 General-purpose PIM core가 있습니다. PIM co..

Ref. Ghodrati, Soroush, et al. "Planaria: Dynamic architecture fission for spatial multi-tenant acceleration of deep neural networks." 2020 53rd Annual IEEE/ACM International Symposium on Microarchitecture (MICRO). IEEE, 2020. 본 논문은 진행중인 Auto Driving 관련 프로젝트의 Insight를 위해 읽었기 때문에 필요한 내용만 간추려 요약하였습니다. Abstract Deep Neural Networks(DNNs)이 실생활의 많은 Application에서 사용됨에 따라 빠른 속도로 산업과 시장에 적용되었습니다. 기술이 발전..

Ref. Subedi, P., Hao, J., Kim, I. K., & Ramaswamy, L. (2021, September). AI Multi-Tenancy on Edge: Concurrent Deep Learning Model Executions and Dynamic Model Placements on Edge Devices. In 2021 IEEE 14th International Conference on Cloud Computing (CLOUD) (pp. 31-42). IEEE. 본 논문은 진행중인 Auto Driving 관련 프로젝트의 Insight를 위해 읽었기 때문에 필요한 내용만 간추려 요약하였습니다. Abstract 현재 실제로 사용되는 많은 Application들은 Edge compu..

본 포스팅은 스위스 취리히 연방 공과 대학의 SAFARI Research Group이 주관하는 '2021 Exploring the Processing-in-Memory Paradigm for Future Computing Systems' course를 수강하고 정리한 내용입니다. The SAFARI Research Group is led by Professor Onur Mutlu. We are part of the Department of Information Technology and Electrical Engineering (D-ITET) at ETH Zurich. Introduction 최근 컴퓨팅 시스템에서의 프로세서와 메모리간 데이터 이동은 성능을 결정하는 중요한 지표가 되었습니다. 모바일 장치..

[Ref.] https://www.youtube.com/playlist?list=PLm4EZB3VG6zlu1BkFw2DHN58x8QlLHEBu 본 포스팅을 상단 Reference에 첨부한 강의를 수강하고 정리, 수정, 보완한 자료입니다. [A] Introduction AI > ML > Brain-Inspried > Spiking, Neural networks - AI(Artificial Intelligene) in 1956 : 지능형 기계를 만드는 과학과 공학 - ML(Machine Learning) in 1959 : 컴퓨터가 명시적으로 프로그래밍 하지 않고도 학습 할 수 있는 연구 분야 : 'Training 개념 등장' - Brain-Inspired : 뇌의 동작 방식에 대한 이해에서 기본 기능을 취하..

[1] Introduction : Multi Process Service (MPS) 개념은 NVIDIA의 Maxwell architecture에서 처음 고안된 방법으로 GPU의 resource utilization 저하 문제를 해결하여 성능 향상(Throughput 증가)을 이끌어내기 위하여 제시되었습니다. GPU가 단순히 그래픽 처리만을 하는 것이 아니라 General purpose computing을 하기 위해 발전해오며 HPC(High Purpose Computing) 응용 프로그램들을 처리하거나 Multi-tenant 환경에서 복잡한 여러 DNN 연산을 수행해야 하는 경우가 생겼습니다. 하여 NVIDIA에서는 한정된 자원을 효과적으로 사용하기 위한 많은 방법을 제시하였으며 ( Stream, Hyp..

리눅스에서는 특정 프로그램의 실행시간 측정을 위하여 time 명령어를 자주 사용합니다. 명령어 입력 시 'real', 'user', 'sys'로 통칭되는 3가지의 정보가 출력되는데 각 time이 의미하는 바는 서로 상이합니다. 따라서 프로그램의 time 측정 시 각 시간이 의미하는 바를 명확하게 이해하고 사용해야 합니다. Real : Actual elapsed time(실제 경과 시간)으로 wall clock time으로 불립니다. 이는 순수하게 측정된 전체 실행시간을 의미하므로 환경과 상황에 따른 변수가 작용할 수 있어 이론적 예측이 어렵습니다. 이는 call 을 실행한 순간부터 마치는 순간 까지를 의미하며 여러 프로세스들이 실행되는 시간과 프로세스들이 블락되는 시간을 포함합니다. ( I/O을 위해 대..

Reference : Tsikoudis, Nikos, Antonis Papadogiannakis, and Evangelos P. Markatos. "LEoNIDS: A low-latency and energy-efficient network-level intrusion detection system." IEEE Transactions on Emerging Topics in Computing 4.1 (2014): 142-155. 본 논문은 현재 진행중인 Auto Driving 프로젝트 관련 유관 연구 조사로 읽었기 때문에 필요한 부분만 발췌하여 요약하였습니다. Abstract : 데이터 센터와 모바일 디바이스들이 발전해온 지난 10년 동안 low-power system을 구축하는 것에 매우 많은 노력이 기..

출처 : Liu, Jiawen, et al. "Processing-in-memory for energy-efficient neural network training: A heterogeneous approach." 2018 51st Annual IEEE/ACM International Symposium on Microarchitecture (MICRO). IEEE, 2018. Abstract : Nerural Networks(NNs)는 Image classification, speech recognition, object detection, computer vision 등 다양한 분야의 application에 활용되고 있습니다. 하지만 현재 Neural Networks 를 Training하는 데에는 시간..