nvidia-smi, nvcc --version, CUDA, cuDNN

nvidia-smi

• GPU 상태를 모니터링하는 CLI 도구
• NVIDIA 드라이버 설치시 제공 (단독으로 설치 불가)
• NVIDIA GPU 만 지원하는 도구로 다른 제조사의 GPU 에는 사용할 수 없음

nvidia-smi 는 출력 내용중 NVIDIA 드라이버가 지원하는 최대 CUDA Runtime 버전 (해당 GPU 가 최대 지원하는 버전 내에서) 을 함께 출력하는데 이는 현재 설치된 CUDA Toolkit 버전 (CUDA 버전) 과는 무관합니다.

Runtime 은 프로그램이 실행될 때 필요한 함수와 라이브러리를 제공하는 동적 실행 환경을 의미합니다. 즉, CUDA Runtime 은 NVIDIA 가 제공하는 CUDA 실행 환경으로, GPU 를 이용한 병렬 컴퓨팅을 쉽게 할 수 있도록 지원하는 API 와 라이브러리 집합입니다.

nvcc

• CUDA 코드를 컴파일할 때 사용되는 컴파일러
• CUDA Toolkit 에 포함 (단독으로 설치 불가)
• GPU 가속을 지원하는 프로그램을 빌드하는 데 필수적
• nvcc --version 명령은 현재 설치된 CUDA 컴파일러의 버전 (간단히 말하면 해당 nvcc 의 버전. nvcc 는 CUDA Toolkit 의 일부이기 때문에 현재 사용 중인 CUDA Toolkit 의 버전과 일치) 을 출력

CUDA

• NVIDIA GPU 의 병렬 처리 능력을 활용하여 GPGPU (General-Purpose computing on Graphics Processing Units. 일반적으로 CPU 가 처리하던 연산을 GPU 에서 수행) 연산을 가능하게 하는 플랫폼 및 프로그래밍 모델
• NVIDIA 에서 개발하였으며, NVIDIA GPU 에서만 사용 가능

프로그래밍 모델이란 개발자가 특정 유형의 프로그램을 작성하기 위해 사용하는 개념적 틀로, CUDA 프로그래밍 모델은 쓰레드 (thread) 와 블록 (block) 구조를 사용하여 많은 작업을 동시에 처리하는 병렬 처리를 위한 프로그래밍 패러다임을 제공합니다.

cuDNN

cuDNN은 CUDA 위에서 동작하는 딥 러닝에 특화된 라이브러리로, 딥 러닝 알고리즘을 가속화하는 데 중점을 둡니다.