Tensorflow와 달리 PyTorch는 사용하는 텐서를 따로 gpu에 올려주는 작업을 해야한다. 그러나 PyTorch는 기본적으로는 cpu를 사용한다. 그러나 딥러닝 관련 연구나 프로젝트를 수행하려는 사람들은 gpu를 가진 경우가 많을 것이다. 따라서 웬만하면 gpu를 사용하는 것이 더 좋으므로 gpu를 default로 설정하는 게 낫다. 또한 나의 경우에는 메모리를 좀 더 차지하더라도 정밀하게 계산했으면 좋겠어서 double형 (또는 float64형)을 기본적으로 사용하고 싶었다. 이 글에서 다루는 내용은 다음과 같다. 1. Tensor를 gpu에서 사용하도록 하는 방법 2. Default 설정을 바꿔서 gpu를 쓰도록 지정하는 방법 1. Tensor를 gpu에서 사용하도록 하는 방법 tensor를..

PyTorch에서 텐서끼리의 곱이 나와있는데 그 규칙을 알기 위해 이것저것 해본 것을 기록한 글이다. 여기서는 PyTorch의 matmul만 다룬다. https://pytorch.org/docs/stable/generated/torch.matmul.html?highlight=matmul#torch.matmul torch.matmul — PyTorch 1.12 documentation Shortcuts pytorch.org 다음 글을 보면 1차원 텐서(벡터)나 2차원 텐서(행렬) 곱은 이해하기 어렵지 않다. 맨 마지막 항목에 주목해야한다. 맨 마지막 항목이 두 텐서 중 하나는 1차원 이상, 다른 하나는 N(>3)차원 이상일 때의 곱을 나타낸 것이다. 여기서 미리 알아야할 것 :: Tensor에서 첫 번째 ..

이미지 분류기를 테스트하는 과정에서 matplotlib을 쓰면 커널이 자꾸 죽는 현상이 발견되었다. 아나콘다 프롬프트를 보면 다음과 같은 에러를 확인하였고, 아래의 참고 링크를 통해서 문제를 해결했다. [I 19:30:40.558 NotebookApp] Kernel started: d0c3b529-6a30-422b-a296-d963b18e4149, name: python3 OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized. OMP: Hint This means that multiple copies of the OpenMP runtime have been linked into the program..

이 글에서는 딥러닝에 사용되는 automatic differentiation에 대한 설명을 하고자 한다. 참고한 서적은 Mathematics for machine learning이다. 처음에는 automatic differentiation에 대한 설명을 하고, 이를 딥러닝 백엔드인 PyTorch 결과값을 가지고 이해를 해볼 것이다. 내가 모델에 대해 많이 알고 있지 않아도 요즘은 코드가 잘 되어있어서 쉽게 딥러닝을 테스트해볼 수 있지만 그 구조를 바꾸려면 더 깊은 내용을 알아야 하기 때문에 이 내용을 자세히 살펴볼 필요가 있다. 필요한 사전 지식 : Vector, Matrix calculus Notation 주의 일반적으로 gradient vector를 column vector로 쓰는 경우가 있고, ro..

tensorflow 2.0 이상 버전을 사용하고 있어서 당연히 PyTorch도 쉽게 gpu를 쓸 수 있을 거라 생각했지만 그렇지 않았다. 왜냐하면 PyTorch도 CUDA 버전을 맞춰줘야 하기 때문이다. 일단은 torch 라이브러리에서 다음 코드를 입력하여 True가 나오는지 False가 나오는지 확인한다. torch.cuda.is_available() 본인에게 gpu가 있음에도 false가 나온다면 CUDA를 설치해야하는 문제가 된다. CUDA 설치에 대해 전혀 모른다면 다음 링크에서 확인하자. https://normal-engineer.tistory.com/163 CUDA 버전을 제대로 확인하고 설치해야 불필요한 시간 낭비를 줄인다. 확인 방법은 Pytorch 사이트에서 확인하는데 https://py..

내가 사용한 python version은 3.10.2였는데 이 에러는 torchvision이 3.9 이상에서는 작동을 못하므로 python version 때문에 발생하는 문제라고 한다. 따라서 다른 가상환경 (python version==3.9.7)에서 실행했더니 에러가 없었다.

visual studio code에서 python 파일을 compile하려고 했는데 다른 영상에서 본 대로 따라해도 이상하게 컴파일이 되지 않는 문제가 발생하였다. 혹시 나와 같은 문제가 발생한 분들을 위해 글로 남긴다. 1. 일반적인 Visual studio code에서 python 사용하기 기본적으로 Visual studio code에서 compile하는 방법은 다음과 같다. (참고로 나는 anaconda를 설치한 상태이고 가상환경도 여러 개 있지만 다른 프로그램으로도 코딩을 해보고 싶어서 visual studio code를 설치한 것이다.) 1) python 파일을 다운받아서 설치한다. 버전 때문에 고민이 될 수 있는데 일단은 가장 최신 것으로 다운로드 https://www.python.org/do..

MATLAB의 장점 중 하나는 복잡한 기호 연산을 symbolic toolbox를 이용해서 쉽게 구할 수 있다는 점이다. 손으로 직접 식을 풀고 나서 내가 제대로 했는지 확인하기에 좋고, 적분의 경우에는 analytic하게 풀고 나서 검증용으로 매트랩에서 나온 결과를 비교할 수도 있다. 아래에 나오는 제목은 MATLAB 내의 함수 명을 기준으로 적었다. 1. diff (Differentiation 함수) symbolic formula에 대해서 diff(symbolic formula, 미분하고자 하는 변수)를 입력하면 미분을 수행한다. 예시 syms x f = x^3 ; diff(f, x) 다음 코드에 대한 결과 ans = 3*x^2 $x^3$을 미분한 $3x^2$이 나온다. diff를 쓸 때 첫번째 ar..

한 figure에 그래프를 워낙 많이 그리다보면 labeling이 중요하다. 이런 figure를 그리는 일들을 반복작업할 때 도움이 되는 팁들을 적고자 한다. 이 글은 일부 plot만 legend를 넣고 싶을 때 사용하는 방법에 대해 다룬다. Plot에 Displayname을 지정하는 방법 이 질문은 구글에 검색하면 많은 답변들이 있지만 내가 제일 편한 방식은 다음과 같다. plot을 그릴 때 'Displayname'을 지정할 수 있다. 이는 legend에 나올 이름을 지정하는 것이다. 예를 들면 x1 = 0:0.1:2*pi ; x2 = 0:0.1:2*pi ; y1 = sin(x1); y2 = cos(x2); figure; plot(x1,y1,'Displayname','sine') ; hold on; p..

MATLAB에서 여러 개의 함수를 배열에 넣어서 쓰고 싶을 수 있다. 주로 함수 evaluation을 반복적으로 수행해야하는 경우에 굳이 개별 함수 핸들을 만든 다음에 함수 값을 받도록 하는 것은 코드의 줄 수를 늘리기 때문이다. 따라서 cell array에 함수 핸들을 넣는데 사소하게 신경써야 하는 부분이 있다. 다음과 같이 빈 cell array를 만들고 그 안에 함수를 넣을 경우에 F(1) = @(x) x^2 ; cell array의 indexing에 주의해야한다. 위와 같이 함수 핸들을 cell로 변환할 수 없다고 나온다. 따라서 아래처럼 셀 내부에 접근해서 함수를 넣는다. 인덱싱을 { }로 해주면 된다. F{1} = @(x) x^2; 아니면 함수 핸들을 cell로 만들어서 넣는다. 그리고 이렇게..