[PyTorch] GPU에서 텐서 사용하기

Tensorflow와 달리 PyTorch는 사용하는 텐서를 따로 gpu에 올려주는 작업을 해야한다.

그러나 PyTorch는 기본적으로는 cpu를 사용한다.

 

그러나 딥러닝 관련 연구나 프로젝트를 수행하려는 사람들은 gpu를 가진 경우가 많을 것이다.

따라서 웬만하면 gpu를 사용하는 것이 더 좋으므로 gpu를 default로 설정하는 게 낫다.

 

또한 나의 경우에는 메모리를 좀 더 차지하더라도 정밀하게 계산했으면 좋겠어서 double형 (또는 float64형)을 기본적으로 사용하고 싶었다.

 

이 글에서 다루는 내용은 다음과 같다.

 

1. Tensor를 gpu에서 사용하도록 하는 방법

2. Default 설정을 바꿔서 gpu를 쓰도록 지정하는 방법

 

 

---

 

1. Tensor를 gpu에서 사용하도록 하는 방법

tensor를 gpu로 사용하는 방법은 tensor를 생성할 당시에 data type을 지정하는 방법

torch.zeros([2, 4], dtype=torch.int32)
cuda0 = torch.device('cuda:0')
torch.ones([2, 4], dtype=torch.float64, device=cuda0)

다음과 같이 dtype에 data type을 넣어놓고, device도 지정할 수 있다.

 

또는 

 

x = torch.tensor([1,2,3])
y = x.to(device. dtype=torch.float64)

tensor를 만들어놓고 device와 type을 전환하는 방법이 있다.

 

 

---

2. Default 설정을 바꿔서 원하는 데이터타입과 gpu를 쓰도록 지정하는 방법

 

다음 링크에 들어가면 torch에서 사용하는 data type을 알 수 있다.(아래 그림 참고)

 

 

위의 내용에서 CPU tensor와 GPU tensor 쪽을 참고해서

 

torch.set_default_tensor_type(torch.cuda.DoubleTensor)

아래 코드를 쓰면

내가 만드는 모든 텐서의 default 속성이 다음과 같이 정해진다.

 

 

---

추가로 내가 쓰던 텐서를 numpy로 전환할 때는

TypeError: can't convert cuda:0 device type tensor to numpy. Use Tensor.cpu() to copy the tensor to host memory first.

다음과 같은 TypeError가 발생한다.

 

이 경우에는 

tensor.cpu() # cpu로 옮기기
tensor.cuda() # cuda(gpu)로 옮기기

를 써서 기기를 바꿔서 사용하자.

 

또한 cpu()로 바꾸기 전에 detach() method를 써서 grad 연산에 영향이 안 가도록 할 수도 있다.