Ai
-
가성비 최고의 딥러닝용 지포스 GPU RTX 2080 Ti AI하드웨어/GPU 2020. 3. 12. 19:03
딥러닝을 처음 배울 때 보통 MNIST 예제를 합니다. 조금 더 하면 CIFAR10 정도 해보죠. 이런 데이터셋을 가지고 딥러닝 트레이닝을 실행할 때는 그다지 고성능 컴퓨터가 없어도 할 만합니다. MNIST 같은 경우 CPU에서 돌려도 몇 분 안걸리고 인식 정확도도 쉽게 98%이상 나옵니다. 여기까지 해보면 꽃 길만 있을 것 같은 생각이 듭니다. 그러나 막상 내가 원하는 데이터를 가지고 본격적으로 딥러닝 트레이닝을 할려고 하면 상황이 많이 달라집니다. MINST 데이터셋은 이미지 사이즈가 28x28인 흑백 이미지로 데이터와 연산량이 미미한 수준입니다. 이미지 사이즈가 몇백 x 몇백 만 되어도 웬만한 트레이닝은 몇 시간씩 혹은 몇 일씩 걸립니다. 게다가 GPU 달기만 한다고 알아서 텐서플로가 잘 돌지도 않..
-
2020년 딥러닝에 가장 좋은 GPU를 골라 봅시다.하드웨어/GPU 2020. 3. 11. 18:59
딥러닝을 본격적으로 하게 되면 GPU 때문에 많은 고민과 고생을 하게 됩니다. 그 중 가장 먼저 하게 되는 고민이 어떤 GPU를 선택할 것이냐입니다. 어떤 GPU를 선택하는 것이 좋을 지 고민할 때 필요한 좋은 비교 자료가 아래에 있습니다.(2020년 2월 자료를 정리) Choosing the Best GPU for Deep Learning in 2020 Choosing the Best GPU for Deep Learning in 2020 This blog summarizes our GPU benchmark for training State of the Art (SOTA) deep learning models. We measure each GPU's performance by batch capacity ..
-
CentOS 7 Kernel updateLinux 2020. 2. 21. 16:53
현재 가장 많이 사용되는 Linux Package 중 하나가 CentOS일 것 입니다. CentOS 7.x 버전이 아직도 많이 사용되고 있습니다. 그런데 CentOS 7.x 의 경우 Linux Kerne Version이 3.10입니다. 참고로 최신 Linux Kernel Version은 5.6(2020년 2월 현재 기준)이며 Ubuntu 16.04의 경우 4.x 입니다. 상대적으로 CentOS의 Kernel Version이 낮은 것을 알 수 있습니다. 그런데 3.x의 Kernel 버전이 Memory 처리에 문제가 있는 것 같습니다. 딥러닝 관련되어 큰 작업을 실행할 경우 문제가 될 수 있으므로 Kernel을 4.x 이상으로 업데이트하라는 문서가 있습니다. (본 것 같은데 찾지를 못하겠네요, 찾는대로 링크..
-
TensorFlow Error 2020/02/20인공지능(AI)/TensorFlow 2020. 2. 20. 18:07
TensorFlow를 GPU에서 사용할 때 그리고 CNN을 사용할 때 에러가 많이 납니다. 오늘도 하나 에러가 나서 고생 좀 했습니다. 2020-02-20 17:11:38.802615: I tensorflow/stream_executor/platform/default/dso_loader.cc:42] Successfully opened dynamic library libcublas.so.10.0 2020-02-20 17:11:38.945746: I tensorflow/stream_executor/platform/default/dso_loader.cc:42] Successfully opened dynamic library libcudnn.so.7 2020-02-20 17:11:39.211419: E tens..
-
TensorFlow Error 2020/02/19인공지능(AI)/TensorFlow 2020. 2. 19. 18:21
TensorFlow를 사용하다 보면 이래저래 에러를 만나게 된다. 내가 만난 에러들을 생각나는 대로 정리해 본다. 1) 가장 많은 것이 GPU 관련 에러인 것 같다. cnn을 사용하는 경우 CPU 버전에서는 잘 돌던 코드가 GPU 버전에서는 안돈다. -> version이 1.x 인 경우 아래를 추가 한다. config = tf.ConfigProto() config.gpu_options.allow_growth = True 2) GPU 메모리가 부족할 때 다음과 같은 에러가 발생한다.(실제 로그는 매우 길다. 관련 있는 것으로 짐작되는 라인이 아래와 같다.) Resource exhausted: OOM when allocating tensor wi th shape[64,67,67,1024] and type f..
-
아나콘다에 Python, TensorFlow, & Keras 설치하기인공지능(AI)/Python 2019. 10. 14. 11:12
Installation of Python, TensorFlow, & Keras (in Anaconda) http://yp87.proboards.com/thread/21/installation-python-tensorflow-keras-anaconda?page=1&scrollTo=28 - 이재현 글 퍼옴(비공개) * 목적 - Anaconda를 설치. - Anaconda를 설치하면 Python를 사용할 수 있는 "base"라 불리우는 환경(environment)이 기본적으로 설정되는데, 이것 이외에 아래와 같이 두개의 환경을 추가 설치. * Python 3.7.3위에 TensorFlow 2.0.0 * Python 3.7.3위에 TensorFlow 1.14.0 (앞으로 이 environments를 각각 py3..