D_ontory : 개발스토리

도커를 사용하면 어느 서버에서나 같은 환경에서 모델을 학습시키고 수정할 수 있다는 것이 장점이다.하지만 그만큼 서버마다 특성이 다르기 때문에 같은 방법으로 설치했는데도 오류가 발생하는 경우가 있다.이것 저것 해봤는데도 안된다면, 그냥 재설치 하는 것이 가장 확실한 방법 중 하나이지 않을까 싶다.처음에는 재설치가 너무 두려웠는데, 이제는 새로운 서버 환경에서 작업할 때, 뭐가 좀 꼬여있다 싶으면 그냥 재설치하고 새로 환경을 구성한다. (뭐 하나 해결하려 하다가 된통 꼬여서 재설치마저 안될바에는 처음부터 깔끔하게 설치하는것이 나을지도...) 아무튼 docker 재설치를 진행하면서 만났던 오류와 해결방법들을 공유해 보려 한다. Docker 완전 삭제 후 재설치먼저 이미 docker 가 설치되어 있지만 무언가 ..

들어가기에 앞서, 이번 서버에서 docker 를 사용하기위해 docker와 nvidia docker2 를 설치했다.확실한 원인은 발견하지 못하였으나, 짐작하기로는 anaconda 환경이 activate 된 상태에서 설치를 강행하다보니nvidia 버전과의 충돌이 생긴 것이 아닐까 싶다.현재 터미널에서 conda 환경이 activate 되어있다면 꼭 conda deactivate 를 통해 콘다환경에서 나와서 도커설치를 진행하길 바란다. sudo apt-get install -y nvidia-docker2  실행 시 오류E: nvidia-docker2 enable to locate package$ sudo apt-get install -y nvidia-docker2패키지 목록을 읽는 중입니다... 완료의존성 ..

들어가며...개발 업계에 종사한지 어느새 2년차....시간이 지나면 지날수록 내 프로젝트에 대한 백업의 중요성을 알게 되었다.분명 질리게 보던 코드도 3달 지나고 보면 갑자기 생각이 안 날 때도 있고, 이게 있었는데 어디갔지? 하며 힘들었던 경험이 있다.때문에 프로젝트별 Git repository 를 만들면 코드 관리도 쉽고, 이직 시 포트폴리오로 사용할 수 있어 좋다는걸 알고있지만 밀려오는 업무와 귀찮음 때문에 미뤄두고 있다가 드디어 시간이 생겨서 업로드를 시작했다.하지만 push 한 지 백만년만이라 다 까먹은 나....딥러닝 프로젝트를 주로 다루다 보니, 대체로 협업 할 일이 없어 Git 사용하는 일이 많지 않았다.자급자족으로 내가 작성한 티스토리 글을 들락날락 거리며 겨우 push를 했는데, 그 이..

denied: requested access to the resource is denied 오류가 났다. 원인은 docker hub 에 올바른 아이디로 로그인 하지 않았기 때문. docker repository 아이디가 두개인데, 다른아이디로 로그인되어있는 상태에서 상관없는 레파지토리에 push 하려 해서 생긴 오류이다. 원래 되어있던 로그인 정보가 남아있어서 나는 먼저 로그아웃부터 진행했다. docker logout 로그아웃 후 새로운 도커아이디로 로그인 합니다. docker login login Succeeded 라는 표시가 되면 다시 이미지를 push 합니다. docker image push dockerid/repositoryname:tag

INTRO 개발하다보면 여러 부서에서 각자 맡은 일을 해주는 때가 많은데, 그때 내가 작업하던 docker container 를 통째로 image(이미지)로 만들어서 배포(?) 또는 전달 하는 경우가 많은 것 같다. 그래서 은근히 자주 사용하지만 자꾸 까먹는 나를 위해 총정리를 해보려 한다. docker container 를 docker image로 만들기 docker ps -a 실행중인, 또는 만들어져있는 container 를 확인합니다. -a 옵션을 추가하면 실행중이지 않는 컨테이너도 모두 보이며, -a 옵션을 제거하면 실행중인 컨테이너만 보입니다 저는 가장 아래에 있는 'torch2' 라는 컨테이너를 이미지로 만들어 보려 합니다. ex) docker commit [OPTIONS] CONTAINER ..

이전에 게시하였던 https://d-ontory.tistory.com/3 [Git] github 페이지와 내 로컬(local) 연결하기 | 오류해결 | 로그인 토큰 문제 해결 1. Git Repository 만들기 1. New 버튼을 눌러서 레파지토리를 하나 만들어 준다. 2. Public 페이지를 하나 만들어준다. Create repository 를 누르면 만들기 성공! 2. git 계정 설정 user.name user.email git config --globa d-ontory.tistory.com 게시글을 따라서 git repository에 프로젝트를 push 하는 작업을 하는 도중, fatal: Authentication failed for 어쩌구 하는 오류를 또 만났다. 이전에는 토큰 관련한 게..

왜 도커를 써야만 할까? 머신러닝 딥러닝 모델을 개발하다보면, 수많은 오류들을 만날 때가 있다.그리고 대부분의 오류들은 개발하는 환경의 버전 관리부터 시작된다.내가 처음부터 끝까지 작성한 코드라고 해서 오류가 없는 것은 아니다. 단지 내가 짠 코드인 만큼 단계별로 해결한 경험이 있어서 상대적으로 쉽게 느껴질 수는 있다.대부분 git 페이지에서 제공하는 오픈소스 코드를 사용할텐데, 이 코드가 실행한 환경과 내 서버(컴퓨터)의 환경은 다르기 때문에 오류를 많이 만나는 것 같다....(모두가 그런건 아니지만^^....) 현직 개발자로서, 딥러닝 모델을 개발하다 보면 여러가지 환경을 동시에 진행하는 경우도 있다.이미지 전처리 필요한 모델도 학습하다가, 오디어 전처리도 필요하게 되는... 아무튼, 내가 만났던 오..

설치하게 된 이유 원래 사용하던 우분투 20.04 생활을 청산하고 22.04로 넘어가게 된 이유는 간단하다. multi-gpu 를 사용하여 학습하던 도중 전원이 나갔고(??????) 그 뒤로 GPU가 잡히지 않았다. ERROR: No supported GPU(s) detected to run this container 라는 오류만을 남긴 채 그 어떤 힌트도 주지 않았다..... (Docker container를 사용한 학습) 무언가 잘못됨을 감지한 나는 최대한 해결해보려 노력했지만, 구글에 검색해도 나오지 않는 오류들을 해결하기란 쉽지 않았다. 위의 오류를 시작으로 해결하기 위한 방법들을 동원하면 할수록 새로운 오류와 만나게 되었고, 도저히 풀 수 없다고 생각했다. 때문에 가장 확실한 방법인 모조리 다 ..

갑자기 서버 오류로 인해 기존 우분투(Ubuntu)를 밀고 새로 설치해야 하는 상황이 발생했다.이렇게 된 이상 pytorch 2.0 맛이나 보자 하고, ubuntu 부터 cuda, cudnn, docker 등등 개발에 필요한 환경을 모두 새로 설치하고 있다.직접 설치해보기 전 까지는 모든것이 설치 되어 있는 것이 당연했는데, 직접 하다보니 이렇게 하나씩 모두 설치해야 된다는 것을 다시 한 번 깨닳게 되는 경험이었다^^아무튼, 이런 일이 두번, 세번 다시 일어나지 않으리란 보장은 없기에 정리를 해보도록 하자.... 원하는 개발환경- Ubuntu 22.04- CUDA 12.1  /  cuDNN - GPU NVIDIA TITAN RTX  필요 패키지 다운로드## Ubuntu 시스템 패키지 update sudo..

인공지능 AI 개발자 대부분은 Linux 환경에서 학습하는데, ubuntu 환경을 너무나 사랑하지만, GUI 가.... 별로인것은 사실입니다.Linux에서 vim을 사용하여 코드를 작성하고 수정하던 저에게  VScode를 사용하면서 새로운 세상이 열렸습니다.각박한 gui 에 한줄기 빛과 같은 vscode를 연동하여 jupyter 뿐만 아니라 시각화에도 뛰어난 가시성을 돋보이는 방법을 소개합니다. VScode 설치 가장먼저, Vscode 를 설치합니다.사용자 환경 : Linux, Docker저는 이전까지는 대부분 MobaXterm 이라는 프로그램을 사용하여 SSH로 server와 연결하여 학습을 했습니다.사용 컴퓨터 : WindowServer : Linux (Ubuntu)vscode 와의 연동을 위해서 서..