D_ontory : 개발스토리

도커를 사용하면 어느 서버에서나 같은 환경에서 모델을 학습시키고 수정할 수 있다는 것이 장점이다.하지만 그만큼 서버마다 특성이 다르기 때문에 같은 방법으로 설치했는데도 오류가 발생하는 경우가 있다.이것 저것 해봤는데도 안된다면, 그냥 재설치 하는 것이 가장 확실한 방법 중 하나이지 않을까 싶다.처음에는 재설치가 너무 두려웠는데, 이제는 새로운 서버 환경에서 작업할 때, 뭐가 좀 꼬여있다 싶으면 그냥 재설치하고 새로 환경을 구성한다. (뭐 하나 해결하려 하다가 된통 꼬여서 재설치마저 안될바에는 처음부터 깔끔하게 설치하는것이 나을지도...) 아무튼 docker 재설치를 진행하면서 만났던 오류와 해결방법들을 공유해 보려 한다. Docker 완전 삭제 후 재설치먼저 이미 docker 가 설치되어 있지만 무언가 ..

들어가기에 앞서, 이번 서버에서 docker 를 사용하기위해 docker와 nvidia docker2 를 설치했다.확실한 원인은 발견하지 못하였으나, 짐작하기로는 anaconda 환경이 activate 된 상태에서 설치를 강행하다보니nvidia 버전과의 충돌이 생긴 것이 아닐까 싶다.현재 터미널에서 conda 환경이 activate 되어있다면 꼭 conda deactivate 를 통해 콘다환경에서 나와서 도커설치를 진행하길 바란다. sudo apt-get install -y nvidia-docker2  실행 시 오류E: nvidia-docker2 enable to locate package$ sudo apt-get install -y nvidia-docker2패키지 목록을 읽는 중입니다... 완료의존성 ..

PaddleOCR recognition model 학습을 완료했다.tools/eval.py 로 테스트를 진행해 보았고, gpu를 사용하여 inference 결과도 보고 싶어서 모델을 export_model 을 적용하여  inference 용 모델로 전환하려했다. python3 tools/export_model.py -c /workspace/PaddleOCR/output/rec_ppocr_v3_korean_v4/config.yml -o Global.pretrained_model=./output/rec_ppocr_v3_korean_v4/best_accuracy Global.save_inference_dir=./inference/korean_PP-OCRv3_rec/W0610 10:30:36.766150 179..

OCR 이란? (Optical Character Recognition)OCR이란 광학 문자 인식 이라고 부르며, 이미지 속 문자를 기계가 해독할 수 있도록 하는 모델이다.OCR Process에 대해 간단하게 설명하자면, OCR은 크게 두가지 모델이 사용된다.1. Text Detection (어디쯤에 글자가 있는지 찾음)2. Text Recognition (찾은 영역 내 글자가 어떤 글자인지 인식함)결론부터 말하자면, EasyOCR 과 PaddleOCR 을 비교해본 결과, 한국어의 경우는 PaddleOCR 의 인식률이 더 좋았다.   PaddleOCR 실험 결과PaddleOCR 은 중국 Baidu PaddlePaddle 에서 개발한 OCR 라이브러리다.성능도 향상시키고, 경량화도 진행하여 CPU 환경에서도..

paddleocr 을 사용하여 한국어 ocr  finetuning 학습을 진행하려 한다.multi-gpu 사용하여 학습 진행할 예정이었는데, 내가 사용할 gpu는 2,3번 gpu 였다.애초에 docker container 생성할 때도 (nvidia-docker container 사용) 사용 gpu를 2,3으로 제한해두었는데 학습을 진행하려고하니 gpu 관련 오류가 떴다. paddleOCR fine-tuning gpu error  ValueError: substring not found 최종적으로는 gpu 오류가 맞았고,해당 컨테이너에서 nvidia-smi 를 통해 gpu 번호를 확인해 보았다.   총 4개의 gpu 중 2,3을 사용 gpu로 가지고왔는데 컨테이너 내에서 nvidia-smi 로 확인해보니 ..

docker 컨테이너에서 개발할 때, 데이터의 시각화나 결과값을 시각화해야 하는 일이 발생 할 수 있다. 컨테이너 위에서 imshow 를 이용해서 시각화 할 경우에는 display 를 설정하고 어쩌구저쩌구... 복잡하기 때문에, .py 파일에서 나는 도커 컨테이너에서 jupyter notebook 으로 확인을 하는 편이다. 대부분 ubuntu(linux) 기반의 sever 를 두고, 그 서버에 컨테이너를 띄워서 개발을 하다보니 일반적으로 해결되는 방법으로 해결이 안되는 경우가 많은 것 같다. import matplotlib.pyplot as plt plt.title('그래프') matplotlib 을 사용해서 그래프를 그리는 경우에, 대체로 파라미터 Pram 을 적용하여 나눔고딕 과같은 ttf 폰트를 설..

OpenCV 만 쓰면 나타나는 오류 새로운 개발 환경을 사용하기 위해 새로운 Nvidia pytorch container를 띄우고 나면 항상 만나는 오류가 있다.OpenCV를 사용해야 하는경우 거의 백이면 백 만나는 것 같다.module 'cv.dnn' 에서 무엇인가 없다는 것!  File "/usr/local/lib/python3.10/dist-packages/cv2/__init__.py", line 175, in bootstrap if __load_extra_py_code_for_module("cv2", submodule, DEBUG): File "/usr/local/lib/python3.10/dist-packages/cv2/__init__.py", line 28, in __load_extra..

들어가며...개발 업계에 종사한지 어느새 2년차....시간이 지나면 지날수록 내 프로젝트에 대한 백업의 중요성을 알게 되었다.분명 질리게 보던 코드도 3달 지나고 보면 갑자기 생각이 안 날 때도 있고, 이게 있었는데 어디갔지? 하며 힘들었던 경험이 있다.때문에 프로젝트별 Git repository 를 만들면 코드 관리도 쉽고, 이직 시 포트폴리오로 사용할 수 있어 좋다는걸 알고있지만 밀려오는 업무와 귀찮음 때문에 미뤄두고 있다가 드디어 시간이 생겨서 업로드를 시작했다.하지만 push 한 지 백만년만이라 다 까먹은 나....딥러닝 프로젝트를 주로 다루다 보니, 대체로 협업 할 일이 없어 Git 사용하는 일이 많지 않았다.자급자족으로 내가 작성한 티스토리 글을 들락날락 거리며 겨우 push를 했는데, 그 이..

denied: requested access to the resource is denied 오류가 났다. 원인은 docker hub 에 올바른 아이디로 로그인 하지 않았기 때문. docker repository 아이디가 두개인데, 다른아이디로 로그인되어있는 상태에서 상관없는 레파지토리에 push 하려 해서 생긴 오류이다. 원래 되어있던 로그인 정보가 남아있어서 나는 먼저 로그아웃부터 진행했다. docker logout 로그아웃 후 새로운 도커아이디로 로그인 합니다. docker login login Succeeded 라는 표시가 되면 다시 이미지를 push 합니다. docker image push dockerid/repositoryname:tag

INTRO 개발하다보면 여러 부서에서 각자 맡은 일을 해주는 때가 많은데, 그때 내가 작업하던 docker container 를 통째로 image(이미지)로 만들어서 배포(?) 또는 전달 하는 경우가 많은 것 같다. 그래서 은근히 자주 사용하지만 자꾸 까먹는 나를 위해 총정리를 해보려 한다. docker container 를 docker image로 만들기 docker ps -a 실행중인, 또는 만들어져있는 container 를 확인합니다. -a 옵션을 추가하면 실행중이지 않는 컨테이너도 모두 보이며, -a 옵션을 제거하면 실행중인 컨테이너만 보입니다 저는 가장 아래에 있는 'torch2' 라는 컨테이너를 이미지로 만들어 보려 합니다. ex) docker commit [OPTIONS] CONTAINER ..