D_ontory : 개발스토리

PaddleOCR recognition model 학습을 완료했다.tools/eval.py 로 테스트를 진행해 보았고, gpu를 사용하여 inference 결과도 보고 싶어서 모델을 export_model 을 적용하여  inference 용 모델로 전환하려했다. python3 tools/export_model.py -c /workspace/PaddleOCR/output/rec_ppocr_v3_korean_v4/config.yml -o Global.pretrained_model=./output/rec_ppocr_v3_korean_v4/best_accuracy Global.save_inference_dir=./inference/korean_PP-OCRv3_rec/W0610 10:30:36.766150 179..

paddleocr 을 사용하여 한국어 ocr  finetuning 학습을 진행하려 한다.multi-gpu 사용하여 학습 진행할 예정이었는데, 내가 사용할 gpu는 2,3번 gpu 였다.애초에 docker container 생성할 때도 (nvidia-docker container 사용) 사용 gpu를 2,3으로 제한해두었는데 학습을 진행하려고하니 gpu 관련 오류가 떴다. paddleOCR fine-tuning gpu error  ValueError: substring not found 최종적으로는 gpu 오류가 맞았고,해당 컨테이너에서 nvidia-smi 를 통해 gpu 번호를 확인해 보았다.   총 4개의 gpu 중 2,3을 사용 gpu로 가지고왔는데 컨테이너 내에서 nvidia-smi 로 확인해보니 ..

OpenCV 만 쓰면 나타나는 오류 새로운 개발 환경을 사용하기 위해 새로운 Nvidia pytorch container를 띄우고 나면 항상 만나는 오류가 있다.OpenCV를 사용해야 하는경우 거의 백이면 백 만나는 것 같다.module 'cv.dnn' 에서 무엇인가 없다는 것!  File "/usr/local/lib/python3.10/dist-packages/cv2/__init__.py", line 175, in bootstrap if __load_extra_py_code_for_module("cv2", submodule, DEBUG): File "/usr/local/lib/python3.10/dist-packages/cv2/__init__.py", line 28, in __load_extra..

denied: requested access to the resource is denied 오류가 났다. 원인은 docker hub 에 올바른 아이디로 로그인 하지 않았기 때문. docker repository 아이디가 두개인데, 다른아이디로 로그인되어있는 상태에서 상관없는 레파지토리에 push 하려 해서 생긴 오류이다. 원래 되어있던 로그인 정보가 남아있어서 나는 먼저 로그아웃부터 진행했다. docker logout 로그아웃 후 새로운 도커아이디로 로그인 합니다. docker login login Succeeded 라는 표시가 되면 다시 이미지를 push 합니다. docker image push dockerid/repositoryname:tag

INTRO 개발하다보면 여러 부서에서 각자 맡은 일을 해주는 때가 많은데, 그때 내가 작업하던 docker container 를 통째로 image(이미지)로 만들어서 배포(?) 또는 전달 하는 경우가 많은 것 같다. 그래서 은근히 자주 사용하지만 자꾸 까먹는 나를 위해 총정리를 해보려 한다. docker container 를 docker image로 만들기 docker ps -a 실행중인, 또는 만들어져있는 container 를 확인합니다. -a 옵션을 추가하면 실행중이지 않는 컨테이너도 모두 보이며, -a 옵션을 제거하면 실행중인 컨테이너만 보입니다 저는 가장 아래에 있는 'torch2' 라는 컨테이너를 이미지로 만들어 보려 합니다. ex) docker commit [OPTIONS] CONTAINER ..

갑자기 서버 오류로 인해 기존 우분투(Ubuntu)를 밀고 새로 설치해야 하는 상황이 왔다....이렇게 된 이상 pytorch 2.0 맛이나 보자 하고, ubuntu 부터 cuda, cudnn, docker 등등 개발에 필요한 환경을 모두 새로 설치하고 있다.설치 되어 있는 상황이 당연했는데, 이렇게 하나씩 모두 설치해야 된다는 것을 다시 한 번 깨닳게 되는 경험이었다^^아무튼, 이런 일이 두번, 세번 다시 일어나지 않으리란 보장은 없기에 정리를 해보도록 하자.... 원하는 개발환경- Ubuntu 22.04- CUDA 12.1  /  cuDNN - GPU NVIDIA TITAN RTX 필요 패키지 다운로드## Ubuntu 시스템 패키지 update sudo apt-get update## 기본 필요 패키지..

참조 : https://medium.com/augmented-startups/train-yolov8-on-custom-data-6d28cd348262 Train YOLOv8 on Custom Data? YOLOv8🔥has achieved a new high in terms of Mean Average Precision (MAP) with a score of 53.7. medium.com YOLOv5 를 개발했던 Ultralytics에서 2023년 1월 10일 기준으로 YOLOv8이 출시되었습니다. 속도와 정확도, 아키텍처 측면에서 상당한 개선을 이루었다고 해서 한번 실행해 보려 합니다. 실행 환경 : Linux / docker image 사용 GPU : Nvidia TITAN RTX Docker Imag..

내가 기억하기 위해서 작성하는 로그! 1. GUI 구성에 필요한 프로그램 다운 gui 구성에 필요한 프로그램 다운로드 brew install xquartz brew install socat​ 다운로드 완료 후 컴퓨터 Restart 필요 xquartz 실행 open -a XQuartz 위 명령어를 실행하면 아래의 흰 화면이 나온다. 이를 통해 XQuartz가 제대로 설치되었음을 확인한다. 그리고 XQuartz의 설정을 변경해주어야 한다. 저 흰 화면 상태에서 (⌘ + ,) 즉 command+, 키를 눌러준다. X11 Preferences 창이 뜬다. Security 로 가서 Allow Connections from netswork clients 를 선택해준다. 본인 맥북의 ip 주소 확인 ifconfig ..