D_ontory : 개발스토리

PaddleOCR recognition model 학습을 완료했다.tools/eval.py 로 테스트를 진행해 보았고, gpu를 사용하여 inference 결과도 보고 싶어서 모델을 export_model 을 적용하여  inference 용 모델로 전환하려했다. python3 tools/export_model.py -c /workspace/PaddleOCR/output/rec_ppocr_v3_korean_v4/config.yml -o Global.pretrained_model=./output/rec_ppocr_v3_korean_v4/best_accuracy Global.save_inference_dir=./inference/korean_PP-OCRv3_rec/W0610 10:30:36.766150 179..

OCR 이란?결론부터 말하자면, EasyOCR 과 PaddleOCR 을 비교해본 결과 PaddleOCR 의 인식률이 더 좋았다.그 전에 OCR에 대해 간단하게 설명하자면, OCR은 크게 두가지 모델이 사용된다.1. Text Detection (어디쯤에 글자라는게 있는지 찾음)2. Text Recognition (찾은 영역에 있는글자가 어떤 글자인지 인식함)    PaddleOCR 실험 결과 PaddleOCR 은 중국 Baidu PaddlePaddle 에서 개발한 OCR 라이브러리다.성능도 향상시키고, 경량화도 진행하여 CPU 환경에서도 테스트가 수월하게 가능하다.테스트 데이터는 AIHUB에서 제공하는 책표지 데이터셋이다. 추후 학습 데이터로도 사용할 수 있을 것 같다. https://github.com/..

paddleocr 을 사용하여 한국어 ocr  finetuning 학습을 진행하려 한다.multi-gpu 사용하여 학습 진행할 예정이었는데, 내가 사용할 gpu는 2,3번 gpu 였다.애초에 docker container 생성할 때도 (nvidia-docker container 사용) 사용 gpu를 2,3으로 제한해두었는데 학습을 진행하려고하니 gpu 관련 오류가 떴다. paddleOCR fine-tuning gpu error  ValueError: substring not found 최종적으로는 gpu 오류가 맞았고,해당 컨테이너에서 nvidia-smi 를 통해 gpu 번호를 확인해 보았다.   총 4개의 gpu 중 2,3을 사용 gpu로 가지고왔는데 컨테이너 내에서 nvidia-smi 로 확인해보니 ..

docker 컨테이너에서 개발할 때, 데이터의 시각화나 결과값을 시각화해야 하는 일이 발생 할 수 있다. 컨테이너 위에서 imshow 를 이용해서 시각화 할 경우에는 display 를 설정하고 어쩌구저쩌구... 복잡하기 때문에, .py 파일에서 나는 도커 컨테이너에서 jupyter notebook 으로 확인을 하는 편이다. 대부분 ubuntu(linux) 기반의 sever 를 두고, 그 서버에 컨테이너를 띄워서 개발을 하다보니 일반적으로 해결되는 방법으로 해결이 안되는 경우가 많은 것 같다. import matplotlib.pyplot as plt plt.title('그래프') matplotlib 을 사용해서 그래프를 그리는 경우에, 대체로 파라미터 Pram 을 적용하여 나눔고딕 과같은 ttf 폰트를 설..

OpenCV 만 쓰면 나타나는 오류 새로운 개발 환경을 사용하기 위해 새로운 Nvidia pytorch container를 띄우고 나면 항상 만나는 오류가 있다.OpenCV를 사용해야 하는경우 거의 백이면 백 만나는 것 같다.module 'cv.dnn' 에서 무엇인가 없다는 것!  File "/usr/local/lib/python3.10/dist-packages/cv2/__init__.py", line 175, in bootstrap if __load_extra_py_code_for_module("cv2", submodule, DEBUG): File "/usr/local/lib/python3.10/dist-packages/cv2/__init__.py", line 28, in __load_extra..

들어가며...개발 업계에 종사한지 어느새 2년차....시간이 지나면 지날수록 내 프로젝트에 대한 백업의 중요성을 알게 되었다.분명 질리게 보던 코드도 3달 지나고 보면 갑자기 생각이 안 날 때도 있고, 이게 있었는데 어디갔지? 하며 힘들었던 경험이 있다.때문에 프로젝트별 Git repository 를 만들면 코드 관리도 쉽고, 이직 시 포트폴리오로 사용할 수 있어 좋다는걸 알고있지만 밀려오는 업무와 귀찮음 때문에 미뤄두고 있다가 드디어 시간이 생겨서 업로드를 시작했다.하지만 push 한 지 백만년만이라 다 까먹은 나....딥러닝 프로젝트를 주로 다루다 보니, 대체로 협업 할 일이 없어 Git 사용하는 일이 많지 않았다.자급자족으로 내가 작성한 티스토리 글을 들락날락 거리며 겨우 push를 했는데, 그 이..

denied: requested access to the resource is denied 오류가 났다. 원인은 docker hub 에 올바른 아이디로 로그인 하지 않았기 때문. docker repository 아이디가 두개인데, 다른아이디로 로그인되어있는 상태에서 상관없는 레파지토리에 push 하려 해서 생긴 오류이다. 원래 되어있던 로그인 정보가 남아있어서 나는 먼저 로그아웃부터 진행했다. docker logout 로그아웃 후 새로운 도커아이디로 로그인 합니다. docker login login Succeeded 라는 표시가 되면 다시 이미지를 push 합니다. docker image push dockerid/repositoryname:tag

INTRO 개발하다보면 여러 부서에서 각자 맡은 일을 해주는 때가 많은데, 그때 내가 작업하던 docker container 를 통째로 image(이미지)로 만들어서 배포(?) 또는 전달 하는 경우가 많은 것 같다. 그래서 은근히 자주 사용하지만 자꾸 까먹는 나를 위해 총정리를 해보려 한다. docker container 를 docker image로 만들기 docker ps -a 실행중인, 또는 만들어져있는 container 를 확인합니다. -a 옵션을 추가하면 실행중이지 않는 컨테이너도 모두 보이며, -a 옵션을 제거하면 실행중인 컨테이너만 보입니다 저는 가장 아래에 있는 'torch2' 라는 컨테이너를 이미지로 만들어 보려 합니다. ex) docker commit [OPTIONS] CONTAINER ..

이전에 게시하였던 https://d-ontory.tistory.com/3 [Git] github 페이지와 내 로컬(local) 연결하기 | 오류해결 | 로그인 토큰 문제 해결 1. Git Repository 만들기 1. New 버튼을 눌러서 레파지토리를 하나 만들어 준다. 2. Public 페이지를 하나 만들어준다. Create repository 를 누르면 만들기 성공! 2. git 계정 설정 user.name user.email git config --globa d-ontory.tistory.com 게시글을 따라서 git repository에 프로젝트를 push 하는 작업을 하는 도중, fatal: Authentication failed for 어쩌구 하는 오류를 또 만났다. 이전에는 토큰 관련한 게..

왜 도커를 써야만 할까? 머신러닝 딥러닝 모델을 개발하다보면, 수많은 오류들을 만날 때가 있다.그리고 대부분의 오류들은 개발하는 환경의 버전 관리부터 시작된다.내가 처음부터 끝까지 작성한 코드라고 해서 오류가 없는 것은 아니다. 단지 내가 짠 코드인 만큼 단계별로 해결한 경험이 있어서 상대적으로 쉽게 느껴질 수는 있다.대부분 git 페이지에서 제공하는 오픈소스 코드를 사용할텐데, 이 코드가 실행한 환경과 내 서버(컴퓨터)의 환경은 다르기 때문에 오류를 많이 만나는 것 같다....(모두가 그런건 아니지만^^....) 현직 개발자로서, 딥러닝 모델을 개발하다 보면 여러가지 환경을 동시에 진행하는 경우도 있다.이미지 전처리 필요한 모델도 학습하다가, 오디어 전처리도 필요하게 되는... 아무튼, 내가 만났던 오..