D_ontory : 개발스토리

이전에 게시하였던 https://d-ontory.tistory.com/3 [Git] github 페이지와 내 로컬(local) 연결하기 | 오류해결 | 로그인 토큰 문제 해결 1. Git Repository 만들기 1. New 버튼을 눌러서 레파지토리를 하나 만들어 준다. 2. Public 페이지를 하나 만들어준다. Create repository 를 누르면 만들기 성공! 2. git 계정 설정 user.name user.email git config --globa d-ontory.tistory.com 게시글을 따라서 git repository에 프로젝트를 push 하는 작업을 하는 도중, fatal: Authentication failed for 어쩌구 하는 오류를 또 만났다. 이전에는 토큰 관련한 게..

왜 도커를 써야만 할까? 머신러닝 딥러닝 모델을 개발하다보면, 수많은 오류들을 만날 때가 있다.그리고 대부분의 오류들은 개발하는 환경의 버전 관리부터 시작된다.내가 처음부터 끝까지 작성한 코드라고 해서 오류가 없는 것은 아니다. 단지 내가 짠 코드인 만큼 단계별로 해결한 경험이 있어서 상대적으로 쉽게 느껴질 수는 있다.대부분 git 페이지에서 제공하는 오픈소스 코드를 사용할텐데, 이 코드가 실행한 환경과 내 서버(컴퓨터)의 환경은 다르기 때문에 오류를 많이 만나는 것 같다....(모두가 그런건 아니지만^^....) 현직 개발자로서, 딥러닝 모델을 개발하다 보면 여러가지 환경을 동시에 진행하는 경우도 있다.이미지 전처리 필요한 모델도 학습하다가, 오디어 전처리도 필요하게 되는... 아무튼, 내가 만났던 오..

설치하게 된 이유 원래 사용하던 우분투 20.04 생활을 청산하고 22.04로 넘어가게 된 이유는 간단하다. multi-gpu 를 사용하여 학습하던 도중 전원이 나갔고(??????) 그 뒤로 GPU가 잡히지 않았다. ERROR: No supported GPU(s) detected to run this container 라는 오류만을 남긴 채 그 어떤 힌트도 주지 않았다..... (Docker container를 사용한 학습) 무언가 잘못됨을 감지한 나는 최대한 해결해보려 노력했지만, 구글에 검색해도 나오지 않는 오류들을 해결하기란 쉽지 않았다. 위의 오류를 시작으로 해결하기 위한 방법들을 동원하면 할수록 새로운 오류와 만나게 되었고, 도저히 풀 수 없다고 생각했다. 때문에 가장 확실한 방법인 모조리 다 ..

갑자기 서버 오류로 인해 기존 우분투(Ubuntu)를 밀고 새로 설치해야 하는 상황이 발생했다.이렇게 된 이상 pytorch 2.0 맛이나 보자 하고, ubuntu 부터 cuda, cudnn, docker 등등 개발에 필요한 환경을 모두 새로 설치하고 있다.직접 설치해보기 전 까지는 모든것이 설치 되어 있는 것이 당연했는데, 직접 하다보니 이렇게 하나씩 모두 설치해야 된다는 것을 다시 한 번 깨닳게 되는 경험이었다^^아무튼, 이런 일이 두번, 세번 다시 일어나지 않으리란 보장은 없기에 정리를 해보도록 하자.... 원하는 개발환경- Ubuntu 22.04- CUDA 12.1  /  cuDNN - GPU NVIDIA TITAN RTX  필요 패키지 다운로드## Ubuntu 시스템 패키지 update sudo..

전원 연결하기 처음이라 잘 알지 못했지만, 검색해보니 배럴잭을 사용하는 것이 좋다고 합니다. 하지만, 저는 그런걸 준비하지 못했으므로, 일반 5핀으로 아주 어렵게 개발을 진행했습니다. 일반적인 핸드폰 충전기로는 아예 전원이 들어오지 않아서, 그나마 전력량이 높은 아이패드용 충전기를 사용했습니다. 그리고, 일반 5핀 케이블로는 되지 않아서, 키보드용 usb 선을 사용했습니다. 전원까지 연결하는데 한시간 정도 할애한 것 같습니다. 처음이라, 전력량이 모자라서 전원이 안들어올 줄은 상상도 못했거든요.... 아무튼간에, 전력이 부족하면 nvidia 라는 화면만 떴다가 꺼지길 반복합니다.. 결론 : 그냥 배럴잭을 사는것이 좋다. + 점퍼.... 아무튼간에, 전력을 충분히 공급할 수 있고, 전원도 들어온다 싶으면 ..

import sys import os import glob import json def json2txt(jsonfile) : tom = (item for item in json_data) dict = next(tom, False) ID = dict['Name'] x = dict['Point(x,y)'].split(',')[0] y = dict['Point(x,y)'].split(',')[1] W = dict['W'] H = dict['H'] # print(ID+x+y+W,H) return ID, x, y, W, H dir_path = "/content/drive/MyDrive/Colab Notebooks/yolo_data_preprocessing/mini_sample/" def sum_class(path..

인공지능 AI 개발자 대부분은 Linux 환경에서 학습하는데, ubuntu 환경을 너무나 사랑하지만, GUI 가.... 별로인것은 사실입니다.Linux에서 vim을 사용하여 코드를 작성하고 수정하던 저에게  VScode를 사용하면서 새로운 세상이 열렸습니다.각박한 gui 에 한줄기 빛과 같은 vscode를 연동하여 jupyter 뿐만 아니라 시각화에도 뛰어난 가시성을 돋보이는 방법을 소개합니다. VScode 설치 가장먼저, Vscode 를 설치합니다.사용자 환경 : Linux, Docker저는 이전까지는 대부분 MobaXterm 이라는 프로그램을 사용하여 SSH로 server와 연결하여 학습을 했습니다.사용 컴퓨터 : WindowServer : Linux (Ubuntu)vscode 와의 연동을 위해서 서..

참조 : https://medium.com/augmented-startups/train-yolov8-on-custom-data-6d28cd348262 Train YOLOv8 on Custom Data? YOLOv8🔥has achieved a new high in terms of Mean Average Precision (MAP) with a score of 53.7. medium.com YOLOv5 를 개발했던 Ultralytics에서 2023년 1월 10일 기준으로 YOLOv8이 출시되었습니다. 속도와 정확도, 아키텍처 측면에서 상당한 개선을 이루었다고 해서 한번 실행해 보려 합니다. 실행 환경 : Linux / docker image 사용 GPU : Nvidia TITAN RTX Docker Imag..

1. Git Repository 만들기 1. New 버튼을 눌러서 레파지토리를 하나 만들어 준다. 2. Public 페이지를 하나 만들어준다. Create repository 를 누르면 만들기 성공! 2. git 계정 설정 user.name user.email git config --globa user.name "git hub 이름" --> git hub 이름과 동일하게 하는 것을 추천해서 그대로 했다! git config --globa user.email "git login 이메일" 3. git hub 와 연결하는 local 설정 나는 Desktop 에 있는 workspace 라는 폴더를 만들어서 이곳과 연결시켜보았다. cd workspace # workspace 경로로 이동 git init # 해당 ..

내가 기억하기 위해서 작성하는 로그! 1. GUI 구성에 필요한 프로그램 다운 gui 구성에 필요한 프로그램 다운로드 brew install xquartz brew install socat​ 다운로드 완료 후 컴퓨터 Restart 필요 xquartz 실행 open -a XQuartz 위 명령어를 실행하면 아래의 흰 화면이 나온다. 이를 통해 XQuartz가 제대로 설치되었음을 확인한다. 그리고 XQuartz의 설정을 변경해주어야 한다. 저 흰 화면 상태에서 (⌘ + ,) 즉 command+, 키를 눌러준다. X11 Preferences 창이 뜬다. Security 로 가서 Allow Connections from netswork clients 를 선택해준다. 본인 맥북의 ip 주소 확인 ifconfig ..