송시의 적절한 정보공유

맡고 있는 고객사는 KT 클라우드를 사용하고 있다. DB 서버의 핫백업이 완료되면 1.9TB 가 NAS에 백업이 된다. 그런데 데이터의 안전성을 위해 반드시 2차로 백업을 해야하는 요건이 있는 고객이다. HDD인 NAS에서 1.9TB 의 약 50개의 파일(다행이도 잔파일은 아님)을 백업솔루션을 네트워크로 전송되는데 1주일 하고도 몇일이 더 지났지만 끝나지 않았다. NAS 의 용량 문제로 1차 백업(DB 핫백업을 통해 NAS 로 저장하는)을 1주일에 1회 하기로 했는데 2차 백업이 2주일 쯤이 되야 한번 백업이 된다면 1차 2차 백업에 대해서 모두 꼬이겠다는 생각이 들었다. 그러던 중 KT Cloud 에도 open api 를 제공하고 있다는 것을 알게 되어 KT cloud 에서 제공해주는 메뉴얼을 참고해보..

우연한 기회로 naver 의 후원을 받은 HCX(= HyperCLOVA X) 를 경험해보고 팀 단위로 공부와 목표를 정해서 멋진 결과물을 만들어야하는 프로젝트에 도전하게 되었다. 이 공간은 HCX 그 잡채에 대한 이야기가 될 수 도 있고 LLM 과 관련된 공부의 이야기가 될 수도 있다. 또는 AI 와 관련된 이야기가 될 것 같다. AI 라는 분야를 공부하고 포기하고 공부하고 포기하고를 수도 없이 해왔다. 한창 공부하다보면 "미래의 먹거리를 만들어 낼꺼야" 라는 생각으로 이론 공부를 즐겁게 하다 이론 공부에 치여서 곧 잘 포기했었다. 이번에는 어쩌면 그동안 조각 조각 모아두었던 이론들을 활용해서 HCX 라는 도구가 내가 AI 의 모든 것을 완전히 이해지 못한다 해도 어떠한 결과물을 만들어 주고 그 경험이 ..

내가 접근할 수 있는 범위내에서다 보니 공공,민간,금융 등등에 따라 다소 다를 수 있기에 참고용으로만 보세요. VM 서브넷 변경 비고 NHN Cloud 정지 후 가능 VPC 내에 서브넷 2개 이상 필요 KT Cloud 불가 VM 재성성으로 서브넷 변경 Naver Cloud 불가 VM 재성성으로 서브넷 변경

2023.06.03 - [IT/Data 분석] - [게 나이 예측] 선형회귀 베이스라인 [게 나이 예측] 선형회귀 베이스라인 데이터 안에서 게의 나이를 예측 하는 kaggle 의 playground 에 참여해보았다. https://www.kaggle.com/competitions/playground-series-s3e16 Regression with a Crab Age Dataset | Kaggle www.kaggle.com 총 8개의 독립변수[피처]를 토 songsiaix.tistory.com 앞서 단순한 선형회귀 베이스라인을 설정하고 돌렸을 때 1.44 정도의 MAE 점수가 나왔다. EDA 를 성의없게 했기에 이번에는 EDA 를 통해 변수를 분석해보려 한다. plt.figure(figsize=(12,..

데이터 안에서 게의 나이를 예측 하는 kaggle 의 playground 에 참여해보았다. https://www.kaggle.com/competitions/playground-series-s3e16 Regression with a Crab Age Dataset | Kaggle www.kaggle.com 총 8개의 독립변수[피처]를 토대로 종속변수인 게의 나이를 예측하는 문제다. 문제의 평가 기준은 MAE(Mean Absolute Error) 로 예측한 값을 추축한다. Error 를 측정하는 것이기 때문에 0에 가까울 수록 높은 예측력을 갖고 있게 된다. 변수는 다음과 같다. (Age 를 제외한 8개는 모두 독립변수) Sex object 게의 성 (Male, Female, Intermediate) Leng..

베이스라인 모델이라함은 영어 그대로 가장 기본이 되는 모델을 선택하는 것 이다. 가장 기초적인 모델을 선택한다는 것은 문제를 해결하기 위한 다른 말로 내가 원하는 목표를 이루기 위해 필요한 가장 최소한의 해결방법을 결정하는 것 이다/ 해결방법을 결정하였다면 그 방법이 최선인지를 추가할만한 다른 방법이 없는지(하이퍼파라미터) 등을 통해 문제 해결 방법을 개선 시킬 수 있다. 베이스 라인 모델은 여러 종류가 있고 해결하고자 하는 방법에 따라 입맛에 맞게 선택하면 된다. 차원 이동은 차원을 이동 했냐? 안했냐에 대한 이진분류 문제 이진 분류의 대표적인 머신 러닝 모델로는 로지스틱 회귀 모델(logistic regression) 을 사용 하여 이진 분류를 베이스라인 모델을 선택하고 어떻게 성능을 더 개선할 수 ..

2023.04.27 - [IT/Data 분석] - [차원 이동] 분석 11회차[독립변수 파악2] [차원 이동] 분석 11회차[독립변수 파악2] 2023.04.27 - [IT/Data 분석] - [차원 이동] 분석 10 회차[독립변수 파악] [차원 이동] 분석 10 회차[독립변수 파악] 2023.04.15 - [IT/Data 분석] - [우주선 생존] 분석 9회차 [우주선 생존] 분석 9회차 2023.04.11 - [IT songsiaix.tistory.com 앞선 회차에서 Cabin 을 활용해 볼 수 있을 것이라는 생각으로 진행해보았다. cabins=['Cabin1','Cabin2','Cabin3'] for i in cabins: print(f'{i} : {train_df[i].nunique()} \n{..

2023.04.27 - [IT/Data 분석] - [차원 이동] 분석 10 회차[독립변수 파악] [차원 이동] 분석 10 회차[독립변수 파악] 2023.04.15 - [IT/Data 분석] - [우주선 생존] 분석 9회차 [우주선 생존] 분석 9회차 2023.04.11 - [IT/Data 분석] - [우주선 생존] 분석 8회차 [우주선 생존] 분석 8회차 2023.04.10 - [IT/Data 분석] - [우주선 생존] 분 songsiaix.tistory.com train_df[["HomePlanet","CryoSleep","Cabin","Destination","Age","VIP"]].head() HomePlanetCryoSleepCabinDestinationAgeVIP01234 HomePlanet C..

2023.04.15 - [IT/Data 분석] - [우주선 생존] 분석 9회차 [우주선 생존] 분석 9회차 2023.04.11 - [IT/Data 분석] - [우주선 생존] 분석 8회차 [우주선 생존] 분석 8회차 2023.04.10 - [IT/Data 분석] - [우주선 생존] 분석 7회차 [우주선 생존] 분석 7회차 2023.04.04 - [IT/Data 분석] - [우주선 생존] 분 songsiaix.tistory.com 독립변수를 확인하는게 보통 1~2 단계에서 해야할텐데, 돌고 돌아 블로그 10회차에서 1 단계로 다시 돌아왔다. 각각의 독립변수를 한번 음미해보고자 한다. 총 13개의 독립변수가 있다.(Transported 는 우리가 확인하고자 하는 목표 즉 종속 변수이기에 train.csv 에는..

2023.04.11 - [IT/Data 분석] - [우주선 생존] 분석 8회차 [우주선 생존] 분석 8회차 2023.04.10 - [IT/Data 분석] - [우주선 생존] 분석 7회차 [우주선 생존] 분석 7회차 2023.04.04 - [IT/Data 분석] - [우주선 생존] 분석 6회차 [우주선 생존] 분석 6회차 2023.04.02 - [IT/Data 분석] - [우주선 생존] 분 songsiaix.tistory.com 9회차가 되어서야 무엇인가 잘못되었다는 생각에 빠진다. 분석하는건 좋은데 이 분석의 목적대로 내가 잘 따라가고 있는 것일까? 하는 고민에 빠진다. 1. 분석의 목적을 제대로 인지하고 확인했나? 2. 각 독립변수(features)를 잘 이해하고 있나? 3. 목적을 달성하기 위해 필요..