MINI's STAT.ION

이번 시간은 시각화 단계롤 넘어가기 전에, 전처리 단계 중 단계를 집중적으로 다루는 특 !! 별 !! 판 !! ​ "결측치 처리의 모든 것" ​ 시간을 준비해보았습니다. ​ ​ 저같은 경우에 파이썬이나 R과 같은 다른 툴로 분석을 처음 접할 때 데이터 전처리 단계에서 가장 처음으로 봉착한 난관이 결측치 처리였거든요 ㅠㅠ 지워야하는지 ,, 대체한다면 어떤 값으로 대체해야하는지 ,, ​ ​ 저와 같은 어려움을 겪고 계실 분들을 위해 제가 정리한 자료들로 같이 설명해드릴게요. 해당 설명은 데이터캠프 (https://www.datacamp.com/courses/dealing-with-missing-data-in-python) 강의 내용을 참고하였습니다 :) ​ ​ STEP 1. 결측값 확인하기 먼저, 결측값이 ..

다들 한 주동안 잘지내셨나요 ~? 드디어 9월 새학기가 시작되고 전 이번에도 어김없이 개강을 맞이하게 되었는데요. 수강신청도 하고 강의계획서도 읽어보고 ~ 정말 개강을 슬슬 실감하고 있어요. ​ ​ 지난 주 멘토님들의 조언을 얻고 한층 탄탄해진 계획을 바탕으로 이제 본격적으로 데이터를 만져보도록 하겠습니다 :) 이건 제가 지난 첫 계획에서 세운 타임라인인데요, 모든 데이터들을 한꺼번에 전처리하기 보다는 분석개요를 3개의 파트로 나눠서 파트 별로 순차적으로 진행하는게 흐름 상 좋을 것 같더라구요 ! ​ ​ 그래서 오늘과 다음 시간에는 2020 코로나 이후 국민들의 건강실태 파악하는 현황 분석을 PART 1 으로 잡고 진행해볼까합니다 ! ​ 데이터 수집 먼저, 제가 사용할 데이터는 2020년 질병관리청 지역..

어느새 열심히 브라이틱스 서포터즈로 달려온 지 4개월이 지났는데요, 팀 분석 프로젝트와 두 차례에 걸친 홍보 UCC 제작을 마치고 벌!써! 마지막 활동을 앞두고 있어요. ​ 브라이틱스와 윰 서포터즈와 함께 하는 데린이 탈출 프로젝트 ! 그 대망의 마지막 활동은 바로 개.인. 분석 프로젝트입니다. 두 달 넘게 팀원들과 회의하며 팀 프로젝트를 꾸준히 진행해오다가 갑자기 혼자 모든 일을 진행하려니 꽤나 막막했습니다🥺 마지막 개인 분석만큼은 평소 관심분야의 데이터로 다양한 접근을 해보고 싶은 제 욕심이 컸기 때문인가봐요 허허 주제를 이것저것 선정하면서 쉬운 길로 가려는 제 자신과 타협하지 않으려 애썼답니다 ^^ ​ 아직까지 패드에 적응 못 한 내 글씨체 .. 자유주제인 만큼 떠오르는 아이디어를 틈틈히 적어주었어..

약 5주간 달려왔던 브라이틱스 팀 프로젝트 지난 주 모델링과 평가까지 무사히 프로젝트를 마칠 수 있었는데요, 하지만 서포터즈로서 미션은 아직 끝나지 않았다는 점 ! 프로젝트 결과보고서 / 실습 튜토리얼 영상 준비과정 / 썸네일 까지 모두 소개드리겠습니다. 프로젝트 결과 보고 먼저 지난 주 까지 마무리되었던 저희 프로젝트를 결과보고서로 정리해봤어요. 01. 데이터 소개 02. EDA 및 전처리 03. 모델링 04. 평가 및 결과 해석 순서로 4주간 회의했던 내용을 차곡차곡 담아보았답니다 EDA부터 결과 해석까지 정리된 보고서를 모두 보여드릴 순 없지만, 상세 내용이 궁금하시다면 제 블로그 + 저희 팀원들의 블로그를 방문하시면 자세한 이야기를 들을 수 있을 겁니다 :) https://blog.naver.co..

이번 차시는 바로 데이터분석, 머신러닝의 꽃이죠 ! 바로 분석모델을 선택해서, 다양한 모델링을 진행해보는 시간​입니다. 저희가 목표로 하는 '예측하기'는 바로 회귀모델을 사용하는데요, Brightics 에는 과연 어떤 분석방법들로 구현 가능할 지 같이 공부해보아요 ! ​ 이번 모델링 작업도 마찬가지로 조원들과 분석기법을 나누어 회의를 토해 결과를 공유해보기로 했어요 최고의 조원들과 완성한 캐글데이터 분석, 과연 얼만큼 잘 예측해냈을지 잘 따라와주세요 ◠‿◠ ​ 작업 확인하기 본격적인 모델링에 들어가기 앞서, 이제껏 완성된 전 작업들을 간단히 확인해주어요 ! 결측치들을 꼼꼼히 제거해주고 이상치들도 없애주었어요. 그리고 범주형 변수들도 연속형으로 인코딩해주었답니다. ..

​ 이번에는 팀원들과 각자 feature를 맡아서 eda를 해오기로 했습니다. 저희가 선택한 캐글의 Housing data가 80개가 넘는 변수로 이루어지다보니 모든 변수들에 대한 eda를 혼자서 진행하기엔 무리가 있는 것 같더라구요 이럴 때 필요한 게 바로 팀워크 !! 팀원들과 함께 해서 더 쉽고 빠르게 진행할 수 있었어요 ​ 1. EDA : 시각화 + 이상치 확인 먼저 eda를 하기 위해 팀원들과 각자 15개의 칼럼을 맡아 Brightics를 이용한 시각화를 정리해보았습니다. 저 같은 경우에는 변수들의 분포를 먼저 확인한 다음에 -> 수치형인 경우엔 너무 치우쳐져있진 않은지, 범주형은 unique와 frequency 차원에서 메리트가 있는 친구인지 확인 ->..

이젠 팀 프로젝트 두 번째 시간, 전처리 편입니다 ! ​ 팀원들과 각자 변수들을 꼼꼼히 살펴본 후 회의를 거쳐 전처리 방법을 하나로 통일시키는 방식으로 진행하였어요 ​ 0. 데이터 설명 + 불러오기 먼저, 사용할 데이터는 kaggle의 competition 대회 데이터 중 House Price 데이터에요 ! ​ 2021.08.03 - [삼성 Brightics] - [Brightics | 실습] 브라이틱스로 kaggle(캐글) 참여하기 (1) 기획 편 [Brightics | 실습] 브라이틱스로 kaggle(캐글) 참여하기 (1) 기획 편 브라이틱스와 함께 [Brightics | BASIC] , [Brightics | 실습] 을 중심으로 함께 공부해온지 벌써 8주, 2달이 흘렀는데요 각종 예제와 실습으로 실..

브라이틱스와 함께 [Brightics | BASIC] , [Brightics | 실습] 을 중심으로 함께 공부해온지 벌써 8주, 2달이 흘렀는데요 각종 예제와 실습으로 실력을 조금 쌓았으니, 데이터 분석에 관심이 있는 사람이라면 한 번씩은 도전해봤을 법한 Kaggle데이터도 도전해봅시다. ​ kaggle (캐글) 소개 여기서 잠깐, 캐글에 대해 간단히 알려드릴게요 . Kaggle 은 데이터 분석 경진 대회를 주최하는 플랫폼입니다.📊📈 개인 및 단체에서 해결하고 싶은 과제와 데이터를 등록하면, 캐글에 가입한 우리들이 모델을 개발하고 결과를 등록하는거죠. ​ 메뉴란에는 competition (현재 진행 중인 대회 소개) / dataset (개인,기업이 제공하는 다양한 데이터 저장소) / code (각자 사용..

약 3주동안 진행되었던 브라이틱스 홍보 UCC 영상 제작 프로젝트 ! 팀원들과 직접 기획부터 촬영 그리고 금손 서연피디님의 편집까지 저희가 하나부터 열까지 영상 제작에 많은 힘을 들였는데요 ​ 드디어 제작한 홍보 영상이 YOUTUBE에 업로드되었어요 지금 바로 시청해보실까요 ? https://www.youtube.com/watch?v=HIWsljz597A 조원들과 언제 업로드되지 ~ 하며 업로드되기만을 기다렸는데 드디어 오늘 !! 이렇게 올라오게 되었네요. 정말 열심히 준비했으니 다들 한 번 씩 봐주시고 좋아요 / 댓글 부탁드립니다 ! ​ ​ 그리고 홍보영상 외에도 브라이틱스 채널에 유익한 영상들이 많으니 많은 이용 부탁드려요 ㅎㅎ https://www.youtube.com/channel/UCglq4GN..

안녕하세요 ~! 7월 중순이 다가고 있는 지금, 다들 알찬 방학 보내고 계신가요 ? 방학 때만 되면 스멀스멀 올라오는 그 놈 .. 바로 '자격증' 고민인데요 ! ㅋㅋㅋㅋㅋㅋ ​ 아무리 데이터 분석은 실무다 ! 경험이다 ! 라고 해도 . 나를 증명할 수 있는 객관적인 증서가 있으면 든든하잖아요~ 자격증이 점점 모든 지원자들의 공통문항이 되어가고 있어 슬프기도 하지만 ㅠㅠ 자격증이야 말로 이 분야에 내가 얼마나 관심을 갖고 준비해왔는지 ! 를 알릴 수 있는 좋은 친구라고 생각해요. ​ 그런 의미에서 오늘 소개해드릴 데이터 분석 자격증은 바로 ProDS 자격증입니다. 데이터 분석 자격증으로 adsp, adp, sqld, 빅데이터분석기사 등 여러가지 들어보셨을 텐데요, 아래 사항들을 꼼꼼히 읽어보고 ProDS에..