목록Data Analysis & ML (6)
습관처럼
Machine Learning - 언더 샘플링과 오버 샘플링
지도학습에서 극도로 불균형한 레이블 값 분포로 인한 문제점을 해결하기 위해선 적절한 학습 데이터를 확보하는 방안이 필요하다. 대표적으로 오버 샘플링과 언더 샘플링 방법이 있다. 오버 샘플링 방식이 예측 방식이 예측 성능상 더 유리한 경우가 많아 주로 사용된다. 다음은 샘플링 방법을 설명한다. 언더 샘플링은 많은 데이터 셋을 적은 데이터 셋 수준으로 감소시키는 방식이다. 가령 정상 레이블을 가진 데이터가 10,000건, 비정상 레이블을 가진 데이터가 100건이 있을 경우 정상 레이블 데이터를 100건으로 줄이는 방식이다. 오버 샘플링은 비정상 데이터와 같이 적은 데이터 셋을 증식하여 학습을 위한 충분한 데이터를 확보하는 방법이다. 동일한 데이터를 단순히 증식하는 방법은 과적합이 되기 때문에 의미가 없으므로..
데이터 분석의 유형 6가지
데이터 분석의 첫 단계는 “문제 정의”이다. 데이터 분석을 시작하기 전 단계에서 분석을 통해 알고 싶은 것이 “무엇”인지를 구체적으로 명확히 정의하지 않으면 “어떻게” 분석해야 할 지도 알기 어렵다. 문제 정의 단계에서 목표를 구체적으로 설정하는 것의 중요성은 많은 데이터 분석가들이 주지하고 있지만, 또 하나 이 단계에서 중요하게 생각해야 할 Task가 있다. 바로 “문제 유형 알기”가 그것이다. 내가 해결하고자 하는 문제가 어떤 유형의 문제인지를 알고 있어야 어떤 분석 방법을 사용할 것인지, 어떤 방법은 적당하지 않은지를 알 수 있게 된다. 이 글에서는 데이터 분석 유형에 대해 정리하고, 해결해야 할 유형을 오해하고 있을 때 발생하는 문제를 알아보고자 한다. 1. Descriptive analysis ..
pandas.DataFrame(1)
pandas.DataFrame.dtypes Return.: the dtypes in the DataFrame. This returns a Series with the data type of each column. The result’s index is the original DataFrame’s columns. Columns with mixed types are stored with the object dtype. See the User Guide for more. pandas.DataFrame.astype Cast a pandas object to a specified dtype dtype. pandas.DataFrame.isna Detect missing values. Return: a boolean..
python을 활용한 EDA(탐색적 자료 분석, Exploratory Data Analysis)
Exploratory Data Analysis Python을 통해 탐색적 자료분석을 할 때, 무엇을 해야하고, 순서는 어떻게 해야하는지 막막한 경우가 많은데요. 탐색적 자료분석의 기본은 바로 변수 별로 분포를 그려보는 것이겠죠. 수치형 데이터의 경우는 히스토그램을, 명목형 데이터의 경우는 빈도표를 통해 데이터의 분포를 살펴보게 됩니다. 본 포스팅에서는 파이썬을 통해 탐색적 자료 분석을 하는 방법을 유명한 데이터셋인 타이타닉 데이터를 통하여 차근차근 알아보겠습니다. 기본적인 탐색적 자료 분석의 순서는 아래와 같이 정리해보았습니다. 1. 데이터를 임포트하여 메모리에 올린다. 2. 데이터의 모양을 확인 한다. 3. 데이터의 타입을 확인한다. 4. 데이터의 Null 값을 체크한다. 5. 종속변수의 분포를 살펴본..
Jupyter notebook - %matplotlib inline
'%matplotlib inline'이라는 commend는 jupyter notebook에서 matplotlib을 시각화한 결과를 바로 볼 수 있도록 하는 것이다. 다른 함수도 lnline을 활용하면 바로 결과를 볼 수 있을 것이다. 결론 %matplotlib inline 의 역할은 notebook을 실행한 브라우저에서 바로 그림을 볼 수 있게 해주는 것 입니다. 출처: https://korbillgates.tistory.com/85
출처 : ttps://zzsza.github.io/development/2018/08/24/data-visualization-in-python/ Python에서 데이터 시각화하는 다양한 방법 Python에서 데이터 시각화할 때 사용하는 다양한 라이브러리를 정리한 글입니다 데이터 분석가들은 주로 Python(또는 R, SQL)을 가지고 데이터 분석을 합니다 R에는 ggplot이란 시각화에 좋은 라이브러리가 있는 반면 Python에는 어느 춘추전국시대처럼 다양한 라이브러리들이 있습니다 각 라이브러리들마다 특징이 있기 때문에, 자유롭게 사용하면 좋을 것 같습니다 Zeppelin도 시각화할 때 사용할 수 있지만, 라이브러리는 아니기... zzsza.github.io