INSPECTING
DATASET in Jupyter Notebook
Setelah kemarin kita sudah belajar PANDAS dan
gimana cara Load Dataset (Baca disini ges), Sekarang kita bakal INSPECTING
DATASET yang udah kita proses, buar mastiin kalo kualitas data
kita sesuai nih sama standar yang kita mau. Ada beberapa cara yang cukup
penting buat meng-observasi dan ngukur kualitas data yang kita punya, contohnya
df.head() dan df.info.
NAH, APA AJA YANG BAKAL KITA BAHAS?
- Describe
- Info
- Missing Value
- Render Histogram for Frequency
- Render Scatter for Relationship (tenang ini bukan scatter nya
judol)
- Render Pie for Distribution
Oke, sekarang kita masuk ke DESCRIBE
Apa itu describe? Kalo kodenya, sesimpel df.describe(). Nah,
df.describe ini buat apa? df.describe() itu kayak quick
review atau tes kesehatan buat data numerik lupada.
Dengan command ini, lupada bisa dapetin statistik deskriptif penting,
kayak:
- Count: Jumlah nilai non-null di kolom
- Mean: Rata-rata
- Std: Standar deviasi (sebarnya,
variabilitas data)
- Min: Nilai terendah
- 25%: Kuartil pertama (persentil ke-25)
- 50%: Median (persentil ke-50)
- 75%: Kuartil ketiga (persentil ke-75)
- Max: Nilai tertinggi
Nah, dari statistik-statistik itu, kita juga bisa ngecek apakah datanya sehat atau enggak.
Misalnya nih, kalau ada angka yang gak masuk akal, atau error — bakal langsung ketauan!
Kita masuk ke yang ke-dua, INFO (df.info) !
Info tuh apa sih? Oke, df.info() itu
semacam summary atau CV dari dataset lo. Jadi lo bisa tau struktur
data lo secara cepat, kayak siapa- eh maksudnya apa aja yang ada di dalam
dataset. Hasil dari df.info() biasanya ngasih tau:
- Jumlah baris dan kolom (shape)
- Nama kolom
- Tipe data masing-masing kolom (numerik,
string, dll)
- Jumlah data non-null di tiap kolom (jadi
bisa tau ada yang missing atau nggak)
Biasanya, outputnya kayak gini:
Dengan df.info(), lo bisa langsung ngecek kualitas
data dan tau bagian mana yang perlu dibenerin, misalnya kolom yang banyak
missing atau tipe data yang salah.
Oke, selanjutnya, Handling Missing Value,
kita pake cara yang paling gampang,
yaitu menggunakan Mean (Rata-Rata)
Handling missing value tuh buat apa sih? Jadi,
handling missing value itu buat ngerapihin data2 yang hilang atau NaN supaya ga
ganggu analisis lupada. Nah cara paling gampang itu pake Mean atau Rata2.
Caranya gimana?
Nih, langsung aja gw kasih kodenya daripada lu
mabok. APA MANTRANYA?
JEDER MODYAR
KOWE OAWKAOAOKAWK
Kenapa
kita pake mean?
Soalnya mean itu bakal ngasih angka yang ga
jauh dari nilai lain, jadi datanya stabil, statistiknya jadi ga dangdut.
Lanjut, RENDER HISTOGRAM!
Render Histogram
itu intinya lo lagi bikin visualisasi distribusi data numerik dalam
bentuk grafik batang (bar chart) yang nunjukkin frekuensi atau seberapa
banyak nilai dalam rentang tertentu.
Contohnya gimana banh 👆🏻🤓
Nih gw kasih contohnya JEDER
MODYAR MANING KOWE AOWKAOKOAWWOKA
Sekarang, SCATTER!
Scatter tuh apa? Tenang ini bukan scatter yang di Judol. Scatter itu lupada
ngebuat scatter plot (Plot Titik2) buat liat hubungan antar variabel numerik.
Contohnya gimana banh 👆🏻🤓
Nih gw kasih contohnya JEDER
DUARRRRRRRRRRRR
Kok keliatannya simpel banh? Kayanya gua pernah liat yang ribet, ada ga? ADA DONG! Nih, mumet mumet dah awoakowka:
(Ini ga di share ya wkwkwkwk)
Nah, udah kan? Terakhir,
sekarang kita bakal bahas RENDER PIE!
Apa itu render pie?
Ngga ini bukan kue beneran, tapi kayak diagram yang bentuknya kayak kue pie-
lebih kayak pizza sih tapi oke lah- Balik lagi, Render pie itu artinya
lo bikin diagram lingkaran (a.k.a. pie chart) buat nunjukin distribusi
proporsi kategori dalam satu kolom. Bentuknya gimana sih? NIH GW KASIH
JEDER DUARRRRRR AWOAOKOAWK
Nahh, jadi gitu cuy
cara inspecting dataset. Kode2nya gimana banh? Nih gua kasih satu2. Tiap Code Bar dipisahin pake tulisan #Tulisan warna biru. Ikutin aja urutannya kayak dibawah. KODE DIBAWAH SUDAH DISINKRONKAN, TIDAK SAMA PERSIS DENGAN CONTOH DIATAS.
# IMPORT DATASET
import pandas as pd
# Mount GDrive
from google.colab import drive
drive.mount('/content/drive')
#Get Dataset
df = pd.read_csv('/content/drive/MyDrive/FUNCODING/Rainfall_India.csv',delimiter=",", header=0)
#Tampilkan Dataset
#print(df)
df.head(100)
#df.head(1)
#Fix the column title
new_column_names = ['STATE_UT_NAME', 'DISTRICT'] + list(df.columns[2:])
df.columns = new_column_names
print(df)
#Describe
df.describe()
#Info
df.info()
#Handling Missing Value Using Mean
fill_by_mean = df['FEB'].fillna(df['FEB'].mean())
print (fill_by_mean)
#Render Histogram
#Histogram
import matplotlib.pyplot as plt
plt.hist(df['MAY'], bins=10, edgecolor='black')
plt.title('Distribusi Skor Klub')
plt.xlabel('May')
plt.ylabel('Frekuensi')
plt.show()
# Render Scatter
#Scatter
x1 = df['JAN']
y1 = df['FEB']
plt.scatter(x1, y1, label="JAN vs FEB")
plt.xlabel('JAN')
plt.ylabel('FEB')
plt.title('Scatter Plot of JAN vs. FEB')
plt.show()
# RENDER PIE
import matplotlib.pyplot as plt
display(df.JAN.value_counts().to_frame())
ax = df.JAN.value_counts().plot(kind='pie', figsize=(8, 8), autopct='%1.1f%%', startangle=90, shadow=True, fontsize=16)
ax.set_ylabel('')
ax.set_title('JAN Distribution')
plt.show()
Nahh jadi itu dia cuy gimana cara inspect dataset di Jupyter Notebook, gimana liat data yang udah dicek kualitasnya, dll.
