WEB SCRAPPING IN PYTHON

WEB SCRAPPING

Pada blog sebelumnya, kita sudah mempelajari tentang WordCloud yang bisa digunakan untuk voting, highlight keyword, atau bahkan cuma seru2an aja, dan blog nya bisa dibaca disini. Nahhh pada word cloud sebelumnya kita mengganggunakan data text statis yang didapat pada sebuah variable. Sedangkan sekarang kita akan menggunakan data dynamic dihasilkan dari WEB SCRAPPING. Webscrapping itu apa sih? Bukan, ini bukan mesin sekrap atau mesin pemahat kayu yg biasa dipakai di pabrik2. WebScrapping itu kayak kita ngambil data2 harga jualan, nah website itu lapak2 nya. Disini kita akan scrapping google play store buat liat rating orang2, dan disini aku pakai Game HONKAI STAR RAIL. Apa itu honkai star rail? Sayang sekali gaada endorsement jadi aku gaakan bahas YAHAHHA.

Apa itu webscrapping?

Nahh, jadi gini le. Webscrapping ituu kayak yang tadi udah gw bilang, kita ngambil data2 dari website buat kita pake, dan disini yg gw scrapping adalah data rating di google play store. Nahh, daripada kita harus copas satu2, kita pake python buat scrapping biar cepet, langsung semua data rating kita dapetin.

Tujuan Webscrapping apa bang?

Tujuan dan fungsi webscrapping itu ada banyak. Buat ngumpulin data yang bisa dipake buat analisis, riset akademis / penelitian, monitoring harga prodak (buat bisnis yg lg mantau harga kompetitor), data buat machine learning / AI, dan automisasi kerjaan2 yg copas2 ribuan data, daripada capek copas mending pake webscrapping ajaa.

Contoh Webscrapping gimana bang?

Nahh, contoh webscrapping itu gini, aku lgsg kasih codenya aja lah ya, disini aku scrapping rating google play store buat game masterpiece satu ini, HONKAI: STAR RAIL.

Nih gw kasi codenya aja MAKDUARRRR

# STEP 1

# WebScrapping

!pip install google-play-scraper

from google_play_scraper import app, reviews, Sort, reviews_all

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

from wordcloud import WordCloud

scrapreview = reviews_all(

    'com.HoYoverse.hkrpgoversea',

    sleep_milliseconds=0, # defaults to 0

    lang='id', # defaults to 'en'

    country='id', # defaults to 'us'

    sort=Sort.NEWEST, # defaults to Sort.MOST_RELEVANT

    count=10

)

print("SCRAPPING DONE!")

print("SCRAPPING DONE!")

print("SCRAPPING DONE!")

# STEP 2

#Pisahkan ini dalam satu sel sendirian

scrapreview

# Save to CSV

import csv

with open ('customer_review.csv', mode = 'w', encoding = 'utf-8') as file:

    writer = csv.writer(file)

    writer.writerow(['review'])

    for review in scrapreview:

        writer.writerow([review['content']])

# Load CSV

app_reviews_df = pd.DataFrame(scrapreview)

app_reviews_df.shape

app_reviews_df.head()

app_reviews_df.to_csv('customer_review.csv', index=False)

# Membuat DataFrame dari hasil scrapreview

app_reviews_df = pd.DataFrame(scrapreview)

# Menghitung jumlah baris dan kolom dalam DataFrame

jumlah_ulasan, jumlah_kolom = app_reviews_df.shape

print (jumlah_ulasan, jumlah_kolom)

# STEP 3

#Pisahkan ini dalam satu sel sendirian

app_reviews_df

# Tampilkan dalam bentuk wordcloud

text1 = app_reviews_df['content']

# Creating word_cloud with text as argument in .generate() method

word_cloud1 = WordCloud(collocations = False, background_color = 'white',

                        width = 2048, height = 1080).generate(" ".join(text1.dropna()))

# saving the image

word_cloud1.to_file('got.png')

# Display the generated Word Cloud

plt.imshow(word_cloud1, interpolation='bilinear')

plt.axis("off")

plt.show()

Hasilnya gimana bang?

Nahh, ini dia hasilnya, check it out broh

Aneh? Iya gatau kenapa dah itu yg typo dari BAGUS jadi BAGU banyak bet lagi cok- Forget it- Nahh jadii itu dia contoh WEB SCRAPPING IN PYTHON. 

Nah jadi gitu. Udah kan? Boleh lah Subreknya wak😋

Ciao~ @GTx

WordCloud in PYTHON

WordCloud

Pada blog sebelumnya, kita sudah mempelajari tentang RandomForest yaitu untuk melakukan klasifikasi dan regresi secara akurat dengan menggabungkan banyak pohon keputusan, dan blog itu bisa dibaca disini. Nahhh buat kalian ni yg sering "menyelam" di internet, kalian mungkin ga asing sama WORDCLOUD. Keliatan keren kan? Daripada klean cuma nikmatin kerjaan orang, mending kita bikin sendiri wordcloud pake PYTHON, nahh gimana buatnya? Wed wed pelan2, kita bahas dulu GIMANA SYSTEM WORDCLOUD? Yuk langsung aja kita bahas.

Apa itu Wordcloud?

Nahhh jadi gini le. Wordcloud itu kayak- yaaa wordcloud, kalian bisa cari di google atau kalau kalian MALAS nih ku kasi foto contoh wordcloud.

Nahhhh tu diatas tu, itulah wordcloud. Jadi wordcloud itu kayak kalian ngumpulin voting banyak orang masukin kata2, dan kata2 yg paling sering muncul akan muncul paling gede.

Wordcloud tu buat apa bang?

Tujuannya wordcloud itu sebenernya ya buat nunjukin kata-kata yang paling sering muncul di suatu teks secara visual, biasanya kata yang sering muncul ditulis lebih gede. Buat highlight keyword penting bisa, buat voting bisa, buat seru2an aja juga bisa. Intinya word cloud itu kaya snack, bukan makan utama — dia bukan analisis mendalam, tapi enak buat gambaran awal.

Kodenya gimana tu bang?

Nahhhhhh, niii gw kasi codenya MELEDAG BEGDAGGGGGG DUARRRR

# WordCloud

import numpy as np

import matplotlib.pyplot as plt

%matplotlib inline

from PIL import Image

from wordcloud import WordCloud, ImageColorGenerator

# creating the text variable

text1 = "My bloodshot, crusted eyes flickered open and I slowly became accustomed to the gloom. I slept, if you can call it sleep, standing in the corner of a classroom in a derelict school next to upturned desks and blood-spattered white-boards. I watched as others, standing next to me, some close, others a little away, made rasping sounds as they breathed, staring into nothing. We stood, not as one, not supporting or knowing each other but simply en-mass, waiting for something, something to happen, something to direct us. A sound, perhaps. A light. I don’t really know. It’s just a feeling.As the daylight outside faded to black, I wanted to escape from this dead building. I pushed past someone and he growled but then returned to his stupor, staring, panting. I shuffled outside and I smelled the air. Nothing but ash and dirt, rotting corpses and dried blood. There was nothing I wanted here. Nothing I needed. I moved further into the vast black night. There were no street lights anymore. Just darkness. Nothing moved. The streets were empty, devoid of anything of value. Just some burnt out cars and abandoned lorries. A school bus lay on its side; half burned with a charred body in the driver’s seat. A long-dead husk of its former glory. My walking was impaired. I shuffled, jerking from one foot to the other. A dance of death, you could say. I smiled at my little joke. It won’t be a pretty smile as I’ve lost some teeth. I cannot recall how I lost them. I just did. It may have something to do with the hole at the back of my head. But I can’t be sure. What was that? A sound. A voice? I tried to listen and locate the direction. There! There it is again. I smelled the air and, sure enough, I smelled meat. Fresh meat, at last. I started to shamble and shuffle in the direction I think the meat is located. But I am not alone. I heard the snarls and howls of my room-mates behind me. They have also heard the sounds and are coming towards me from different directions as rivers flow to the sea. All are moving now, jerking, lunging, growling, starving. All wanting the source of the sound so they can bite, tear, hack, kill. Eat. I will get something, of that, I am sure. At least, I won’t die of starvation. It’s much too late for that."

text1

# Creating word_cloud with text as argument in .generate() method

word_cloud1 = WordCloud(collocations = False, background_color = 'white',

                        width = 2048, height = 1080).generate(text1)

# saving the image

word_cloud1.to_file('got.png')

# Display the generated Word Cloud

plt.imshow(word_cloud1, interpolation='bilinear')

plt.axis("off")

plt.show()

Hasilnya gimana tu banh?

Nihhhh gwe kasi hasilnya JEDUARRRRRR

Nah jadi gitu. Udah kan? Boleh lah Subreknya wak😋

Ciao~ @GTx

TUTORIAL INSTALL ULANG WINDOWS

 STEP BY STEP INUL WINDOWS (Install Ulang)

1. Buka 1 Device Lain

2. Siapkan USB MINIMAL 8GB (Disarankan 16GB)

3. Buka google, lalu akses WEB MICROSOFT untuk download Windows 11 ISO

4. Sembari menunggu mendownload ISO Win 11, akses VENTOY untuk membuat USB anda menjadi bootable device, lalu pilih directory ke USB anda, dan lanjutkan ikuti arahan dari aplikasi ventoy.

5. Setelah proses ventoy selesai, copy ISO WINDOWS 11 ke USB yang sudah dibuat menjadi bootable device.

6. Pastikan semua akses internet dimatikan (seperti USB Wifi, LAN, dsb) Lalu matikan fitur WIFI di PC anda (Jika PC masih bisa booting).

7. Saat booting, segera tekan Del/F10/F2 (Tergantung Motherboard) Untuk mengakses bios.

8. Cari tombol "Secure Boot" Lalu nonaktifkan (disabled), jika tidak ada biarkan saja.

9. Cari Boot Override, lalu masuk ke "UEFI: USB, Partition X"

10. Lanjutkan untuk boot, lalu next2 saja sampai ke bagian drive.

11. Di bagian drive, pilih windows 11 Pro, lalu next2 saja sampai bagian partisi

12. HATI-HATI PADA STEP INI. Di partisi, hapus drive2 dengan ukuran2 kecil (Biasanya drive 1-4), sisakan partisi yang ada data saja. HATI-HATI PADA STEP INI KARENA JIKA MELAKUKAN KESALAHAN MAKA DATA ANDA AKAN HILANG DALAM SEKEJAP.

13. Setelah itu, tekan drive paling atas (Drive OS) Lalu tekan NEXT. HATI-HATI PADA STEP INI.

14. Biarkan sampai PC Restart, lalu biarkan sampai muncul settings awal boot.

15. Pilih country Indonesia, pilih bahasa United States

16. Saat diminta connect ke internet, pilih "I don't have internet", lalu saat permintaan internet ke dua pilih "Continue with limited setup."

17. Tulis nama yang diinginkan pada tab "Enter Your Name", lalu tekan NEXT

18. Saat di tab Password, kosongkan saja dan langsung tekan NEXT.

19. Di privation settings, matikan semua lalu biarkan sampai pc Restart.

20. Sambungkan ke internet, lalu cek update windows, lalu update terus sampai ke versi terbaru (Jika ada)

SELAMAT, PC Anda sudah berhasil di Install Ulang. Jika Windows meminta product key, anda bisa mencari di internet cara untuk aktivasi windows.

~GTx SUBREK

RandomForest in Python

 RANDOM FOREST

Pada blog sebelumnya, kita sudah mempelajari tentang REGRESSION yang bisa dibaca disini. Saat kita memproses dataset, ada satu metode yang sering dipake yaitu RANDOM FOREST. Apa itu random forest? Daripada otak klean ngeleg, mending gua jelasin pake hal yang simpel dah.

RANDOM FOREST TU APA BANG?

Kalian kira ini pohon yang ditanem random gitu? Yak SALAH- Eh oke, jadi Random Forest itu metode machine learning yang isinya kumpulan decision tree. Jadi banyak "pohon" bikin prediksi, terus hasilnya di-voting buat ambil keputusan paling akurat.

GUNANYA APA BANG?

Gunanya itu buat kita pake untuk prediksi kategori (klasifikasi) dan prediksi angka (regression) dengan hasil yang cukup akurat.

CONTOH CODE NYA GMN TU BANG?

Nahh, ni gw kasi kodenya ni MAKDUARRRRR

#Klasifikasi kelayakan konsumsi untuk air.

from sklearn.model_selection import train_test_split as tts

from sklearn.linear_model import LogisticRegression

from sklearn.tree import DecisionTreeRegressor

from sklearn.ensemble import RandomForestClassifier

from sklearn.neighbors import KNeighborsClassifier

from sklearn.svm import SVC

x = df.drop(['Potability'],axis=True)

y = df['Potability']

x_train,x_test,y_train,y_test = tts(x,y,test_size=0.32, random_state = 50)

print(x.describe(),"\n","\n", y.describe())

RFC = RandomForestClassifier()

RFC.fit(x_train,y_train)

y_RFC = RFC.predict(x_test)

Acc_rfc= accuracy_score(y_RFC,y_test)

print( Acc_rfc)

print(classification_report(y_RFC,y_test))

cmr= confusion_matrix(y_test,y_RFC)

sns.heatmap(cmr/np.sum(cmr), annot= True, fmt= '0.2%', cmap= 'coolwarm')

#Prediksi apakah air layak minum dari beberapa parameter.

new_data = pd.DataFrame([{

    'ph': 9.445130,

    'Hardness': 145.805402,

    'Solids': 13168.529156,

    'Chloramines': 9.444471,

    'Sulfate': 310.583374,

    'Conductivity': 592.659021,

    'Organic_carbon': 8.606397,

    'Trihalomethanes': 77.577460,

    'Turbidity': 3.875165

}])

predicted = RFC.predict(new_data)

print("Potability:", predicted[0])  # 0 = tidak layak, 1 = layak

Nah jadi gitu. Udah kan? Boleh lah Subreknya wak😋

Ciao~ @GTx