Pengantar Data Mining Dengan Weka (2)

Halo semuanya!. Kita akan menggunakan Experimenter secara ekstensif dalam kursus ini. Dalam pelajaran ini, kita akan belajar bagaimana menggunakan Experimenter untuk membandingkan pengklasifikasi.

Pertanyaan Kita adalah: Apakah J48 lebih baik daripada ZeroR atau OneR untuk kumpulan nomor Iris?. Tentu saja kita bisa menggunakan Explorer. Kamu telah mempelajari cara menggunakan Penjelajah, jadi saya tidak akan mengulanginya di sini. Kita dapat membuka kumpulan angka, menggunakan tiga skema pembelajaran ini, dan mendapatkan hasilnya.

Dapat dilihat bahwa J48 memiliki tingkat akurasi validasi silang 96%, lebih baik dari OneR dan ZeroR. OneR lebih baik dari ZeroR. Pertanyaannya adalah: Bagaimana kredibilitas hasil perbandingan tersebut? Jika kita memilih benih acak yang berbeda. Hasilnya akan berbeda. Eksperimen dapat membandingkan kumpulan angka dan. Algoritma klasifikasi. Buka Eksperimen. Buka set nomor Iris dan bandingkan ketiganya. Algoritma klasifikasi. Ini adalah Experimenter. Buat percobaan baru. Buka kumpulan nomor,. Pilih tiga algoritma klasifikasi. Omong-omong, kita bisa mengatur ulang algoritme.

Pilih satu, atas; pilih yang lain, bawah; Saya dapat mengatur ulang algoritme. Klik Jalankan untuk menjalankan. Kemudian buka panel Analisis dan klik Eksperimen, yang sangat penting. Kemudian klik Lakukan tes. Mari kembali ke slide. Ini yang baru saja kita lakukan. Di panel Analisis, klik tombol fungsi ini untuk mendapatkan sesuatu seperti ini. Hasil ini. Sekarang, kita dapat melihat tiga algoritma klasifikasi untuk kumpulan angka Iris. Data. Berdasarkan data, kita dapat melihat bahwa algoritma OneR dan ZeroR tidak sebagus J48. TKamu bintang (*) berarti ZeroR secara signifikan lebih rendah daripada J48. Tidak ada t Kamu bintang di samping algoritma OneR, yang berarti Kita tidak 95% yakin secara statistik. Buktikan bahwa OneR lebih rendah dari J48. Dengan kata lain, Kita 95% yakin bahwa J48 lebih baik dari ZeroR,.

Dan ini bukan kebetulan. J48 mungkin lebih baik dari OneR, tapi mungkin karena kita tidak bisa. 95% dari mereka menyimpulkan bahwa ada perbedaan yang signifikan secara statistik antara kedua algoritma tersebut. Sekarang, saya ingin mengimpor lebih banyak data. Lakukan sekarang. Jalankan kembali pengujian. Butuh lebih banyak waktu. Kemudian Kita menganalisis hasilnya. Slide menunjukkan hasil operasi. Kamu dapat melihat bahwa Kita 95% yakin dengan J48 untuk tiga set angka. Lebih baik dari OneR dan ZeroR. Mari kita lihat tKamu bintang, yang menunjukkan bahwa kedua algoritme ini jauh lebih rendah daripada J48. Dengan kata lain, J48 secara signifikan lebih baik daripada kedua algoritma ini.

Dalam dataset kanker payudara dan german_credit, J48 lebih baik daripada OneR. Pada iris dan pima_diabetes, J48 lebih baik dari ZeroR. Seperti yang Kamu lihat dari tabel, tKamu asterisk. Perbedaan yang signifikan. Bagaimana kita tahu jika OneR lebih baik dari ZeroR?. Itu tidak ditampilkan di slide, karena di sini kita membandingkan J48 dengan. Algoritme lainnya. Saya ingin kembali ke Experimenter dan memilih skema benchmark yang berbeda. Saya ingin memilih OneR sebagai solusi benchmark dan menjalankan pengujian. Sekarang OneR ada di kolom pertama, bandingkan dengan algoritma lain. Kembali ke slide, setelah mengubah skema benchmark, kita bisa melihat OneR. Ini lebih rendah dari ZeroR pada kumpulan nomor german_credit, dan sama dengan ZeroR pada kumpulan nomor kanker payudara,. Ini lebih baik daripada ZeroR di set lainnya. Kita juga bisa mengubah urutan bilangan matriks.

Kembali ke Pusat Eksperimen, pilih atribut baris, pengaturan saat ini adalah kumpulan angka. Kita memilih skema sebagai atribut baris. Kemudian pilih atribut kolom, pengaturan saat ini adalah skema, kita pilih jumlah yang ditetapkan sebagai atribut kolom. Jalankan tes lagi. Sekarang kita melihat kumpulan angka diatur secara horizontal. Ini adalah kumpulan angka. Algoritma disusun secara vertikal. Bisa dilihat apakah J48 lebih baik dari pada set nomor iris. Performa di set kanker payudara. Kita belajar bagaimana membandingkan pengklasifikasi. Dari sudut pKamung statistik, itu adalah hipotesis nol,. Artinya, akurasi pengklasifikasi tertentu sama dengan keakuratan pengklasifikasi lain. Hasilnya menunjukkan bahwa hipotesis nol hampir tidak valid.

Dengan kata lain, Kita membalikkan hipotesis nol. Kita 95% yakin untuk membalikkan hipotesis nol dalam arti statistik. Eksperimen dapat memberi tahu kita saat hipotesis nol dibalik. Demikian pula, ada 95% kepastian bahwa A secara signifikan lebih baik daripada B. Di Experimenter, kita dapat mengubah stKamur signifikansi. Biasa digunakan 5%, 1% digunakan untuk aplikasi penting, seperti obat-obatan,. 10% dapat digunakan untuk aplikasi umum. Kita dapat mengubah konten perbandingan. Kita membandingkan persentase akurasi, Kita dapat mengubahnya di Explorer,. Membandingkan sekumpulan data juga sangat umum. Kita dapat membandingkan berapa kali rencana A lebih baik dan lebih buruk daripada rencana B pada kumpulan angka ini,.

Artinya, A secara signifikan lebih baik dari B atau B secara signifikan lebih baik daripada A. Berapa kali. Kamu perlu memperhatikan satu masalah – masalah banyak perbandingan. Jika Kamu melakukan banyak pengujian, mungkin ada beberapa perbedaan yang signifikan. Itu tidak disengaja. Secara umum, ini bukan ilmu pasti. Berhati-hatilah saat menganalisis hasil. Nah, latihan dalam pelajaran ini mengharuskan Kamu menggunakan Experimenter. Bandingkan kumpulan angka dan algoritme klasifikasi.

Perwira Abrianto – 2017