Linear Discriminant Analysis (LDA) pada Algoritma K-Nearest Neighbour (KNN) untuk Reduksi Atribut

Abstract

Classification algorithms mostly become problematic in data with high dimensions, in the form of a decrease in classification accuracy. One method that allows classification algorithms to work faster and effectively and improve the accuracy and performance of a classification algorithm is by dimensional reduction. In the process of classifying data with the K-Nearest Neighbor algorithm, it is possible to have features that do not have a match value in the classification, so there is a need for dimension reduction. In this study the dimension reduction method used is Linear Discriminant Analysis and classification process using KNN, then analyze its performance using Confusion Matrix. The datasets used in the study are Lymphography, Dermatology and PIMA Indians obtained from previous research and UCI Machine Learning Repository. Based on the results of this study is on the dataset Lymphography the best accuracy obtained by KNN with K = 3 that has been reduced using LDA with an accuracy of 82.22%. In the Dermatology dataset, the accuracy of KNN after reducing the dimensions of the dataset with LDA also increased, in KNN with reduction has the same K = 3, K = 5 and K = 10 accuracy of 99.09%. While in the PIMA Indians dataset the best accuracy was obtained by K = 10 with an accuracy of 81.39%. From the results of the analysis obtained, Linear Discriminant Analysis proposed in reducing the dimensions of the dataset was able to improve the performance of the K-Nearest Neighbor algorithm.

Algoritma klasifikasi kebanyakan menjadi bermasalah pada data dengan dimensi yang tinggi, berupa penurunan akurasi klasifikasi. Salah satu metode yang memungkinkan algoritma klasifikasi untuk bekerja lebih cepat dan efektif serta meningkatkan akurasi dan performansi suatu algoritma klasifikasi adalah dengan reduksi dimensi. Dalam proses klasifikasi data dengan algoritma K-Nearest Neighbor, memungkinkan adanya fitur yang tidak memiliki nilai kecocokan dalam pengklasifikasian, sehingga diperlukan adanya reduksi dimensi. Dalam penelitian ini metode reduksi dimensi yang digunakan adalah Linear Discriminant Analaysis dan proses klasifikasi menggunakan KNN, kemudian menganalisis performansinya menggunakan Confusion Matrix. Adapun dataset yang digunakan pada penelitian ini adalah Lymphography, Dermatology dan PIMA Indians yang diperoleh dari penelitian sebelumnya dan UCI Machine Learning Repository. Berdasarkan hasil dari penelitian ini adalah pada dataset Lymphography akurasi terbaik didapat oleh KNN dengan K=3 yang telah direduksi menggunakan LDA dengan akurasi sebesar 82.22%. Pada dataset Dermatology, akurasi KNN setelah direduksi dimensi datasetnya dengan LDA juga meningkat, pada KNN dengan reduksi memiliki akurasi K=3, K=5 dan K=10 yang sama yaitu 99.09%. Sedangkan pada dataset PIMA Indians akurasi terbaik didapat oleh K=10 dengan akurasi sebesar 81.39%. Dari hasil analisis yang didapatkan, Linear Discriminant Analysis yang diusulkan dalam mereduksi dimensi dataset mampu meningkatkan kinerja algoritma KNearest Neighbor.