Analisis Accelerated Learning pada Algoritma Backpropagation menggunakan Adaptive Learning Rate

Abstract

Backpropagation algorithm is a multi-layer perceptron which is widely used to solve large problems, but also has limitations backpropagation algorithmis the rate of convergence is quite slow. In this study, the authors add a parameter adaptive learning rate in each iteration and momentum coefficients to calculate the weights change. From the results of the computer simulation for the comparison between the standard back propagationalgorithm with adaptive learning rate backpropagation. For backpropagation algorithm convergence speed reached 1000 epochs with MSE values produced is 0.00036 while the adaptive learning rate backpropagation algorithmis only 72 epochs with MSE values generated 0.0000043. This suggests that adaptive learning rate backpropagation algorithm reaches convergence faster than the standard backpropagation algorithm.

Algoritma backpropagation merupakan multi layer perceptron yang banyak digunakan untuk menyelesaikan persoalan yang luas, namun algoritma backpropagation juga mempunyai keterbatasan yaitu laju konvergensi yang cukup lambat. Pada penelitian ini penulis menambahkan parameter learning rate secara adaptif pada setiap iterasi dan koefisien momentum untuk menghitung proses perubahan bobot. Dari hasil simulasi komputer maka diperoleh perbandingan antara algoritma backpropagation standar dengan backpropagation adaptive learning. Untuk algoritma backpropagation standar kecepatan konvergensi mencapai 1000 epoch dengan nilai MSE yang dihasilkan adalah 0,00044 sedangkan untuk algoritma backpropagation adaptive learning hanya 72 epoch dengan nilai MSE yang dihasilkan 0.0000036. Hal ini menunjukkan bahwa algoritma backpropagation adaptive learning lebih cepat mencapai konvergensi daripada algoritma backpropagation standar.