Adaptive Moment Estimation Untuk Meminimalkan Kuadrat Error pada Algoritma Backpropagation

Abstract

Backpropagation in the Artificial Neural Networks (ANN) is a gradient descent method to minimize the value of square error on output. In learning algorithm, the backpropagation algorithm is in sufficient to minimize the value of square error and the mean square error (MSE) is applied instead. This occurs due to the high number of epoch in training and often gets trapped inlocal optima. Therefore,an appropriate approach is needed to improve the learning gaining the decrease MSE value on testing. Through the improvement of gradient descent method learning in backpropagation to minimize the value of MSE, this is expected to reduce the value of MSE in each epoch on output neural network testing. Adaptive Moment Estimation (ADAM) is a method of parameter optimization to train Deep Neural Network (DNN) on large scale data. ADAM is able to speed up training and obtains acceleration rate, so the optimization of parameters in computing gets lower. From tests conducted with different epoch values, it was found that the minimum mean square error (MSE) value of the 1000 epoch was 0.002479194. On 2000 epoch testing, the minimum MSE value found was 0.002281315. So the results of this research, can provide results to the minimization of MSE values with different epoch values in contrast with the output in ANN.

Backpropagation didalam Artificial neural network (ANN) adalah suatu metode gradient descent untuk meminimalkan nilai kuadrat error pada output. Di dalam proses pembelajaran algoritma backpropagation masih lambat untuk meminimalkan nilai kuadrat error dan mean square error (MSE) diterapkan sebagai gantinya. Hal ini dikarena jumlah epoch pada pelatihan masih tinggi yang menyebabkan penyelesaian sering terjebak ke lokal optima. Sehingga dibutuhkan suatu pendekatan yang sesuai agar dapat meningkatkan proses pembelajaran untuk mendapatkan penurunan nilai MSE didalam pengujian. Dengan meningkatkan proses pembelajaran metode gradient descent pada backpropagation untuk meminimalkan nilai MSE, diharapkan dapat menurunkan nilai MSE disetiap epoch pada output pengujian neural network. Adaptive Moment Estimation (ADAM) yang merupakan salah satu metode mengoptimalkan banyak parameter untuk melatih Deep Neural Network (DNN) dari data yang cukup besar. ADAM dapat mempercepat pelatihan dan mendapatkan tingkat akselerasi, sehingga pengoptimalan banyak parameter dalam komputasi menjadi lebih rendah. Dari pengujian yang dilakukan dengan nilai epoch yang berbeda – beda, didapatkan nilai MSE yang minimum pada epoch ke 1000 adalah 0.002479194. Sedangkan dari pengujian dengan epoch 2000, didapatkan nilai MSE yang minimum adalah 0.002281315. Sehingga hasil dari penelitian ini, dapat memberikan hasil untuk meminimalkan nilai MSE dengan nilai epoch yang berbeda – beda pada output didalam ANN.