GENERALISASI TEMPORAL MODEL KLASIK DAN MODEL BERBASIS TRANSFORMER UNTUK KLASIFIKASI SENTIMEN TINGKAT TARGET PADA JUDUL BERITA PERBANKAN INDONESIA

Abstract

Klasifikasi sentimen tingkat target (target-level sentiment classification) pada judul berita berbahasa Indonesia menghadapi tantangan berupa keterbatasan konteks, ketidakseimbangan kelas, dan perubahan narasi pemberitaan. Penelitian ini bertujuan mengevaluasi kinerja model klasik dan IndoBERT dalam mengklasifikasikan sentimen tingkat target pada judul berita mengenai BCA, BNI, BRI, Bank Mandiri, dan BSI. Dataset gold standard disusun dari 2.000 judul berita yang diterbitkan pada tahun 2023–2025 melalui anotasi manual dan adjudikasi (penyelesaian ketidaksepakatan antaranotator). Kesepakatan antaranotator (inter-annotator agreement) menghasilkan Cohen's kappa sebesar 0,884 untuk relevansi dan 0,772 untuk sentimen. Sebanyak 1.957 judul yang dinyatakan relevan diberi label negatif, netral, atau positif. Model klasik berupa logistic regression dan linear support vector machine (SVM) dengan representasi term frequency–inverse document frequency (TF-IDF) kata serta gabungan kata dan karakter. Evaluasi model klasik dilakukan melalui validasi silang 5-fold berbasis grup (group-aware cross-validation), sedangkan perbandingan dengan IndoBERT dilakukan melalui pengujian temporal menggunakan data 2023–2024 sebagai development set (pelatihan dan validasi) dan 538 judul 2025 sebagai data uji temporal terkunci (locked temporal test set). Hasil pengujian temporal menunjukkan bahwa SVM dengan fitur gabungan kata dan karakter mencapai Macro-F1 sebesar 0,8278 dan akurasi sebesar 0,9015. IndoBERT memperoleh Macro-F1 tertinggi sebesar 0,8592 dan balanced accuracy sebesar 0,8753. Sentimen negatif menjadi kelas yang paling sulit diklasifikasikan, sementara kinerja model bervariasi antarbank. Hasil tersebut menunjukkan bahwa IndoBERT lebih baik dalam mengenali ketiga kelas secara seimbang, sedangkan SVM menghasilkan akurasi keseluruhan yang lebih tinggi pada data uji. Kedua pendekatan berpotensi mendukung penyaringan judul berita dalam pemantauan media perbankan.