Using Machine Learning to Improve Ticket Classification for IT Service Management System

สิรภพ แสนบุตร; ฐิติรัตน์ ศิริบวรรัตนกุล

ผู้แต่ง

สิรภพ แสนบุตร คณะสถิติประยุกต์ สถาบันบัณฑิตพัฒนบริหารศาสตร์ กรุงเทพฯ ประเทศไทย
ฐิติรัตน์ ศิริบวรรัตนกุล คณะสถิติประยุกต์ สถาบันบัณฑิตพัฒนบริหารศาสตร์ กรุงเทพฯ ประเทศไทย

คำสำคัญ:

การจำแนกประเภทตั๋วงาน, การเรียนรู้ด้วยเครื่องจักร, การประมวลผลภาษาธรรมชาติ, ระบบจัดการบริการด้านไอที

บทคัดย่อ

งานวิจัยนี้มีจุดประสงค์เพื่อศึกษาแนวทางการเพิ่มประสิทธิภาพการจำแนกตั๋วงานสำหรับระบบจัดการบริการด้านไอทีโดยใช้การเรียนรู้ของเครื่องจักร ซึ่งผู้วิจัยได้ทำการทดลองกับข้อมูลตั๋วงานด้านไอทีจำนวน 10,608 ตั๋วงาน โดยนำข้อความที่ผู้ใช้บริการแจ้งงานเข้ามาผ่านตั๋วงานหนึ่งๆ เข้าสู่กระบวนการประมวลผลภาษาธรรมชาติ ได้แก่ การสกัดคำ การกำจัดคำ การสะกดคำ และอื่น ๆ จากนั้นจึงนำผลที่ได้มาเรียนรู้และทำนายผ่านตัวแบบทั้งหมด 6 ตัวแบบ ได้แก่ Multinomial Naïve Byes, Support Vector Machine, Logistics Regression, Random Forest, Stacking Model with Bagging และ XG-Boosting บนการสกัดคุณลักษณะทั้งหมด 2 แบบ ได้แก่ Count Vectorization และ TF-IDF เพื่อเปรียบเทียบประสิทธิภาพ ผลการศึกษาพบว่าตัวแบบที่ใช้เทคนิค Ensemble ดังเช่น XG-Boosting บนการสกัดคุณลักษณะแบบ TF-IDF สามารถประยุกต์ใช้งานกับข้อมูลชุดอื่นและให้ผลการทำนายแม่นยำที่สุดด้วยดัชนี F1-Score เท่ากับ 81.21% ทั้งยังช่วยลดเวลาในกระบวนการจำแนกประเภทตั๋วงานทั้งหมดให้เหลือน้อยกว่า 1 วัน ตลอดจนเพิ่มระดับความพึงพอใจเฉลี่ยของผู้ใช้บริการได้สูงสุดถึง 8.17%

References

Altintas, M. and Tantug, C., 2014, “Machine Learning Based Ticket Classification in Issue Tracking Systems,” Proceeding of the International Conference on Artificial Intelligence and Computer Science (AICS 2014), Bandung, INDONESIA, pp. 195- 207.

Dedik, B.V., 2015, Automatic Ticket Triage Using Supervised Text Classification, Master of Informatics Thesis, Faculty of Informatics, Masaryk University, 83 p.

Vedala, D., 2018, Building a Classification Engine for Ticket Routing in IT Support Systems, Master of Computer Science and Engineering Thesis, School of Science, Aalto University, 48 p.

Mandal, A., Malhotra, N., Agarwal, S., Ray, A. and Sridhara, G., 2018, “Cognitive System to Achieve Human-level Accuracy in Automated Assignment of Helpdesk Email Tickets,” Service-Oriented Computing (ICSOC 2018), Bengaluru, India, pp. 332-341.

Al-hawari, F. and Barham, H., 2019, “A Machine Learning based Help Desk System for IT Service Management,” Journal of King Saud University - Computer and Information Sciences, 17 p. https://doi.org/10.1016/j.jksuci.2019.04.001

Paramesh, S.P. and Shreedhara, K.S., 2019, “IT Help Desk Incident Classification Using Classifier Ensembles,” ICTACT Journal on Soft Computing - Department of Computer Science and Engineering, University B.D.T College of Engineering, 9 (4), pp. 1980-1987. https://doi.org/10.21917/ijsc.2019.0276

Norvig, P., 2016, How to Write a Spelling Corrector [Online], Available http://norvig.com/spell-correct.html. [20 December 2020]

Guyon, I., Weston, J., Barnhill, S. and Vapnik, V., 2002, “Gene Selection for Cancer Classification using Support Vector Machines,” Machine Learning, 46, pp. 389-422.