Phân loại văn bản dựa trên CNC

Abstract

Hiện nay, số lượng văn bản quá lớn, sử dụng phương pháp phân loại dữ liệu thủ công là điều không khả thi bởi có vô số văn bản cần phân loại. Mặt khác máy tính chỉ có thể hiểu được dữ liệu đầu vào ở dạng số mà phần lớn lượng thông tin hiện nay lại ở dạng văn bản – một dạng của ngôn ngữ tự nhiên nên vấn đề đặt ra ở đây là làm sao để chuyển dữ liệu ở dạng ký tự về dữ liệu dạng số sau đó tổ chức huấn luyện máy tính có thể hiểu để phân loại thông tin có hiệu quả cao nhất, nhanh chóng phân loại được thông tin theo thể loại đã định trước. Trước hết đã là bài toán phân loại thì chúng ta có thể dùng các thuật toán phân loại như: Naive Bayes, Decision Tree (Random Forest), Véc tơ Support Machine (SVM), Convolution Nơron Network (CNN), Recurrent Nơron Network (RNN)… Theo một số khảo sát, nghiên cứu thì kỹ thuật mạng Nơron tích chập - CNN được đánh giá là có độ chính xác tốt với tính nhất quán dữ liệu khá cao và vượt trội hơn các kỹ thuật khác ở thời gian huấn luyện dữ liệu.