Một số mô hình ngôn ngữ cho nhận dạng thực thể và ứng dụng

Abstract

Luận văn đã đề xuất một phương pháp mới nhằm nâng cao hiệu quả của việc nhận diện thực thể trong dữ liệu tài chính sử dụng các mô hình ngôn ngữ tự nhiên đã được huấn luyện trước (Pre-trained Language Models - PLMs). Phương pháp này tập trung vào việc huấn luyện trước với dữ liệu tài chính tiếng Việt để bổ sung thêm vào bộ từ điển và tokenizer của các mô hình PLMs. Điều này không chỉ giúp mô hình hiểu sâu hơn về ngữ nghĩa và ngữ cảnh của các thực thể tài chính mà còn giải quyết được những thách thức đặc thù của ngôn ngữ tiếng Việt, chẳng hạn như cú pháp phức tạp, sự đa nghĩa, hay các thuật ngữ chuyên ngành trong lĩnh vực tài chính. Kết quả thực nghiệm trên bộ dữ liệu tài chính tiếng Việt đã chứng minh hiệu quả vượt trội của phương pháp này so với các phương pháp truyền thống trước đây. Cụ thể, các mô hình PLMs, sau khi được tinh chỉnh riêng cho bộ dữ liệu tài chính, đã đạt được hiệu suất đáng kể, vượt qua các mô hình truyền thống trong việc nhận diện thực thể. Điều này cho thấy rằng các mô hình PLMs không chỉ có khả năng học hỏi tốt từ dữ liệu lớn mà còn có thể được tối ưu hóa để xử lý các bộ dữ liệu chuyên biệt, từ đó mang lại hiệu quả cao hơn trong các ứng dụng thực tiễn. Nghiên cứu này mở ra nhiều tiềm năng ứng dụng cho các mô hình ngôn ngữ tiên tiến trong các lĩnh vực cụ thể, đặc biệt là trong ngành tài chính, nơi độ chính xác và hiệu quả là yếu tố quan trọng và thông tin thị trường tài chính thay đổi từng ngày.