[Cẩm nang AI] Xử lý ngôn ngữ tự nhiên (Natural Language Processing) trong AI là gì?

Trong cẩm nang AI này, chúng ta sẽ cùng tìm hiểu về công nghệ xử lý ngôn ngữ tự nhiên (Natural Language Processing). Những thông tin chúng ta sẽ tìm hiểu bao gồm khái niệm, thành phần cũng như quy trình, các ví dụ của Natural Language Processing (NLP).

Tìm hiểu về NLP

Xử lý ngôn ngữ tự nhiên (NLP) là gì?

Chúng tôi sử dụng ngôn ngữ của con người để giao tiếp giữa các hệ thống thông minh và NLP đóng một vai trò quan trọng trong các hệ thống khác nhau.

 

Ví dụ:

Một robot có thể sử dụng để thực hiện theo hướng dẫn của bạn. Đầu vào và đầu ra của một hệ thống NLP có thể là:

    - Phát biểu của bạn 

    - Văn bản viết tay

Các thành phần của NLP

Về cơ bản, có hai thành phần chính bên trong một hệ thống NLP, gồm:

I. Hiểu ngôn ngữ tự nhiên (Natural Language Understanding - NLU)

Trong phần này, chúng ta sẽ cùng tìm hiểu về các chủ đề cơ bản:

    - Ánh xạ tới đầu vào đã biến ngôn ngữ tự nhiên thành các biểu diễn hữu ích

    - Phân tích các khía cạnh khác nhau của ngôn ngữ.

II. Tạo ngôn ngữ tự nhiên (Natural Language Generation - NLG)

Chúng ta phải tạo ra các cụm từ và câu có nghĩa, dưới dạng ngôn ngữ tự nhiên từ biểu diễn bên trong.

Quá trình này bao gồm:

    - Lập kế hoạch văn bản: Trong quá trình này, chúng ta phải tìm kiếm và truy xuất các nội dung liên quan từ cơ sở tri thức.

    - Lập kế hoạch về câu: Chúng ta phải chọn những câu từ cần thiết để thiết lập giọng điệu của câu.

    - Hiện thực hóa văn bản: Về cơ bản, đây là quá trình ánh xạ kế hoạch các câu riêng lẻ  thành cấu trúc câu.

 

Có thể bạn chưa biết, NLU sẽ khó hơn NLG rất nhiều.

Những khó khăn trong NLU (Natural Language Understanding)

I. Sự mơ hồ về ngữ nghĩa

Các ngữ nghĩa, câu từ được xác định trước ở cấp độ rất sơ khai.

 

II. Mức độ cú pháp không rõ ràng

Theo cách này, chúng ta có thể định nghĩa một câu theo cách phân tích cú pháp theo nhiều hướng khác nhau.

 

III. Tham chiếu không rõ ràng

Sự mơ hồ về quy chiếu đồng nghĩa rằng chúng ta phải chỉ ra một cái gì đó bằng cách sử dụng đại từ.

Xử lý ngôn ngữ tự nhiên - Thuật ngữ

I. Âm vị học

Đây là các nghiên cứu về tổ chức âm thanh.

 

II. Hình thái học 

Về cơ bản, đây là các nghiên cứu về việc xây dựng các câu từ dựa vào các đơn vị có nghĩa ban đầu.

 

III. Morpheme

Như chúng ta có thể nói ở phần trước, dưới đây là các đơn vị nguyên thủy trong một ngôn ngữ:

    -  Cú pháp: Trong cú pháp, chúng ta phải sắp xếp các từ để tạo thành một câu. Ngoài ra, liên quan đến việc xác định vai trò cấu trúc của từ, đó là trong câu và trong các cụm từ.

    - Ngữ nghĩa học: Phần này giúp xác định nghĩa của từ, giúp hệ thống biết cách làm thế nào để kết hợp các từ thành các cụm từ và câu có nghĩa

    - Ngữ dụng học: Phần này đề cập đến việc sử dụng và khả năng am hiểu ngữ cảnh của các câu, biết nên đặt câu này trong tình huống nào. 

    - Kiến thức thế giới: Chúng bao gồm những kiến ​​thức chung về thế giới.

Các bước trong NLP

Có năm bước trong xử lý ngôn ngữ tự nhiên NLP, chúng gồm:
 

Các bước trong xử lý ngôn ngữ tự nhiên NLP

I. Lexical Analysis

Chúng ta phải phân tích cấu trúc của từ. Các tập hợp gồm các từ và cụm từ trong một ngôn ngữ được gọi là một bộ từ vựng của một ngôn ngữ.

 

II. Phân tích cú pháp (Syntactic Analysis)

Chúng ta sẽ sử dụng phân tích cú pháp để phân tích các từ và cụm từ. Điều này đồng nghĩa với việc bạn phải sắp xếp các từ theo một cách cụ thể, trong đó, các từ phải có mối quan hệ với nhau.

 

III. Phân tích ngữ nghĩa

Bạn có thể hiểu đây là công đoạn mô tả nghĩa của một từ sao cho có nghĩa. Trong miền tác vụ, chúng sẽ ánh xạ cấu trúc cú pháp và đối tượng.

 

IV. Tích hợp bài giảng

Trong bước này, nghĩa của một câu bất kỳ đều sẽ phụ thuộc vào nghĩa của câu trước.

 

V. Phân tích thực dụng

Trong bước này, dữ liệu được diễn giải dựa trên ý nghĩa thực sự của nó. Mặc dù vậy, chúng ta cần phải phân tích ngôn ngữ kỹ hơn theo thực tế, điều này đòi hỏi kiến ​​thức trong thế giới thực.

Ví dụ của hệ thống NLP

Hãy cùng Viettel IDC xem qua một số ví dụ làm rõ hơn tầm nhìn của chúng ta về xử lý ngôn ngữ tự nhiên:

I. Đánh giá của khách hàng

    - Đây là một trong những yếu tố quan trọng giúp công ty có thể tìm hiểu, tổng hợp các thông tin liên quan trực  tiếp đến doanh nghiệp của mình, đồng thời giúp cải thiện sự hài lòng của khách hàng một cách hiệu quả.

    - Khi có nhiều gợi ý và giải pháp, dịch vụ cung cấp sẽ tốt hơn, ngoài ra, chúng còn giúp chúng ta hiểu được nhu cầu của khách hàng.

 

II.  Trợ lý kỹ thuật số ảo

Công nghệ trợ lý kỹ thuật số ảo hiện nay đang là loại trí tuệ nhân tạo AI được biết đến nhiều nhất.

Tại sao chúng ta cần đến NLP?

Với tính năng này, chúng ta có thể thực hiện một số tác vụ nhất định như tự động nói và viết văn bản. Các tính năng này giúp chúng ta hoàn thành công việc trong thời gian ngắn hơn.

Ngoài ra, trong thực tế thì chúng ta cần đến ứng dụng NLP trong rất nhiều tình huống.

Ví dụ:

    - Tóm tắt văn bản tự động tự động (tạo ra một bản tóm tắt văn bản nhất định)

    - Phiên dịch (bản dịch ngôn ngữ này sang ngôn ngữ khác)

Quá trình xử lý ngôn ngữ tự nhiên

Trong quy trình NLP, một văn bản sẽ bao gồm cả lời nói trong đó, vì vậy, việc chuyển đổi giọng nói thành văn bản có thể được thực hiện dễ dàng.

Trong cơ chế này, nó bao gồm hai quá trình:

    - Hiểu về ngôn ngữ tự nhiên (NLU)

    - Tạo ra ngôn ngữ tự nhiên (NLG)

I. Hiểu ngôn ngữ tự nhiên (NLU)

Chúng tôi sử dụng hệ thống hiểu về ngôn ngữ tự nhiên để tìm hiểu ý nghĩa của văn bản nhất định. Đối với NLU, chúng ta phải hiểu rõ bản chất và cấu tạo của từng từ ngữ bên trong:

     1. Sự mơ hồ về ngôn ngữ: Trong các ngôn ngữ sẽ có những từ có nhiều nghĩa

     2. Sự mơ hồ về cú pháp: Về cơ bản, trong sự mơ hồ về cú pháp này được thể hiện ở tình huống khi mà 1 câu có nhiều cây phân tích cú pháp.

     3. Sự mơ hồ về ngữ nghĩa: Một câu có nhiều nghĩa

     4. Sự mơ hồ tương tự: Một từ đã được đề cập trước đây nhưng bây giờ, chúng lại có một ý nghĩa khác.

II. Tạo ngôn ngữ tự nhiên (NLG)

Về cơ bản, văn bản tự động được tạo ra từ dữ liệu có cấu trúc (định dạng có thể đọc được với các cụm từ và câu có nghĩa). Việc tạo ra một hệ thống ngôn ngữ tự nhiên NLG không hề dễ dàng, và chúng chỉ là tập con của NLP.

Việc hình thành ngôn ngữ tự nhiên được chia thành ba giai đoạn như sau:

     1. Lập kế hoạch văn bản: Lúc này, chúng sẽ sắp xếp thứ tự nội dung trong dữ liệu cấu trúc.

     2. Lập kế hoạch câu: Từ dữ liệu cấu trúc, chúng ta phải biết cách kết hợp các câu để biểu diễn luồng thông tin.

     3. Hiện thực hóa: Để biểu diễn văn bản, chúng ta cần phải sử dụng một câu đúng ngữ pháp.

Các ứng dụng của NLP

Dưới đây là một số ứng dụng nổi bật của hệ thống xử lý ngôn ngữ tự nhiên NLP:

I. Liên lạc

     - Về cơ bản, máy tính là một phương tiện để giao tiếp với người dùng. Bên cạnh đó, để học một ngôn ngữ mới, chúng tôi không thể ép buộc người dùng (Mặc dù đối với người dùng bình thường thì nó khá quan trọng nhất). Ví dụ trong trường hợp của người quản lý và trẻ em, các quản lý viên không có thời gian để học các kỹ năng tương tác mới.

     - Ngôn ngữ tự nhiên sở hữu một kho thông tin khổng lồ, và để xem các thông tin này, chúng ta phải truy cập thông qua máy tính. Hiện nay, con người đang tạo ra thông tin liên tục, dưới dạng sách, dữ liệu kinh doanh hoặc thậm chí là báo cáo từ Chính Phủ.

     - Trong hệ thống xử lý ngôn ngữ tự nhiên, AI được tích hợp vào một cách rõ ràng

     - Bất kỳ hệ thống hiểu ngôn ngữ tự nhiên cũng có 3 khía cạnh chính

II. Cú pháp

Về cơ bản, chúng ta sẽ sử dụng cú pháp để mô tả hình thức của ngôn ngữ. Ngoài ra, ngữ pháp được sử dụng để chỉ định nó. Chúng ta sẽ sử dụng NLP cho các ngôn ngữ logic và chương trình máy tính AI. Ngôn ngữ này sẽ phức tạp hơn đôi chút so với các ngôn ngữ chính thức khác.

III. Ngữ nghĩa học

Ý nghĩa của lời nói cũng khá tương đồng với ngữ nghĩa. Nếu chúng ta muốn xây dựng sự hiểu biết này cho hệ thống, ta có thể sử dụng các lý thuyết ngữ nghĩa chung đã có.

IV. Ngữ dụng học

Chúng ta sẽ sử dụng thành phần này để giải thích ý nghĩa của các lời nói trong thế giới thực tế.

Tầm quan trọng của NLP

Chúng ta có thể hiểu hơn về lợi thế của lập trình ngôn ngữ tự nhiên NLP khi chúng ta xem xét hai câu lệnh:

     - "Dịch vụ bảo hiểm điện toán đám mây phải là một phần của dịch vụ"

    - “Một SLA tốt đảm bảo cho một đêm dễ ngủ hơn - ngay cả khi ở trên đám mây”.

 

Nói chung, nếu một cá nhân đã quen với NLP, thì trong một tổ chức, người đó sẽ dễ dàng nhận ra các chương trình điện toán đám mây (cho những ai chưa biết, đám mây là viết tắt của điện toán đám mây)

 

Về cơ bản, trong ngôn ngữ của con người, loại yếu tố mơ hồ này xuất hiện thường xuyên. Các thuật toán học máy trong lịch sử rất tệ trong việc diễn giải. Nhưng đến hiện nay, nhiều cải tiến diễn ra trong Deep Learning và cả trí tuệ nhân tạo AI, khiến thuật toán có thể diễn giải chúng một cách hiệu quả hơn nhiều so với trước.

Kết luận

Trong phần này, chúng ta đã cùng tìm hiểu về xử lý ngôn ngữ tự nhiên Natural Language Processing, bao gồm các thành phần, ví dụ và ứng dụng của nó trên thực tế. Nếu bạn có bất kỳ thắc mắc nào, vui lòng liên hệ Viettel IDC để được hỗ trợ tốt nhất nhé!

 

>> Xem tiếp: Bài 19: TOP những cuốn sách AI từ cơ bản đến nâng cao hay nhất

>> Xem lại: Bài 17: Hệ thống chuyên gia (Expert System) là gì? Cách hệ thống ES giải quyết vấn đề

 

 

 

Để tìm hiểu thêm về giải pháp Giám sát & Ứng dụng AI, vui lòng liên hệ đến Viettel IDC:

 

- Hotline: 1800.8088 (miễn phí cước gọi)

- Fanpage: https://www.facebook.com/viettelidc

- Website: https://viettelidc.com.vn