Chuyện gì xảy ra khi bạn trò chuyện với AI?

Minh hoạ trong video: câu “Electricity is the transfer of charged particles”, với từ “transfer” được khoanh nổi bật để minh hoạ cách model chọn ra từ tiếp theo Một khung hình minh hoạ trong video, cho thấy model chọn ra từng từ một dựa trên phần câu đã có trước đó.

Khi bạn gửi một tin nhắn cho AI, có những thời điểm mà nó trông như đang “suy nghĩ”. Nhưng thực ra bên trong đang diễn ra điều gì? AI có đang lục lọi cả internet? Có đang sao chép câu trả lời từ một cơ sở dữ liệu nào đó? Hay chỉ đơn giản là một công cụ tìm kiếm được làm cho có vẻ thông minh hơn?

Trong một video ngắn, Jane Leibrock - Head of User Experience Research tại Anthropic, công ty tạo ra Claude - giải thích cơ chế thực sự đứng sau mỗi câu trả lời mà một mô hình AI (model) như Claude tạo ra.

Tóm tắt:

AI không tra cứu câu trả lời có sẵn từ đâu đó - nó dự đoán từng từ một, dựa trên toàn bộ ngữ cảnh cuộc trò chuyện, chứ không chỉ vài từ gần nhất như cách bàn phím gợi ý trên điện thoại;
Để có khả năng cho ra câu trả lời tốt, các model trải qua hai giai đoạn huấn luyện: tiền huấn luyện (pretraining - học đoán từ tiếp theo trên lượng văn bản khổng lồ) và tinh chỉnh (fine-tuning);
Kiến thức của model dừng lại ở một mốc thời gian nhất định (training cutoff) - với thông tin mới hơn, nó cần dùng đến công cụ như tìm kiếm web;
Vì bản chất là sinh ra câu trả lời chứ không phải truy xuất nguồn kiến thức tin cậy, model có thể tự tin khẳng định một điều sai - nên bạn luôn cần kiểm chứng lại;
Bốn thói quen giúp kết quả tốt hơn: cung cấp đầy đủ ngữ cảnh, nhớ mốc thời gian AI được huấn luyện (training cutoff), yêu cầu một vài phiên bản khác nhau của câu trả lời, và luôn kiểm tra lại tính chính xác của câu trả lời.

AI hoạt động bằng cách dự đoán

Các model AI như Claude hoạt động dựa trên nguyên lý dự đoán. Khi bạn gửi một tin nhắn, model đọc nội dung đó, rồi dựa vào mọi thứ nó đã học được trong quá trình huấn luyện để viết ra câu trả lời, từng bước một. Bạn sẽ thấy câu trả lời hiện ra từng từ một, và mỗi từ được chọn dựa trên toàn bộ những gì đã xuất hiện trước nó.

Điều khiến nhiều người bất ngờ: model viết ra từng từ một, nhưng nó không “suy nghĩ “ từng từ một - đây là điểm mà chúng ta sẽ quay lại làm rõ hơn ở phần sau.

Model AI có dự đoán như cách bàn phím trên điện thoại dự đoán từ bạn sắp gõ?

Có thể bạn đã quen với kiểu dự đoán đơn giản hơn: khi bàn phím điện thoại gợi ý từ “khỏe” sau khi bạn gõ “dạo này bạn có”, đó cũng là một dạng dự đoán. Bàn phím đã học được từ nào thường đi sau từ nào.

Tuy nhiên, với cách dự đoán đơn giản này, bàn phím chỉ nhìn vào hai, ba từ gần nhất - nó hoàn toàn không biết bạn đang muốn nói gì hay câu chuyện đang đi về đâu. Một model AI đi xa hơn nhiều so với điều đó. Nó được huấn luyện trên một lượng văn bản và dữ liệu khổng lồ - gọi là dữ liệu huấn luyện (training data) - và khi dự đoán, nó không chỉ nhìn vào vài từ cuối như cách hoạt động của bản phím thông minh. Điều nó thực sự làm phức tạp và có chiều sâu hơn rất nhiều, và phần tiếp theo sẽ cho thấy chính xác cách model làm điều đó như thế nào.

Cách một model AI được huấn luyện

Các model AI đã trải qua hàng tỷ lượt lặp lại cùng một bài tập: đọc một đoạn văn bản, đoán từ tiếp theo, xem mình đoán gần đúng đến đâu, điều chỉnh một chút, rồi lặp lại. Đây là giai đoạn tiền huấn luyện (pretraining).

Sau đó, ở một giai đoạn thứ hai gọi là tinh chỉnh (fine-tuning), các câu trả lời hoàn chỉnh của mô hình được chấm điểm - đôi khi bởi con người, đôi khi dựa trên một bộ nguyên tắc/hướng dẫn được viết sẵn - và mô hình được “hướng” dần về phía những câu trả lời hữu ích hơn, ít có khả năng gây hiểu lầm hoặc gây hại hơn. Cả hai giai đoạn này cùng góp phần tạo nên khả năng sinh văn bản của mô hình.

Toàn bộ quá trình đó diễn ra cho đến một mốc thời gian nhất định, gọi là điểm dừng huấn luyện hay thời gian dừng huấn luyện(training cutoff). Sau mốc đó, model không còn nắm chắc các sự kiện hay thông tin mới (xảy ra sau điểm dừng) nếu không dựa vào công cụ khác, chẳng hạn tìm kiếm trên internet. Model có thể tìm kiếm internet để lấy thông tin sau mốc dừng này (nếu công cụ tìm kiếm có sẵn), nhưng bạn không nên mặc định rằng nó đã tự tìm kiếm trước khi trả lời. Để chắc chắn, bạn có thể yêu cầu nó tìm kiếm, và khi làm vậy, nó thường sẽ đưa ra nguồn để bạn kiểm chứng.

Vậy mô hình thực sự “suy nghĩ” thế nào?

“Dự đoán từ tiếp theo” nghe có vẻ khá máy móc - như thể model chỉ đang phản hồi từng từ một, hết từ này đến từ khác. Nhưng để dự đoán từ tiếp theo một cách tốt, bạn không thể chỉ nhìn vài từ gần nhất. Bạn phải hình dung được câu chuyện đang hướng tới đâu, đoạn văn đang lập luận điều gì, và một câu trả lời tốt thực sự phải phù hợp với hoàn cảnh hiện tại và có tính chính xác (trong nhiều trường hợp câu trả lời có vẻ phù hợp nhưng lại hoàn toàn sai).

Model phải suy luận dựa vào toàn bộ những dữ liệu đã có trước đó - tài liệu bạn tải lên, bộ nhớ (memory), system prompt, các tin nhắn bạn đã gửi, toàn bộ lịch sử cuộc trò chuyện - trước khi tạo ra từ tiếp theo, thậm chí là từng âm tiết. Rồi toàn bộ quá trình đó lặp lại cho từ kế tiếp, và cứ thế cho đến khi câu trả lời hoàn tất.

Bốn thói quen giúp bạn có kết quả tốt hơn

Hiểu được cơ chế trên, có vài thói quen sẽ giúp bạn khai thác AI hiệu quả hơn:

1. Cung cấp đủ ngữ cảnh để làm việc: tất cả những thông tin đó sẽ trở thành một phần của khuôn mẫu (pattern) mà model dựa vào để tạo câu trả lời.

2. Ghi nhớ mốc dừng huấn luyện: Kiến thức của mô hình dừng lại ở một thời điểm nhất định, vì vậy với những thứ mang tính thời sự như giá cả hay tin tức mới, thông tin có thể đã lỗi thời - trừ khi công cụ cho bạn biết nó đã tìm kiếm trên web.

3. Yêu cầu nhiều phương án trả lời: Vì mô hình đang sinh ra nội dung chứ không phải truy xuất thông tin có sẵn, nên không hề tồn tại một “đáp án lưu sẵn” duy nhất nào cả. Hãy thử yêu cầu vài phiên bản khác nhau của một bản nháp, hoặc để nó thử lại theo một giọng văn khác. Đừng ngại thử nghiệm.

4. Trên hết, luôn kiểm tra lại kết quả: Một giọng văn tự tin hay một câu trả lời trông chỉn chu không phải là bằng chứng cho thấy nó chính xác. Hãy cân nhắc mức độ quan trọng của câu hỏi bạn đang đặt ra, và kiểm chứng lại thông tin.