Mục tiêu và thiết kế thử nghiệm
Thử nghiệm được thực hiện trên ChatGPT nhằm so sánh ba cấp độ prompt — cơ bản, cải tiến và nâng cao — trong ba tác vụ học tập phổ biến của sinh viên Kinh tế quốc tế.
Tác vụ 1 · Tóm tắt tài liệu học thuật
Tài liệu: Chương 4, IMF World Economic Outlook 2023 về phân rã địa kinh tế và FDI.
“Tóm tắt giúp mình Chương 4 báo cáo World Economic Outlook 2023 của IMF.”
Yêu cầu tóm tắt theo ba phần: bối cảnh, tác động tới các nước đang phát triển và khuyến nghị chính sách; trình bày bằng đầu dòng.
Gán vai trò chuyên gia kinh tế quốc tế; yêu cầu thông điệp cốt lõi, phương pháp nghiên cứu, số liệu định lượng và văn phong học thuật khách quan.
Tác vụ 2 · Giải thích Học thuyết Heckscher–Ohlin
Prompt cơ bản chỉ yêu cầu định nghĩa. Bản cải tiến thêm giả định, nội dung định lý và ví dụ. Bản nâng cao giao vai trò giáo sư, yêu cầu ẩn dụ đời sống, logic mô hình 2×2×2 và phần mở rộng về Nghịch lý Leontief.
Tác vụ 3 · Tạo câu hỏi ôn tập NTBs và CBAM
Ba phiên bản prompt tăng dần từ yêu cầu trắc nghiệm chung sang bộ câu hỏi có đáp án giải thích, sau đó là thiết kế theo ba mức nhận thức của Thang Bloom: thông hiểu, vận dụng và phân tích.
Bảng so sánh kết quả
| Tác vụ | Cấp độ | Đặc điểm đầu ra | Phản hồi | Điểm |
|---|---|---|---|---|
| Tóm tắt IMF | Cơ bản | Chung chung, thiếu số liệu và phương pháp. | ~2 giây | 4/10 |
| Cải tiến | Có cấu trúc, dễ đọc nhưng còn thiếu phương pháp luận. | ~3 giây | 7/10 | |
| Nâng cao | Nêu kịch bản IMF và các mức tổn thất GDP theo từng tình huống. | ~4,5 giây | 9,5/10 | |
| Giải thích H–O | Cơ bản | Định nghĩa khô, nhiều thuật ngữ, không ví dụ. | ~1,5 giây | 5/10 |
| Cải tiến | Có ví dụ Việt Nam – Mỹ nhưng logic trung gian chưa mượt. | ~3 giây | 7,5/10 | |
| Nâng cao | Ẩn dụ trực quan, giải thích mô hình 2×2×2 và Nghịch lý Leontief. | ~5 giây | 10/10 | |
| Câu hỏi NTBs/CBAM | Cơ bản | Câu hỏi dễ, thiên về học thuộc, phương án nhiễu yếu. | ~2 giây | 3/10 |
| Cải tiến | Bao quát CBAM, định dạng tốt nhưng đáp án còn dễ đoán. | ~3,5 giây | 7/10 | |
| Nâng cao | Câu hỏi tình huống theo Bloom, phân tích rủi ro xuất khẩu. | ~5,5 giây | 9,5/10 |
Vì sao prompt nâng cao hiệu quả hơn
1. Bối cảnh và giới hạn
Prompt rõ phạm vi và cấu trúc giúp giảm suy diễn, buộc mô hình tập trung vào dữ liệu cần thiết.
2. Role prompting
Vai trò chuyên gia điều chỉnh giọng văn và mức độ chuyên môn của đầu ra.
3. Tư duy theo bước
Chia tác vụ thành các bước làm rõ logic trung gian và hạn chế bỏ sót.
4. Mẫu định dạng
Few-shot hoặc khuôn đầu ra giúp mô hình tuân thủ định dạng ổn định hơn.
Khung C–R–E–A–T–E
Nêu bối cảnh, ngành học, người đọc.
Gán vai trò phù hợp cho mô hình.
Quy định độ dài, giọng văn, giới hạn.
Dùng ẩn dụ và phân tích tuần tự.
Cung cấp cấu trúc đầu ra.
Kiểm chứng và chỉnh sửa kết quả.
Kết quả và cảm nhận
Chất lượng prompt tăng khi yêu cầu trở nên có mục tiêu và có tiêu chí đánh giá. Tuy vậy, câu trả lời “thuyết phục” vẫn cần được kiểm chứng bằng tài liệu gốc, đặc biệt với số liệu kinh tế.