นิสิตหนึ่งในห้าค้นข้อมูลวิชาการจากแชตบอต และคำพูดที่มันยกมาอ้างไม่มีอยู่จริงสักประโยค

เมื่อได้โจทย์ที่ต้องหาความรู้วิชาการซึ่งไม่คุ้นเคย นิสิตไทยหันไปหาแหล่งไหน และข้อมูลที่ได้จากปัญญาประดิษฐ์เชื่อถือได้แค่ไหนเมื่อเอาไปตรวจกับต้นฉบับจริง

ให้นิสิตปริญญาตรีจุฬาลงกรณ์มหาวิทยาลัย 240 คน ทำโจทย์เดียวกันคือค้นอย่างรวดเร็วว่า Rudolf Carnap นักปรัชญาสายตรรกวิทยา คิดอย่างไรกับแนวคิดการพิสูจน์ยืนยันความหมาย พร้อมยกข้อความจากงานเขียนของเขามาประกอบหนึ่งข้อความ ใช้แหล่งใดก็ได้ตามใจ แล้วรายงานผ่านแบบสอบถามที่มีโครงสร้างว่าได้ข้อมูลมาจากที่ไหน ระบุถึงรุ่นของเครื่องมือ · จากนั้นผู้วิจัยนำข้อความที่นิสิตยกมาอ้างไปไล่ตรวจกับงานเขียนต้นฉบับที่ระบุไว้ทีละข้อ

• กูเกิล 57% · แชตบอต 22% · วิกิพีเดีย 21% — เกินหนึ่งในห้าเลือกแชตบอตเป็นแหล่งหลักในงานที่ต้องอ้างอิงงานวิชาการ โดยให้เหตุผลว่าได้คำตอบตรงและกระชับ
• คำตอบ 37 ชิ้นมีข้อความที่ระบุว่าเป็นของ Carnap พร้อมชื่อหนังสือและปีที่พิมพ์ครบถ้วน อ่านแล้วเข้ารูปการอ้างอิงวิชาการทุกประการ
• ไม่มีข้อความใดเลยปรากฏอยู่ในงานที่อ้างถึง ทั้งหมดเป็นข้อความที่ระบบแต่งขึ้นเลียนสำนวนและแนวคิดของเขา
• ในการชี้แจงหลังการทดลอง นิสิตทั้ง 37 คนยืนยันว่ามั่นใจ ว่ากำลังอ้างข้อความจริงจากงานของ Carnap — ไม่มีใครเอะใจว่าต้องกลับไปตรวจ

ปัญหาที่งานนี้ชี้ไม่ใช่ว่าปัญญาประดิษฐ์ตอบผิด แต่คือรูปแบบของคำตอบที่ดูเหมือนผ่านการตรวจสอบมาแล้ว มีชื่อหนังสือ มีปี มีสำนวนของเจ้าของงาน ซึ่งในบริบทวิชาการคือสัญญาณว่า “ตรวจมาแล้ว” · ข้อเสนอของผู้เขียนจึงไม่ใช่การห้ามใช้ แต่ให้แพลตฟอร์มแจ้งข้อจำกัดของตัวเองให้ชัดว่าไม่สามารถตรวจสอบหรือให้การอ้างอิงที่ถูกต้องได้ และให้สถาบันการศึกษาสอนการตรวจย้อนกลับไปยังต้นฉบับเป็นทักษะการรู้เท่าทันสื่อชุดใหม่ — คนที่นำไปใช้ได้ทันทีคือผู้สอนที่ออกแบบงานมอบหมาย