ในการศึกษาล่าสุดที่ตีพิมพ์ใน The Annals of Family Medicine นักวิจัยได้ประเมินประสิทธิภาพของ Chat Generative Pretrained Transformer (ChatGPT) ในการสรุปบทคัดย่อทางการแพทย์เพื่อช่วยแพทย์ การศึกษานี้มีวัตถุประสงค์เพื่อพิจารณาคุณภาพ ความถูกต้อง และความลำเอียงในบทสรุปที่สร้างโดย ChatGPT โดยให้ข้อมูลเชิงลึกเกี่ยวกับศักยภาพของ ChatGPT ในฐานะเครื่องมือในการแยกแยะวรรณกรรมทางการแพทย์จำนวนมหาศาล ท่ามกลางข้อจำกัดด้านเวลาที่ผู้เชี่ยวชาญด้านสุขภาพต้องเผชิญ
คะแนนสูงในด้านคุณภาพและความแม่นยำ
การศึกษานี้ใช้ ChatGPT เพื่อย่อบทคัดย่อทางการแพทย์ 140 ฉบับจากวารสารที่หลากหลาย 14 ฉบับ ส่งผลให้เนื้อหาลดลงโดยเฉลี่ย 70% แม้ว่าจะมีการตรวจพบความไม่ถูกต้องและภาพหลอนบางส่วนในบทสรุปเพียงเล็กน้อย แพทย์ก็ให้คะแนนสรุปในด้านคุณภาพและความถูกต้องในระดับสูง ผลการวิจัยชี้ให้เห็นว่า ChatGPT มีศักยภาพในการช่วยแพทย์ในการทบทวนวรรณกรรมทางการแพทย์อย่างมีประสิทธิภาพ โดยให้การสรุปที่กระชับและถูกต้อง ท่ามกลางข้อมูลปริมาณมหาศาล
นักวิจัยเลือกบทความ 10 บทความจากวารสาร 14 ฉบับ ครอบคลุมหัวข้อและโครงสร้างทางการแพทย์ต่างๆ พวกเขามอบหมายให้ ChatGPT สรุปบทความเหล่านี้และประเมินผลสรุปที่สร้างขึ้นในด้านคุณภาพ ความถูกต้อง อคติ และความเกี่ยวข้องในสาขาการแพทย์ทั้ง 70 สาขา ผลการศึกษาพบว่า ChatGPT ประสบความสำเร็จในการย่อบทคัดย่อทางการแพทย์ได้โดยเฉลี่ย XNUMX% โดยได้รับคะแนนสูงจากผู้ตรวจสอบของแพทย์ในด้านคุณภาพและความถูกต้อง
ผลกระทบต่อสุขภาพ
แม้จะมีการให้คะแนนที่สูง แต่การศึกษานี้ระบุถึงความไม่ถูกต้องร้ายแรงและภาพหลอนในบทสรุปเพียงเล็กน้อย ข้อผิดพลาดเหล่านี้มีตั้งแต่การละเว้นข้อมูลที่สำคัญไปจนถึงการตีความการออกแบบการศึกษาที่ไม่ถูกต้อง ซึ่งอาจเปลี่ยนแปลงการตีความผลการวิจัยได้ อย่างไรก็ตาม ประสิทธิภาพของ ChatGPT ในการสรุปบทคัดย่อทางการแพทย์ถือว่าเชื่อถือได้ โดยมีการสังเกตอคติน้อยที่สุด
แม้ว่า ChatGPT จะแสดงให้เห็นถึงความสอดคล้องอย่างมากกับการประเมินโดยมนุษย์ในระดับวารสาร แต่ประสิทธิภาพของ ChatGPT ในการระบุความเกี่ยวข้องของแต่ละบทความกับความเชี่ยวชาญทางการแพทย์เฉพาะทางกลับไม่ค่อยน่าประทับใจนัก ความคลาดเคลื่อนนี้เน้นย้ำถึงข้อจำกัดในความสามารถของ ChatGPT ในการระบุความเกี่ยวข้องของบทความเดี่ยวๆ ได้อย่างแม่นยำในบริบทที่กว้างขึ้นของความเชี่ยวชาญทางการแพทย์
การศึกษานี้ให้ข้อมูลเชิงลึกที่มีคุณค่าเกี่ยวกับศักยภาพของ AI โดยเฉพาะ ChatGPT ในการช่วยเหลือแพทย์ในการทบทวนวรรณกรรมทางการแพทย์อย่างมีประสิทธิภาพ แม้ว่า ChatGPT จะแสดงให้เห็นถึงศักยภาพในการสรุปบทคัดย่อทางการแพทย์ที่มีคุณภาพและความแม่นยำสูง แต่จำเป็นต้องมีการวิจัยเพิ่มเติมเพื่อแก้ไขข้อจำกัดและเพิ่มประสิทธิภาพในบริบททางการแพทย์ที่เฉพาะเจาะจง
การวิจัยในอนาคตอาจมุ่งเน้นไปที่การปรับปรุงความสามารถของ ChatGPT ในการรับรู้ความเกี่ยวข้องของบทความแต่ละบทความกับความเชี่ยวชาญทางการแพทย์เฉพาะทาง นอกจากนี้ ความพยายามในการบรรเทาความไม่ถูกต้องและภาพหลอนในบทสรุปที่สร้างขึ้นอาจช่วยเพิ่มประสิทธิภาพการใช้ประโยชน์ของเครื่องมือ AI ในสถานพยาบาลได้
ที่มา: https://www.cryptopolitan.com/chatgpt-in-summarizing-medical-abstracts/