กลับไปที่บล็อก
ไดอะแกรมวงกลมแสดงสี่ขั้นตอนของการปรับพรอมต์: ทดสอบ ประเมิน ปรับ บันทึก 
เปรียบเทียบก่อนและหลัง แสดงพรอมต์คลุมเครือที่ถูกแปลงเป็นพรอมต์ที่เฉพาะเจาะจงและมีโครงสร้าง
วิธีปรับปรุงพรอมต์ AI ทีละขั้น: ระบบทดสอบที่ใช้งานได้จริง
เลิกเดาว่าทำไมพรอมต์ถึงล้มเหลว วงจร 4 ขั้นตอนสำหรับทดสอบและพัฒนาพรอมต์ที่ให้ผลลัพธ์ดีขึ้นจริง
คุณเขียนพรอมต์ขึ้นมาหนึ่งอัน ผลลัพธ์ออกมาผิด คุณก็เลยเขียนใหม่ ผลก็ยังผิดอยู่ดี แต่ผิดในแบบใหม่ คุณปรับคำไม่กี่คำ สั่งสร้างใหม่ ได้บางอย่างที่ใกล้เคียงขึ้น แล้วก็ลืมไปว่าเปลี่ยนอะไรไปบ้าง ผ่านไปสามสิบนาที คุณกลับมาที่จุดเริ่มต้น ไม่แน่ใจด้วยซ้ำว่าเวอร์ชันไหนดีกว่ากันแน่
วิธีแบบ "สั่งใหม่แล้วภาวนา" นี่แหละคือวิธีที่คนส่วนใหญ่ใช้ AI และเป็นเหตุผลที่คนส่วนใหญ่หงุดหงิดอยู่เรื่อย จากงานวิจัยของ Workday เวลาที่พนักงานประหยัดได้จากการใช้ AI ราว 37% เสียไปกับการแก้งานซ้ำ ทั้งแก้ความผิดพลาด ตรวจสอบผลลัพธ์ และเขียนเนื้อหาใหม่ที่พลาดเป้า
ความต่างระหว่างการปรับมั่ว ๆ กับการปรับอย่างเป็นระบบไม่ได้อยู่ที่ความพยายาม แต่อยู่ที่วิธีการ เมื่อคุณทดสอบ ประเมิน และจดบันทึกการเปลี่ยนแปลงไว้ คุณจะเลิกทำผิดซ้ำ ๆ ที่เดิม คุณจะเรียนรู้ว่าอะไรใช้ได้จริงกับงานของคุณ และคุณจะสร้างพรอมต์ที่ให้ผลลัพธ์ดีอย่างน่าเชื่อถือ แทนที่จะบังเอิญได้ดีบ้างเป็นครั้งคราว
ทำไมการปรับมั่ว ๆ ถึงไม่เวิร์ก
มีเหตุผลว่าทำไมการปรับพรอมต์ถึงรู้สึกเหมือนเล่นพนัน เวลาคุณเปลี่ยนสามอย่างพร้อมกันแล้วผลออกมาดีขึ้น คุณไม่รู้หรอกว่าอันไหนช่วย เวลาคุณเขียนใหม่จากความจำแทนที่จะเทียบเวอร์ชันเก่า คุณก็จับแพตเทิร์นไม่ได้ เวลาคุณลบความพยายามเก่า ๆ ทิ้ง ก็เท่ากับทิ้งข้อมูลที่จะบอกคุณว่าอะไรใช้ได้ผล
งานวิจัยจาก MIT Sloan พบว่าประสิทธิภาพที่เพิ่มขึ้นจากโมเดล AI ขั้นสูงนั้น มีเพียงครึ่งเดียวที่มาจากตัวโมเดลเอง อีกครึ่งหนึ่งมาจากวิธีที่ผู้ใช้ปรับพรอมต์ พูดอีกอย่างคือ ทักษะการเขียนพรอมต์ของคุณสำคัญพอ ๆ กับความสามารถของ AI
แต่ทักษะไม่ใช่เวทมนตร์ มันคือการจดจำแพตเทิร์นที่สร้างขึ้นจากการฝึกฝนอย่างมีระบบ คุณต้องเห็นว่าการเปลี่ยนแบบไหนให้ผลลัพธ์แบบไหน ซึ่งหมายความว่าคุณต้องมีระบบ
วงจรการปรับปรุง 4 ขั้นตอน
การปรับพรอมต์ที่ได้ผลคือลูปง่าย ๆ ดังนี้:
- ทดสอบ — รันพรอมต์และเก็บผลลัพธ์ทั้งหมดไว้
- ประเมิน — เทียบผลลัพธ์กับเป้าหมายที่คุณตั้งไว้
- ปรับ — เปลี่ยนแค่จุดเดียวอย่างตรงเป้าตามสิ่งที่ผิด
- บันทึก — จดว่าคุณเปลี่ยนอะไรและเกิดอะไรขึ้น
ไม่ใช่เรื่องซับซ้อน แต่การทำให้ครบทั้งสี่ขั้น โดยเฉพาะขั้นสุดท้าย คือสิ่งที่แยกคนที่เก่งขึ้นเรื่อย ๆ ออกจากคนที่วนแก้ปัญหาเดิม ๆ
ขั้นที่ 1: รันพรอมต์และเก็บทุกอย่างไว้
เริ่มจากพรอมต์ที่คุณมีอยู่ ไม่ต้องคิดมากกับเวอร์ชันแรก ยังไงคุณก็จะปรับมันอยู่แล้ว เป้าหมายคือได้ตัวเปรียบเทียบไว้วัดผล
เมื่อรันพรอมต์ ให้เก็บทั้งพรอมต์และคำตอบเต็ม ๆ ไว้ ไม่ใช่แค่ส่วนที่ดี ไม่ใช่สรุปสั้น ๆ แต่ทั้งหมด คุณต้องเห็นภาพเต็มถึงจะวิเคราะห์ปัญหาได้
ถ้าคุณกำลังทดสอบใน ChatGPT หรือ Claude ให้ก๊อปปี้บทสนทนาทั้งหมดลงในโน้ตหรือเอกสารก่อนเปลี่ยนอะไร เพราะพอคุณสั่งสร้างใหม่หรือแก้ไข ของเดิมจะหายไปเลย
ขั้นที่ 2: ประเมินผลตามเป้าหมายจริง ๆ ของคุณ
นี่คือจุดที่คนส่วนใหญ่พลาด พวกเขามองผลลัพธ์แล้วคิดว่า "มันยังไม่ค่อยใช่" แล้วก็ลงมือเขียนใหม่ทันที ความรู้สึกคลุมเครือแบบนั้นไม่ได้บอกคุณว่าต้องแก้อะไร
ลองใช้สิ่งที่ผมเรียกว่า Red Pen Test แทน ไล่อ่านผลลัพธ์แล้วทำเครื่องหมายปัญหาเฉพาะจุด:
- โทนเสียงผิดไหม ตรงไหน
- ขาดข้อมูลอะไร เฉพาะเรื่องอะไร
- ยาวเกินไปไหม ส่วนไหนเป็นน้ำ
- มันเข้าใจโจทย์ผิดตรงไหน
- ฟอร์แมตผิดไหม ควรเป็นแบบไหนแทน
เขียนผลการประเมินไว้ "ย่อหน้า 2 ทางการเกินไป ขาดข้อจำกัดเรื่องงบประมาณ และใส่ประวัติบริษัทที่ไม่เกี่ยวข้องเข้ามา" ตอนนี้คุณรู้แล้วว่าต้องแก้อะไรเป๊ะ ๆ
ขั้นที่ 3: เปลี่ยนทีละอย่างเท่านั้น
นี่คือวินัยที่รักษายากที่สุด และสำคัญที่สุด เมื่อคุณเปลี่ยนหลายอย่างพร้อมกัน คุณจะเรียนรู้ไม่ได้ว่าการเปลี่ยนไหนใช้ได้ผล งานวิจัยด้าน A/B testing แสดงให้เห็นมาตลอดว่าการแยกตัวแปรเดียว คือหัวใจสำคัญ การทดสอบหลายการเปลี่ยนแปลงพร้อมกันทำให้แทบเป็นไปไม่ได้เลยที่จะระบุว่าผลลัพธ์มาจากอะไร
เลือกปัญหาสำคัญที่สุดจากการประเมิน แล้วแก้แค่จุดนั้น วิธีแก้ที่พบบ่อยมีเช่น:
- เพิ่มบริบท: ให้ข้อมูลพื้นหลังที่ AI ต้องรู้เพื่อเข้าใจสถานการณ์ของคุณ
- เพิ่มข้อจำกัด: ระบุความยาว ฟอร์แมต โทนเสียง หรือสิ่งที่ไม่ต้องใส่
- เพิ่มตัวอย่าง: แสดงให้เห็นว่าผลลัพธ์ที่ดีหน้าตาเป็นยังไง (เรียกว่า few-shot prompting)
- อธิบายโจทย์ให้ชัด: เขียนคำสั่งที่คลุมเครือใหม่ให้เฉพาะเจาะจง
- กำหนดบทบาท: บอก AI ว่าเป็นใคร (ดู role prompting)
แก้ทีละจุด รันพรอมต์อีกครั้ง แล้วเปรียบเทียบ ช่วยไหม ทำให้เกิดปัญหาใหม่หรือเปล่า คุณจะรู้ทันที เพราะคุณเปลี่ยนแค่เรื่องเดียว
ขั้นที่ 4: บันทึกสิ่งที่คุณเปลี่ยน
ขั้นนี้รู้สึกเหมือนเป็นทางเลือก แต่ไม่ใช่ ถ้าไม่บันทึก คุณจะทดลองสิ่งที่ล้มเหลวซ้ำ ลืมเทคนิคที่เคยได้ผล และเสียพรอมต์ที่ดีที่สุดของคุณไปกับประวัติแชต
บันทึกของคุณไม่ต้องวิจิตรพิสดาร log แบบเรียบ ๆ ก็พอแล้ว:
- เวอร์ชัน: v1, v2, v3...
- เปลี่ยนอะไร: "เพิ่มข้อจำกัดความยาว 200 คำ"
- ผลลัพธ์: "ความยาวถูกแล้ว แต่เสียโทนเป็นกันเองไป"
- เก็บไว้หรือทิ้ง: เก็บข้อจำกัดไว้ แก้โทนในรอบถัดไป
เมื่อเวลาผ่านไป log นี้จะกลายเป็นคู่มือส่วนตัว คุณจะเริ่มเห็นแพตเทิร์น เช่น การเพิ่มตัวอย่างมักช่วยงานเขียนของคุณเสมอ หรือการระบุฟอร์แมตตั้งแต่แรกทำให้ได้โครงสร้างที่ดีกว่า ความเข้าใจเหล่านี้สะสมทับกันไปเรื่อย ๆ
ถ้าคุณกำลังปรับพรอมต์ที่จะใช้ซ้ำ ๆ เครื่องมืออย่าง PromptNest ช่วยให้คุณแนบโน้ตติดกับแต่ละพรอมต์ได้โดยตรง คุณจะติดตามได้ว่าเคยลองอะไรไป อะไรใช้ได้ผล และเพราะอะไร โดยไม่ต้องแยกเอกสารให้ยุ่งยาก
ตัวอย่างจริง: ปรับพรอมต์สรุปการประชุม
ลองดูวงจรการปรับจริงกัน สมมติว่าคุณต้องสรุปบันทึกประชุมเป็นรายการสิ่งที่ต้องทำให้ทีม
เวอร์ชัน 1:
สรุปบันทึกการประชุมนี้
{{meeting_notes}}
ผลลัพธ์: สรุปทั่ว ๆ ไปที่ฝังรายการสิ่งที่ต้องทำไว้ในย่อหน้ายาว ๆ ของบริบท ยาวเกินไปและคุณต้องไปไล่หาว่าจริง ๆ แล้วต้องทำอะไรบ้าง
ประเมิน: ขาดผลลัพธ์ที่มีโครงสร้าง ไม่มีรายการสิ่งที่ต้องทำชัด ๆ มีการสรุปย้ำที่ไม่จำเป็น
เปลี่ยน: เพิ่มข้อจำกัดเรื่องฟอร์แมต
เวอร์ชัน 2:
ดึงรายการสิ่งที่ต้องทำจากบันทึกการประชุมนี้ ฟอร์แมตเป็นรายการ bullet พร้อมชื่อผู้รับผิดชอบในวงเล็บเหลี่ยมหลังแต่ละข้อ
{{meeting_notes}}
ผลลัพธ์: รายการ bullet ของสิ่งที่ต้องทำพร้อมผู้รับผิดชอบ สะอาดดี แต่บางข้อยังคลุมเครือ ("ตามเรื่องที่คุยกันต่อ") และไม่มีกำหนดเวลา
ประเมิน: ฟอร์แมตดี แต่รายละเอียดและเวลายังขาด
เปลี่ยน: เพิ่มข้อกำหนดเรื่องความเฉพาะเจาะจงและกำหนดเวลา
เวอร์ชัน 3:
ดึงรายการสิ่งที่ต้องทำจากบันทึกการประชุมนี้
สำหรับแต่ละข้อ ให้ระบุ:
- สิ่งที่ต้องทำให้ชัดเจน (ไม่ใช่อ้างอิงคลุมเครือ)
- ผู้รับผิดชอบ [ใส่ในวงเล็บเหลี่ยม]
- กำหนดเวลาถ้ามีระบุ หรือ "ไม่ระบุกำหนดเวลา"
ถ้าข้อไหนไม่ชัดในบันทึก ให้ใส่ "[ต้องการความชัดเจนเพิ่ม]" ไว้ ผมจะได้ตามต่อ
{{meeting_notes}}
ผลลัพธ์: รายการสิ่งที่ต้องทำที่ชัดเจน ผู้รับผิดชอบครบ มีกำหนดเวลาเมื่อมีข้อมูล และทำเครื่องหมายไว้ตรงข้อที่กำกวม นี่คือเวอร์ชันที่ใช้งานได้จริง
ปรับสามรอบ แต่ละรอบแก้ปัญหาเฉพาะที่เจอจากการประเมิน พรอมต์สุดท้ายดีกว่ารอบแรกอย่างเห็นได้ชัด และคุณรู้ดีว่าทำไม
เมื่อไหร่ควรหยุดปรับ
การปรับมีจุดที่ผลตอบแทนลดลงเรื่อย ๆ ถึงจุดหนึ่งคุณก็แค่ขัดเงาของที่ดีพออยู่แล้ว สัญญาณที่บอกว่าควรหยุดมีดังนี้:
ผลลัพธ์ตรงตามที่ต้องการ ไม่ใช่สมบูรณ์แบบ แค่ตรงตามต้องการ ถ้ามันทำในสิ่งที่คุณต้องการได้ ก็ส่งได้แล้ว
การเปลี่ยนทำให้แย่ลง บางทีคุณก็ติดอยู่ที่จุดสูงสุดเฉพาะที่ ถ้าสามครั้งล่าสุดที่เปลี่ยนทำให้แย่ลงทั้งหมด ให้ย้อนกลับไปเวอร์ชันที่ดีที่สุดแล้วถือว่าจบ
คุณกำลังปรับเพื่อกรณีพิเศษสุด ๆ ถ้าพรอมต์ใช้ได้ 90% ของเวลา และคุณใช้เวลาเป็นชั่วโมง ๆ กับ 10% ที่เหลือ ลองคิดว่าเวลานั้นคุ้มหรือเปล่า
ปัญหาอยู่ที่ตัวงาน ไม่ใช่พรอมต์ บางงานก็ยากสำหรับ AI ปัจจุบันจริง ๆ ถ้าคุณลองทุกแนวทางที่สมเหตุสมผลแล้ว ปัญหาอาจอยู่ที่คุณกำลังขอให้ AI ทำสิ่งที่มันยังทำได้ไม่น่าเชื่อถือพอ
สร้างระบบของคุณ ไม่ใช่แค่พรอมต์
คุณค่าจริง ๆ ของการปรับอย่างเป็นระบบไม่ได้อยู่ที่พรอมต์ตัวใดตัวหนึ่งที่ดีขึ้น แต่อยู่ที่ทักษะที่คุณพัฒนาและคลังพรอมต์ที่คุณสร้างขึ้น
ทุกพรอมต์ที่คุณปรับแต่งจะสอนบางอย่างเกี่ยวกับวิธีที่ AI ตอบสนองต่อคำสั่ง เมื่อเวลาผ่านไป คุณจะเริ่มได้ดราฟต์แรกที่ดีขึ้นเพราะคุณซึมซับว่าอะไรใช้ได้ผล คุณจะจำแพตเทิร์นความล้มเหลวที่พบบ่อยได้ทันที และคุณจะมีคลังพรอมต์ที่พิสูจน์แล้วไว้ปรับใช้กับงานใหม่ ๆ
คลังนี้สำคัญ คนเขียนพรอมต์ที่เก่งที่สุดไม่ได้เริ่มจากศูนย์ทุกครั้ง พวกเขาเก็บคลังพรอมต์ที่ทดสอบแล้วไว้ปรับและใช้ซ้ำ จากผลสำรวจของ Rev.com ผู้ใช้ที่พบว่าคำแนะนำพรอมต์มีประโยชน์ มีโอกาสได้คำตอบที่น่าพอใจในเวลาน้อยกว่าสองนาทีสูงกว่าผู้ที่ไม่พบถึง 280%
ถ้าคุณกำลังสะสมพรอมต์ที่ควรเก็บไว้ PromptNest ให้ที่อยู่เหมาะ ๆ กับมัน จัดเป็นโปรเจกต์ ค้นหาได้ และเรียกใช้ด้วยคีย์ลัดจากแอปไหนก็ได้ คุณบันทึกพรอมต์ที่ผ่านการปรับแล้วพร้อมตัวแปร อย่าง
{{meeting_notes}} ในตัว ใส่ค่าตอนใช้ และข้ามขั้นตอนการปรับไปได้เลย เพราะคุณทำเสร็จไปแล้วเริ่มใช้วงจร 4 ขั้นตอนกับพรอมต์ตัวต่อไปของคุณ ทดสอบ ประเมิน ปรับ บันทึก ตอนแรกอาจใช้เวลานานขึ้นนิดหน่อย แต่ทุกชั่วโมงที่คุณลงทุนกับการปรับ คือชั่วโมงที่คุณจะประหยัดได้ — หลายเท่าตัว — เมื่อพรอมต์ของคุณใช้งานได้จริง