Cara Menambah Baik Prompt AI: Sistem Pengujian yang Mudah
Berhenti meneka kenapa prompt anda gagal. Kitaran 4 langkah untuk menguji dan menambah baik prompt yang benar-benar memberikan hasil lebih baik.
Anda menulis sebuah prompt. Hasilnya tidak betul. Jadi anda tulis semula. Masih tidak betul, tetapi salah dengan cara yang lain pula. Anda ubah beberapa perkataan, jana semula, dapat sesuatu yang lebih hampir — kemudian terlupa apa yang anda ubah. Tiga puluh minit kemudian, anda kembali ke titik permulaan, tidak pasti versi mana yang sebenarnya lebih baik.
Pendekatan "jana semula dan harap" inilah cara kebanyakan orang menggunakan AI. Dan inilah sebabnya kebanyakan orang terus rasa kecewa. Menurut kajian Workday, kira-kira 37% daripada masa yang dijimatkan pekerja menggunakan AI hilang kepada kerja membaiki — membetulkan kesilapan, mengesahkan output, dan menulis semula kandungan yang tersasar.
Beza antara mengubah secara rawak dengan iterasi sistematik bukanlah usaha — tetapi kaedah. Apabila anda menguji, menilai, dan mendokumenkan perubahan anda, anda berhenti mengulang kesilapan yang sama. Anda belajar apa yang sebenarnya berkesan untuk kes guna khusus anda. Dan anda membina prompt yang konsisten memberikan hasil yang baik, bukan sekadar tersilap dapat hasil yang bagus sekali-sekala.
Kenapa mengubah secara rawak tidak berkesan
Ada sebabnya iterasi prompt terasa seperti berjudi. Apabila anda mengubah tiga perkara serentak dan output bertambah baik, anda tidak tahu perubahan mana yang membantu. Apabila anda menulis semula daripada ingatan tanpa membandingkan versi, anda tidak boleh mengesan corak. Apabila anda memadam percubaan lama, anda kehilangan data yang sepatutnya memberitahu anda apa yang berkesan.
Kajian daripada MIT Sloan mendapati hanya separuh peningkatan prestasi daripada model AI canggih datang daripada model itu sendiri. Separuh lagi datang daripada cara pengguna menyesuaikan prompt mereka. Dengan kata lain, kemahiran prompting anda sama pentingnya dengan keupayaan AI itu sendiri.
Tetapi kemahiran bukan sihir. Ia adalah pengecaman corak yang dibina melalui latihan berstruktur. Anda perlu lihat perubahan apa menghasilkan hasil apa — bermakna anda perlukan satu sistem.
Kitaran iterasi 4 langkah
Iterasi prompt yang berkesan mengikut satu gelung mudah:
Uji — Jalankan prompt anda dan rakam keseluruhan output
Nilai — Bandingkan hasilnya dengan matlamat khusus anda
Perhalus — Buat satu perubahan yang disasarkan berdasarkan apa yang salah
Dokumen — Catatkan apa yang anda ubah dan apa yang berlaku
Ini bukan sesuatu yang rumit. Tetapi melaksanakan keempat-empat langkah — terutamanya yang terakhir — itulah yang membezakan orang yang semakin baik dengan orang yang terus bergelut dengan masalah yang sama.
Gambar rajah bulat menunjukkan empat langkah iterasi prompt: Uji, Nilai, Perhalus, Dokumen
Langkah 1: Jalankan prompt anda dan rakam segalanya
Mulakan dengan apa-apa prompt yang anda ada. Jangan terlalu fikir tentang versi pertama — anda akan menambah baiknya juga nanti. Matlamatnya adalah mendapatkan asas yang boleh anda jadikan pengukur.
Apabila anda menjalankan prompt itu, simpan kedua-dua prompt dan respons yang lengkap. Bukan setakat bahagian yang baik. Bukan ringkasan. Semuanya. Anda perlukan gambaran penuh untuk mendiagnosis masalah.
Jika anda menguji dalam ChatGPT atau Claude, salin keseluruhan perbualan ke dalam nota atau dokumen sebelum membuat perubahan. Sekali anda jana semula atau edit, yang asal hilang.
Langkah 2: Nilai berdasarkan matlamat sebenar anda
Di sinilah kebanyakan orang tersilap. Mereka melihat output dan berfikir "ini tak berapa kena" — kemudian terus mula menulis semula. Rasa tidak puas hati yang kabur itu tidak memberitahu anda apa yang perlu dibetulkan.
Sebaliknya, gunakan apa yang saya panggil Ujian Pen Merah. Teliti output dan tandakan masalah khusus:
Adakah nada salah? Di mana tepatnya?
Adakah maklumat tidak lengkap? Apa yang khususnya hilang?
Adakah ia terlalu panjang? Bahagian mana yang berlebihan?
Adakah ia salah faham tentang tugasan? Bagaimana?
Adakah formatnya salah? Apa yang sepatutnya?
Tulis penilaian anda. "Terlalu formal di perenggan 2, terlepas kekangan bajet, sertakan latar belakang sejarah syarikat yang tidak relevan." Sekarang anda tahu apa yang perlu dibetulkan.
Langkah 3: Buat satu perubahan pada satu masa
Inilah disiplin yang paling sukar untuk dikekalkan, dan paling penting. Apabila anda mengubah pelbagai perkara serentak, anda tidak boleh belajar perubahan mana yang berkesan. Kajian ujian A/B secara konsisten menunjukkan bahawa memencilkan satu pemboleh ubah adalah kritikal — menguji pelbagai perubahan serentak menjadikan mustahil untuk mengaitkan hasil dengan sebabnya.
Pilih masalah paling penting daripada penilaian anda dan tangani hanya itu sahaja. Pembetulan biasa termasuk:
Tambah konteks: Beri latar belakang yang AI perlukan untuk memahami situasi anda
Tambah kekangan: Tetapkan panjang, format, nada, atau apa yang perlu dikecualikan
Tambah contoh: Tunjukkan rupa output yang baik (ini dipanggil few-shot prompting)
Jelaskan tugasan: Tulis semula arahan yang kabur supaya menjadi khusus
Berikan peranan: Beritahu AI siapa ia sepatutnya jadi (lihat role prompting)
Buat satu perubahan, jalankan prompt sekali lagi, dan bandingkan. Adakah ia membantu? Adakah ia mencipta masalah baru? Anda akan tahu kerana anda hanya mengubah satu perkara.
Langkah 4: Dokumenkan apa yang anda ubah
Langkah ini terasa pilihan. Sebenarnya tidak. Tanpa dokumentasi, anda akan mengulang eksperimen yang gagal, terlupa teknik yang berjaya, dan kehilangan prompt terbaik anda dalam sejarah sembang.
Dokumentasi anda tidak perlu rumit. Log mudah pun memadai:
Versi: v1, v2, v3...
Apa yang berubah: "Tambah kekangan kiraan perkataan 200 patah"
Hasil: "Output kini panjang yang betul tetapi hilang nada perbualan"
Simpan atau buang: Simpan kekangan, betulkan nada seterusnya
Lama-kelamaan, log ini menjadi panduan peribadi anda. Anda akan perasan corak — mungkin menambah contoh sentiasa membantu untuk tugasan penulisan anda, atau mungkin menetapkan format awal menghasilkan struktur yang lebih baik. Pemerhatian seperti ini berganda dengan masa.
Jika anda mengiterasi prompt yang akan digunakan berulang kali, alat seperti PromptNest membenarkan anda melekatkan nota terus pada setiap prompt. Anda boleh menjejak apa yang anda dah cuba, apa yang berkesan, dan kenapa — tanpa perlu menyelenggara dokumen yang berasingan.
Mari kita lalui satu kitaran iterasi yang sebenar. Katakan anda perlu meringkaskan nota mesyuarat menjadi senarai tindakan untuk pasukan anda.
Versi 1:
Ringkaskan nota mesyuarat ini.
{{meeting_notes}}
Hasil: Ringkasan umum yang menyembunyikan senarai tindakan dalam perenggan-perenggan konteks. Terlalu panjang, dan anda terpaksa mencari apa yang sebenarnya perlu dilakukan.
Penilaian: Tiada output berstruktur. Tiada senarai tindakan yang jelas. Termasuk imbasan semula yang tidak perlu.
Perubahan: Tambah kekangan format.
Versi 2:
Keluarkan senarai tindakan daripada nota mesyuarat ini. Format sebagai senarai berbulet dengan nama pemilik dalam kurungan selepas setiap item.
{{meeting_notes}}
Hasil: Senarai berbulet kemas dengan pemilik. Tetapi sesetengah item kabur ("susulan tentang perkara yang kita bincang") dan tarikh akhir hilang.
Penilaian: Format bagus, tetapi item kekurangan kekhususan dan masa.
Perubahan: Tambah keperluan untuk kekhususan dan tarikh akhir.
Perbandingan sebelum dan selepas menunjukkan prompt kabur diubah menjadi prompt yang khusus dan berstruktur
Versi 3:
Keluarkan senarai tindakan daripada nota mesyuarat ini.
Untuk setiap item tindakan, sertakan:
- Apa yang khusus perlu dilakukan (bukan rujukan kabur)
- Siapa pemiliknya [dalam kurungan]
- Tarikh akhir jika disebut, atau "Tiada tarikh akhir dinyatakan"
Jika satu item tindakan tidak jelas dalam nota, tandakan dengan "[PERLU PENJELASAN]" supaya saya boleh buat susulan.
{{meeting_notes}}
Hasil: Senarai tindakan yang khusus, pemilik yang jelas, tarikh akhir di mana ada, dan tanda pada apa-apa yang kabur. Ini boleh digunakan.
Tiga iterasi. Setiap satu menangani masalah khusus yang dikenal pasti dalam penilaian. Prompt akhir jauh lebih baik daripada yang pertama — dan anda tahu dengan tepat kenapa.
Bila perlu berhenti mengiterasi
Iterasi mempunyai pulangan yang semakin berkurangan. Pada satu titik, anda hanya menggilap sesuatu yang sudah cukup baik. Berikut adalah tanda-tanda anda patut berhenti:
Output memenuhi keperluan anda. Bukan sempurna — keperluan. Jika ia melaksanakan apa yang anda perlukan, hantar.
Perubahan menjadikan keadaan lebih buruk. Kadang-kadang anda mencapai had setempat. Jika tiga perubahan terakhir anda semuanya merosakkan kualiti, kembali kepada versi terbaik anda dan hentikan di situ.
Anda mengoptimumkan untuk kes pinggiran. Jika prompt berfungsi 90% daripada masa dan anda menghabiskan berjam-jam pada baki 10%, fikirkan sama ada masa itu berbaloi atau tidak.
Masalahnya adalah tugasan, bukan prompt. Sesetengah tugasan memang sukar untuk AI semasa. Jika anda sudah cuba setiap pendekatan yang munasabah, isunya mungkin meminta AI melakukan sesuatu yang ia belum mampu lakukan secara konsisten lagi.
Bina sistem anda, bukan sekadar prompt anda
Nilai sebenar iterasi sistematik bukanlah satu prompt yang lebih baik. Ia adalah kemahiran yang anda bangunkan dan perpustakaan yang anda bina.
Setiap prompt yang anda iterasi mengajar anda sesuatu tentang bagaimana AI bertindak balas terhadap arahan. Lama-kelamaan, anda akan mula mendapat draf pertama yang lebih baik kerana anda telah meresapi apa yang berkesan. Anda akan mengenali corak kegagalan biasa dengan segera. Anda akan mempunyai koleksi prompt terbukti yang boleh anda sesuaikan untuk tugasan baru.
Koleksi itu penting. Jurutera prompt terbaik tidak mula dari awal setiap kali — mereka menyelenggara perpustakaan prompt yang telah diuji yang boleh mereka ubah suai dan guna semula. Menurut tinjauan Rev.com, pengguna yang mendapati cadangan prompt berguna adalah 280% lebih berkemungkinan mendapat jawapan yang memuaskan dalam masa kurang dua minit berbanding mereka yang tidak.
Jika anda sedang mengumpul prompt yang berbaloi disimpan, PromptNest memberikan tempat yang sesuai — tersusun mengikut projek, boleh dicari, dan boleh diakses dengan pintasan papan kekunci dari mana-mana aplikasi. Anda boleh menyimpan prompt yang sudah diiterasi dengan pemboleh ubah seperti {{meeting_notes}} terbina, isikan ruang kosong bila anda perlukan, dan langkau proses iterasi sepenuhnya kerana anda sudah pun melakukannya.
Mulakan dengan kitaran 4 langkah pada prompt anda yang seterusnya. Uji, nilai, perhalus, dokumen. Ia mengambil masa sedikit lebih lama pada awalnya. Tetapi setiap jam yang anda laburkan dalam iterasi adalah satu jam yang anda akan jimatkan — berkali-kali ganda — apabila prompt anda benar-benar berfungsi.
