Kā iterēt AI uzvednes: vienkārša testēšanas sistēma
Beidz minēt, kāpēc tavas uzvednes neizdodas. 4 soļu cikls uzvedņu testēšanai un uzlabošanai, kas patiešām nodrošina labākus rezultātus.
Tu uzrakstīji uzvedni. Rezultāts bija nepareizs. Tāpēc tu to pārrakstīji. Joprojām nepareizs, tikai citādāk nepareizs. Tu pielāboji dažus vārdus, ģenerēji no jauna, ieguvi kaut ko tuvāku — un tad pazaudēji virzienu, ko biji izmainījis. Trīsdesmit minūtes vēlāk esi tur, kur sāki, un nezini, kura versija patiesībā bija labāka.
Šī pieeja "ģenerē un ceri" ir veids, kā lielākā daļa cilvēku izmanto AI. Un tieši tāpēc lielākā daļa paliek vīlušies. Saskaņā ar Workday pētījumu aptuveni 37% no laika, ko darbinieki ietaupa, izmantojot AI, tiek zaudēti pārstrādei — kļūdu labošanai, rezultātu pārbaudei un satura pārrakstīšanai, kas neatbilst mērķim.
Atšķirība starp nejaušu pielāgošanu un sistemātisku iterāciju nav piepūlē — tā ir metodē. Kad tu testē, novērtē un dokumentē savas izmaiņas, tu pārtrauc atkārtot vienas un tās pašas kļūdas. Tu uzzini, kas patiesi darbojas tavā konkrētajā gadījumā. Un tu izveido uzvednes, kas droši sniedz labus rezultātus, nevis tikai dažkārt nejauši uztriecas tiem.
Kāpēc nejauša pielāgošana nedarbojas
Ir iemesls, kāpēc uzvedņu iterācija jūtas kā azartspēle. Kad tu vienlaikus maini trīs lietas un rezultāts uzlabojas, tu nezini, kura izmaiņa palīdzēja. Kad tu pārraksti pēc atmiņas, nevis salīdzini versijas, tu nepamani sakarības. Kad tu izdzēs savus vecos mēģinājumus, tu zaudē datus, kas pateiktu, kas darbojas.
MIT Sloan pētījumā atklāts, ka tikai puse no progresīvo AI modeļu sniegtā veiktspējas pieauguma nāk no paša modeļa. Otra puse nāk no tā, kā lietotāji pielāgo savas uzvednes. Citiem vārdiem, tava prasme veidot uzvednes ir tikpat svarīga kā paša AI iespējas.
Bet prasme nav burvība. Tā ir sakarību atpazīšana, kas izveidota strukturētā praksē. Tev jāredz, kādas izmaiņas rada kādus rezultātus — un tāpēc tev vajag sistēmu.
4 soļu iterācijas cikls
Efektīva uzvedņu iterācija seko vienkāršam ciklam:
Testē — palaid uzvedni un saglabā pilno rezultātu
Novērtē — salīdzini rezultātu ar savu konkrēto mērķi
Pilnveido — veic vienu mērķtiecīgu izmaiņu, balstoties uz to, kas nav kārtībā
Dokumentē — pieraksti, ko izmainīji un kas notika
Tas nav sarežģīti. Bet visu četru soļu izpilde — īpaši pēdējā — atšķir cilvēkus, kuri pakāpeniski uzlabojas, no tiem, kuri turpina cīnīties ar tām pašām problēmām.
Apļveida diagramma, kas parāda četrus uzvedņu iterācijas soļus: testē, novērtē, pilnveido, dokumentē
1. solis: palaid uzvedni un saglabā visu
Sāc ar to uzvedni, kāda tev ir. Nepārdomā pirmo versiju pārāk daudz — tu to tāpat uzlabosi. Mērķis ir iegūt sākuma punktu, ar ko salīdzināt.
Kad palaid uzvedni, saglabā gan uzvedni, gan pilnu atbildi. Ne tikai labās daļas. Ne kopsavilkumu. Visu. Tev nepieciešams pilns kopskats, lai diagnosticētu problēmas.
Ja testē ChatGPT vai Claude, pirms izmaiņu veikšanas iekopē visu sarunu piezīmē vai dokumentā. Tiklīdz ģenerē no jauna vai rediģē, oriģināls ir pazudis.
2. solis: novērtē atbilstoši savam patiesajam mērķim
Šeit lielākā daļa cilvēku kļūdās. Viņi paskatās uz rezultātu un nodomā "tas nav gluži tas" — un tad uzreiz sāk pārrakstīt. Šī neskaidrā neapmierinātība nepasaka, ko labot.
Tā vietā izmanto to, ko es saucu par sarkanā zīmuļa testu. Izstaigā rezultātu un atzīmē konkrētas problēmas:
Vai tonis ir nepareizs? Kur tieši?
Vai trūkst informācijas? Kā tieši?
Vai tas ir pārāk garš? Kuras daļas ir liekas?
Vai uzdevums tika pārprasts? Kā?
Vai formāts ir nepareizs? Kādam tam vajadzētu būt?
Pieraksti savu novērtējumu. "Pārāk formāli 2. rindkopā, trūkst budžeta ierobežojuma, iekļauta nesvarīga informācija par uzņēmuma vēsturi." Tagad tu precīzi zini, ko labot.
3. solis: veic vienu izmaiņu vienlaikus
Šī ir grūtākā disciplīna, ko uzturēt, un vissvarīgākā. Kad maini vairākas lietas vienlaikus, tu nevari uzzināt, kura izmaiņa nostrādāja. A/B testēšanas pētījumi konsekventi rāda, ka viena mainīgā izolēšana ir izšķiroša — vairāku izmaiņu vienlaicīga testēšana padara neiespējamu rezultātu attiecināšanu.
Izvēlies svarīgāko problēmu no sava novērtējuma un risini tikai to. Bieži lietoti labojumi:
Pievieno kontekstu: sniedz pamatinformāciju, kas AI vajadzīga, lai saprastu tavu situāciju
Pievieno ierobežojumus: norādi garumu, formātu, toni vai to, ko izlaist
Pievieno piemērus: parādi, kā izskatās labs rezultāts (to sauc par few-shot prompting)
Precizē uzdevumu: pārraksti neskaidrus norādījumus, lai tie būtu konkrēti
Piešķir lomu: pasaki AI, kam tam jābūt (skati lomu uzvednes)
Veic savu vienu izmaiņu, palaid uzvedni vēlreiz un salīdzini. Vai tas palīdzēja? Vai radās jauna problēma? Tu zināsi, jo izmainīji tikai vienu lietu.
4. solis: dokumentē, ko izmainīji
Šis solis šķiet neobligāts. Tas tāds nav. Bez dokumentācijas tu atkārtosi neveiksmīgus eksperimentus, aizmirsīsi veiksmīgas metodes un pazaudēsi savas labākās uzvednes čata vēsturē.
Tavai dokumentācijai nav jābūt sarežģītai. Pietiek ar vienkāršu žurnālu:
Versija: v1, v2, v3...
Kas mainījās: "Pievienots vārdu skaita ierobežojums 200 vārdi"
Rezultāts: "Tagad pareizs garums, bet zaudēts sarunvalodas tonis"
Saglabāt vai atmest: paturēt ierobežojumu, nākamo reizi labot toni
Laika gaitā šis žurnāls kļūst par tavu personīgo rokasgrāmatu. Tu pamanīsi sakarības — varbūt piemēru pievienošana vienmēr palīdz tavos rakstīšanas uzdevumos vai varbūt formāta norādīšana sākumā rada labāku struktūru. Šīs atziņas uzkrājas.
Ja iterē uzvednes, ko izmantosi atkārtoti, tāds rīks kā PromptNest ļauj piesaistīt piezīmes katrai uzvednei tieši. Tu vari sekot līdzi tam, ko izmēģināji, kas darbojās un kāpēc — bez nepieciešamības uzturēt atsevišķu dokumentu.
Reāls piemērs: sapulces kopsavilkuma uzvednes iterēšana
Iziesim cauri reālam iterācijas ciklam. Pieņemsim, ka tev jāapkopo sapulces piezīmes savas komandas darbības punktos.
1. versija:
Apkopo šīs sapulces piezīmes.
{{meeting_notes}}
Rezultāts: vispārējs kopsavilkums, kas darbības punktus aprok zem rindkopu daudziem konteksta vārdiem. Pārāk garš, un tev nākas meklēt, kas patiesībā ir jādara.
Novērtējums: trūkst strukturēta rezultāta. Nav skaidru darbības punktu. Iekļauts nevajadzīgs atstāsts.
Izmaiņa: pievieno formāta ierobežojumus.
2. versija:
Izvelc darbības punktus no šīm sapulces piezīmēm. Noformē kā saraksta punktus, aiz katra punkta kvadrātiekavās norādot atbildīgā vārdu.
{{meeting_notes}}
Rezultāts: tīrs darbības punktu saraksts ar atbildīgajiem. Bet daži punkti ir neskaidri ("sekot līdzi tam, par ko runājām"), un trūkst termiņu.
Novērtējums: labs formāts, bet punktiem trūkst konkrētības un laika rāmja.
Izmaiņa: pievieno prasības par konkrētību un termiņiem.
Salīdzinājums pirms un pēc, kas parāda neskaidru uzvedni, pārveidotu konkrētā un strukturētā uzvednē
3. versija:
Izvelc darbības punktus no šīm sapulces piezīmēm.
Par katru darbības punktu iekļauj:
- Kas konkrēti jāizdara (bez neskaidrām atsaucēm)
- Kas par to atbild [kvadrātiekavās]
- Termiņu, ja tas pieminēts, vai "Termiņš nav norādīts"
Ja darbības punkts piezīmēs nav skaidrs, atzīmē to ar "[NEPIECIEŠAMS PRECIZĒT]", lai es varu sazināties.
{{meeting_notes}}
Rezultāts: konkrēti darbības punkti, skaidri atbildīgie, termiņi, kur pieejami, un atzīmes uz visu, kas ir neviennozīmīgs. To var izmantot.
Trīs iterācijas. Katra risināja konkrētu problēmu, kas tika atklāta novērtēšanā. Galīgā uzvedne ir krietni labāka par pirmo — un tu precīzi zini, kāpēc.
Kad pārtraukt iterāciju
Iterācijai ir samazinošs pieaugums. Kādā brīdī tu spodrini kaut ko, kas jau ir pietiekami labs. Lūk, pazīmes, ka būtu jāapstājas:
Rezultāts atbilst tavām prasībām. Nevis perfekts — atbilst prasībām. Ja tas dara to, kas tev vajadzīgs, palaid to darbā.
Izmaiņas pasliktina lietas. Reizēm tu sasniedz lokālu maksimumu. Ja pēdējās trīs izmaiņas pasliktināja kvalitāti, atgriezies pie savas labākās versijas un uzskati to par paveiktu.
Tu optimizē malējos gadījumus. Ja uzvedne darbojas 90% gadījumu un tu pavadi stundas pie atlikušajiem 10%, padomā, vai tas laiks ir tā vērts.
Problēma ir uzdevumā, nevis uzvednē. Daži uzdevumi tagadējam AI ir patiesi grūti. Ja esi izmēģinājis visas saprātīgās pieejas, problēma var būt tā, ka prasi AI darīt kaut ko, ko tas vēl nespēj droši izdarīt.
Veido savu sistēmu, ne tikai uzvednes
Sistemātiskas iterācijas patiesā vērtība nav neviena atsevišķa uzlabota uzvedne. Tā ir prasme, ko tu attīsti, un bibliotēka, ko izveido.
Katra uzvedne, ko iterē, tev iemāca kaut ko par to, kā AI reaģē uz norādījumiem. Laika gaitā tu sāksi rakstīt labākus pirmos uzmetumus, jo būsi internalizējis, kas darbojas. Tu uzreiz atpazīsi tipiskas neveiksmju sakarības. Tev būs pārbaudītu uzvedņu kolekcija, ko vari pielāgot jauniem uzdevumiem.
Šī kolekcija ir svarīga. Labākie uzvedņu inženieri katru reizi nesāk no nulles — viņi uztur testētu uzvedņu bibliotēkas, ko var pārveidot un izmantot atkārtoti. Saskaņā ar Rev.com aptauju, lietotājiem, kuriem uzvedņu ieteikumi šķiet noderīgi, ir par 280% lielāka iespēja saņemt apmierinošas atbildes mazāk nekā divās minūtēs salīdzinājumā ar tiem, kuriem tie nav.
Ja krāj uzvednes, ko ir vērts paturēt, PromptNest tām dod īstas mājas — sakārtotas pa projektiem, meklējamas un pieejamas ar īsinājumtaustiņu no jebkuras lietotnes. Tu vari saglabāt savas iterētās uzvednes ar mainīgajiem, piemēram, {{meeting_notes}}, jau iebūvētiem, aizpildīt tukšās vietas, kad tās vajag, un pilnībā izlaist iterācijas procesu, jo darbu jau esi izdarījis.
Sāc ar 4 soļu ciklu nākamajā uzvednē. Testē, novērtē, pilnveido, dokumentē. Sākumā tas prasa nedaudz vairāk laika. Bet katra stunda, ko ieguldi iterācijā, ir stunda, ko tu ietaupīsi — daudzkārt — kad tavas uzvednes patiešām strādās.
