Kako iterirati AI promptove: jednostavan sistem za testiranje
Prestanite da nagađate zašto vaši promptovi ne rade. Ciklus od 4 koraka za testiranje i unapređenje promptova koji zaista daje bolje rezultate.
Napisali ste prompt. Rezultat je bio pogrešan. Pa ste ga prepravili. I dalje pogrešan, ali na drugačiji način. Promenili ste nekoliko reči, generisali ponovo, dobili nešto bliže — pa izgubili pregled nad tim šta ste menjali. Trideset minuta kasnije, vratili ste se na početak i niste sigurni koja verzija je zapravo bila bolja.
Ovaj pristup „generiši ponovo i nadaj se“ je način na koji većina ljudi koristi AI. I zato većina ljudi ostaje frustrirana. Prema istraživanju kompanije Workday, oko 37% vremena koje zaposleni uštede koristeći AI gubi se na doradu — ispravljanje grešaka, proveru rezultata i prepravljanje sadržaja koji je promašio cilj.
Razlika između nasumičnog doterivanja i sistematske iteracije nije u trudu — već u metodi. Kada testirate, procenjujete i dokumentujete promene, prestajete da ponavljate iste greške. Naučite šta zaista funkcioniše za vaš konkretan slučaj. I gradite promptove koji pouzdano daju dobre rezultate, umesto da povremeno slučajno upadnete u njih.
Zašto nasumično doterivanje ne funkcioniše
Postoji razlog zašto iteracija promptova deluje kao kockanje. Kada promenite tri stvari odjednom i rezultat se popravi, ne znate koja promena je pomogla. Kada prepravljate iz sećanja umesto da uporedite verzije, ne možete da uočite obrasce. Kada obrišete svoje stare pokušaje, gubite podatke koji bi vam rekli šta funkcioniše.
Istraživanje MIT Sloana pokazalo je da samo polovina poboljšanja performansi naprednih AI modela dolazi od samog modela. Druga polovina dolazi od toga kako korisnici prilagođavaju svoje promptove. Drugim rečima, vaša veština pisanja promptova je jednako važna kao i mogućnosti AI-a.
Ali veština nije magija. To je prepoznavanje obrazaca izgrađeno kroz strukturisanu praksu. Treba da vidite koje promene daju koje rezultate — što znači da vam je potreban sistem.
Ciklus iteracije u 4 koraka
Efikasna iteracija promptova prati jednostavnu petlju:
Testiraj — Pokreni prompt i sačuvaj kompletan rezultat
Proceni — Uporedi rezultat sa svojim konkretnim ciljem
Doradi — Napravi jednu ciljanu promenu na osnovu onoga što ne valja
Dokumentuj — Zabeleži šta si promenio i šta se desilo
Ovo nije komplikovano. Ali raditi sva četiri koraka — naročito poslednji — je ono što razdvaja ljude koji postaju postojano bolji od onih koji se i dalje rvu sa istim problemima.
Kružni dijagram koji prikazuje četiri koraka iteracije promptova: Testiraj, Proceni, Doradi, Dokumentuj
Korak 1: Pokrenite prompt i sačuvajte sve
Krenite sa bilo kojim promptom koji imate. Nemojte preterano razmišljati o prvoj verziji — ionako ćete je popraviti. Cilj je da dobijete polaznu osnovu prema kojoj možete da merite.
Kada pokrenete prompt, sačuvajte i prompt i kompletan odgovor. Ne samo dobre delove. Ne sažetak. Sve. Treba vam puna slika da biste dijagnostikovali probleme.
Ako testirate u ChatGPT-u ili Claudeu, kopirajte celu razmenu u beleške ili dokument pre nego što napravite izmene. Čim regenerišete ili izmenite, original je nestao.
Korak 2: Procenite u odnosu na stvarni cilj
Ovde većina ljudi greši. Pogledaju rezultat i pomisle „ovo nije baš to“ — pa odmah krenu da prepravljaju. To nejasno nezadovoljstvo vam ne govori šta da popravite.
Umesto toga, koristite ono što ja zovem Test crvene olovke. Prođite kroz rezultat i označite konkretne probleme:
Da li je ton pogrešan? Gde tačno?
Da li nešto nedostaje? Šta konkretno?
Da li je predugo? Koji delovi su balast?
Da li je pogrešno razumeo zadatak? Kako?
Da li je format pogrešan? Šta bi trebalo da bude umesto toga?
Zapišite svoju procenu. „Previše formalno u drugom pasusu, nedostaje ograničenje budžeta, uključeni nepotrebni podaci o istoriji kompanije.“ Sada tačno znate šta da popravite.
Korak 3: Pravite jednu po jednu promenu
Ovo je najteža disciplina za održavanje, i najvažnija. Kada menjate više stvari odjednom, ne možete da naučite koja je promena dala rezultat. A/B testiranja dosledno pokazuju da je izolovanje jedne promenljive ključno — istovremeno testiranje više promena onemogućava pripisivanje uzroka rezultatima.
Izaberite najvažniji problem iz svoje procene i bavite se samo njime. Uobičajene popravke uključuju:
Dodajte kontekst: Dajte AI-u pozadinu koja mu je potrebna da razume vašu situaciju
Dodajte ograničenja: Navedite dužinu, format, ton ili šta treba isključiti
Dodajte primere: Pokažite kako izgleda dobar rezultat (to se zove few-shot prompting)
Razjasnite zadatak: Prepravite nejasna uputstva da budu konkretna
Dodelite ulogu: Recite AI-u ko bi trebalo da bude (vidite role prompting)
Napravite svoju jednu izmenu, pokrenite prompt ponovo i uporedite. Da li je pomoglo? Da li je stvorilo novi problem? Znaćete jer ste promenili samo jednu stvar.
Korak 4: Dokumentujte šta ste promenili
Ovaj korak deluje opciono. Nije. Bez dokumentacije ćete ponavljati neuspele eksperimente, zaboravljati uspešne tehnike i gubiti svoje najbolje promptove u istoriji ćaskanja.
Vaša dokumentacija ne mora da bude razrađena. Jednostavan dnevnik je dovoljan:
Verzija: v1, v2, v3...
Šta je promenjeno: „Dodato ograničenje od 200 reči“
Rezultat: „Rezultat je sada odgovarajuće dužine, ali je izgubio konverzacioni ton“
Zadržati ili odbaciti: Zadržati ograničenje, sledeće popraviti ton
Vremenom, ovaj dnevnik postaje vaš lični priručnik. Primetićete obrasce — možda dodavanje primera uvek pomaže kod zadataka pisanja, ili možda navođenje formata na početku daje bolju strukturu. Ovi uvidi se nadograđuju.
Ako iterirate na promptovima koje ćete koristiti više puta, alat poput PromptNest-a omogućava vam da prikačite beleške direktno uz svaki prompt. Možete da pratite šta ste probali, šta je radilo i zašto — bez vođenja zasebnog dokumenta.
Stvarni primer: iteracija prompta za sažetak sastanka
Hajde da prođemo kroz pravi ciklus iteracije. Recimo da treba da sažmete beleške sa sastanka u stavke za izvršenje za vaš tim.
Verzija 1:
Sažmi ove beleške sa sastanka.
{{meeting_notes}}
Rezultat: Opšti sažetak koji zatrpa stavke za izvršenje u pasuse konteksta. Predugo je, i moraš da tražiš šta zapravo treba da se uradi.
Procena: Nedostaje strukturisani izlaz. Nema jasnih stavki za izvršenje. Sadrži nepotrebnu rekapitulaciju.
Promena: Dodati ograničenja formata.
Verzija 2:
Izdvoj stavke za izvršenje iz ovih beleški sa sastanka. Formatiraj kao listu sa znakovima za nabrajanje, sa imenom vlasnika u uglastim zagradama posle svake stavke.
{{meeting_notes}}
Rezultat: Uredna lista sa nabrajanjem stavki za izvršenje sa vlasnicima. Ali neke stavke su nejasne („proveriti onu stvar o kojoj smo razgovarali“) i nedostaju rokovi.
Procena: Dobar format, ali stavkama nedostaju konkretnost i vremenski okvir.
Promena: Dodati zahteve za konkretnošću i rokovima.
Poređenje pre i posle koje pokazuje nejasan prompt pretvoren u konkretan, strukturisan prompt
Verzija 3:
Izdvoj stavke za izvršenje iz ovih beleški sa sastanka.
Za svaku stavku, navedi:
- Šta konkretno treba uraditi (bez nejasnih referenci)
- Ko je vlasnik [u uglastim zagradama]
- Rok ako je naveden, ili „Rok nije naveden“
Ako je stavka u beleškama nejasna, označi je sa „[POTREBNO POJAŠNJENJE]“ kako bih mogao da nastavim sa proverom.
{{meeting_notes}}
Rezultat: Konkretne stavke za izvršenje, jasni vlasnici, rokovi gde su dostupni i oznake za sve što je dvosmisleno. Ovo se može koristiti.
Tri iteracije. Svaka je rešila konkretan problem identifikovan u proceni. Konačan prompt je drastično bolji od prvog — i tačno znate zašto.
Kada prestati sa iteracijom
Iteracija ima opadajuće prinose. U nekom trenutku, polirate nešto što je već dovoljno dobro. Evo znakova da treba da stanete:
Rezultat ispunjava vaše zahteve. Ne savršen — zahteve. Ako radi ono što vam treba, pustite ga u upotrebu.
Promene pogoršavaju stvari. Ponekad dosegnete lokalni maksimum. Ako su vaše poslednje tri promene sve degradirale kvalitet, vratite se na svoju najbolju verziju i smatrajte da je gotovo.
Optimizujete za rubne slučajeve. Ako prompt radi 90% vremena, a vi provodite sate na preostalih 10%, razmislite da li je to vreme vredno toga.
Problem je u zadatku, a ne u promptu. Neki zadaci su iskreno teški za današnji AI. Ako ste isprobali svaki razuman pristup, problem je možda u tome što tražite od AI-a da uradi nešto što još uvek ne može pouzdano da uradi.
Gradite svoj sistem, ne samo svoje promptove
Prava vrednost sistematske iteracije nije u nekom pojedinačnom poboljšanom promptu. Vrednost je u veštini koju razvijate i biblioteci koju gradite.
Svaki prompt na kojem iterirate uči vas nečemu o tome kako AI reaguje na uputstva. Vremenom ćete dobijati bolje prve verzije jer ste internalizovali šta funkcioniše. Odmah ćete prepoznavati uobičajene obrasce neuspeha. Imaćete kolekciju proverenih promptova koje možete prilagoditi za nove zadatke.
Ta kolekcija je važna. Najbolji prompt inženjeri ne kreću od nule svaki put — održavaju biblioteke testiranih promptova koje mogu da menjaju i ponovo koriste. Prema anketi sajta Rev.com, korisnici koji smatraju predloge promptova korisnim imaju 280% veću verovatnoću da dobiju zadovoljavajuće odgovore za manje od dva minuta u poređenju sa onima koji ih ne koriste.
Ako gradite biblioteku promptova vrednih čuvanja, PromptNest im daje pravi dom — organizovane po projektu, pretražive i dostupne preko prečice na tastaturi iz bilo koje aplikacije. Možete da sačuvate svoje iterirane promptove sa već ugrađenim promenljivim poput {{meeting_notes}}, popunite praznine kada vam zatrebaju i potpuno preskočite proces iteracije jer ste posao već obavili.
Krenite sa ciklusom od 4 koraka na svom sledećem promptu. Testiraj, proceni, doradi, dokumentuj. Na početku traje malo duže. Ali svaki sat koji uložite u iteraciju je sat koji ćete uštedeti — mnogo puta — kada vaši promptovi budu zaista radili.
