Näin iteroit tekoälykehotteita: yksinkertainen testausjärjestelmä
Lopeta arvailu siitä, miksi kehotteesi epäonnistuvat. 4-vaiheinen sykli kehotteiden testaamiseen ja parantamiseen, joka oikeasti tuottaa parempia tuloksia.
Kirjoitit kehotteen. Tulos oli väärä. Joten kirjoitit sen uudelleen. Edelleen väärä, mutta eri tavalla väärä. Säädit muutamaa sanaa, generoit uudelleen, sait jotain lähempää — ja menetit sitten kärryiltä, mitä olit muuttanut. Puoli tuntia myöhemmin olet takaisin lähtöruudussa etkä tiedä, mikä versio oli oikeasti parempi.
Tämä "generoi uudelleen ja toivo parasta" -lähestymistapa on tapa, jolla useimmat ihmiset käyttävät tekoälyä. Ja juuri siksi useimmat pysyvät turhautuneina. Workdayn tutkimuksen mukaan noin 37 % ajasta, jonka työntekijät säästävät tekoälyn avulla, kuluu uudelleentyöstämiseen — virheiden korjaamiseen, tulosten varmistamiseen ja sisällön uudelleenkirjoittamiseen.
Ero satunnaisen säätämisen ja järjestelmällisen iteroinnin välillä ei ole vaiva — se on menetelmä. Kun testaat, arvioit ja dokumentoit muutoksesi, lopetat samojen virheiden toistamisen. Opit, mikä oikeasti toimii sinun käyttötapauksessasi. Ja rakennat kehotteita, jotka tuottavat luotettavasti hyviä tuloksia sen sijaan, että törmäisit niihin satunnaisesti.
Miksi satunnainen säätäminen ei toimi
Kehotteiden iterointi tuntuu uhkapelaamiselta syystä. Kun muutat kolmea asiaa kerralla ja tulos paranee, et tiedä, mikä muutos auttoi. Kun kirjoitat uudelleen muistista versioita vertaamatta, et pysty havaitsemaan kaavoja. Kun poistat vanhat yritykset, menetät datan, joka kertoisi sinulle, mikä toimii.
MIT Sloanin tutkimus havaitsi, että vain puolet kehittyneiden tekoälymallien tuomasta suorituskyvyn paranemisesta tulee itse mallista. Toinen puoli tulee siitä, miten käyttäjät mukauttavat kehotteitaan. Toisin sanoen: kehotteiden laatiminen on yhtä tärkeä taito kuin tekoälyn ominaisuudet.
Mutta taito ei ole taikuutta. Se on järjestelmällisellä harjoittelulla rakennettua hahmontunnistusta. Sinun pitää nähdä, mitkä muutokset tuottavat mitäkin tuloksia — mikä tarkoittaa, että tarvitset järjestelmän.
4-vaiheinen iterointisykli
Tehokas kehotteiden iterointi noudattaa yksinkertaista silmukkaa:
Testaa — Aja kehotteesi ja tallenna koko tulos
Arvioi — Vertaa tulosta tarkkaan tavoitteeseesi
Hio — Tee yksi kohdistettu muutos sen perusteella, mikä on vialla
Dokumentoi — Kirjaa, mitä muutit ja mitä tapahtui
Tämä ei ole monimutkaista. Mutta kaikkien neljän vaiheen tekeminen — etenkin viimeisen — erottaa ne, jotka kehittyvät tasaisesti, niistä, jotka painivat samojen ongelmien kanssa kerta toisensa jälkeen.
Pyöreä kaavio, joka näyttää kehotteiden iteroinnin neljä vaihetta: testaa, arvioi, hio, dokumentoi
Vaihe 1: Aja kehotteesi ja tallenna kaikki
Aloita millä tahansa kehotteella, joka sinulla on. Älä mieti ensimmäistä versiota liian tarkkaan — aiot kuitenkin parantaa sitä. Tavoitteena on saada lähtötaso, jota vasten voit mitata.
Kun ajat kehotteen, tallenna sekä kehote että koko vastaus. Ei vain hyviä osia. Ei tiivistelmää. Koko juttu. Tarvitset kokonaiskuvan ongelmien diagnosointiin.
Jos testaat ChatGPT:ssä tai Claudessa, kopioi koko keskustelu muistiinpanoon tai dokumenttiin ennen muutoksia. Heti kun generoit uudelleen tai muokkaat, alkuperäinen on poissa.
Vaihe 2: Arvioi todellista tavoitetta vasten
Tässä useimmat menevät metsään. He katsovat tulosta ja ajattelevat "tämä ei ole ihan oikein" — ja alkavat heti kirjoittaa uudelleen. Tuo epämääräinen tyytymättömyys ei kerro, mitä pitäisi korjata.
Käytä sen sijaan menetelmää, jota kutsun punakynätestiksi. Käy tulos läpi ja merkitse konkreettiset ongelmat:
Onko sävy väärä? Missä kohtaa tarkalleen?
Puuttuuko tietoa? Mitä erityisesti?
Onko liian pitkä? Mitkä osat ovat täytettä?
Ymmärsikö se tehtävän väärin? Miten?
Onko muoto väärä? Mitä sen pitäisi olla?
Kirjoita arviosi muistiin. "Liian muodollinen kappaleessa 2, budjettirajoitus puuttuu, sisältää epäolennaista taustatietoa yrityksen historiasta." Nyt tiedät tarkalleen, mitä korjata.
Vaihe 3: Tee yksi muutos kerrallaan
Tämä on vaikein kuri pitää yllä — ja tärkein. Kun muutat useaa asiaa kerralla, et voi oppia, mikä muutos toimi. A/B-testauksen tutkimukset osoittavat johdonmukaisesti, että yhden muuttujan eristäminen on ratkaisevaa — useiden muutosten testaaminen samaan aikaan tekee mahdottomaksi sen, että voisit liittää tuloksen tiettyyn syyhyn.
Valitse arviostasi tärkein ongelma ja keskity vain siihen. Yleisiä korjauksia ovat:
Lisää kontekstia: Anna taustatieto, jota tekoäly tarvitsee tilanteesi ymmärtämiseen
Lisää rajoitteita: Määritä pituus, muoto, sävy tai mitä jättää pois
Selkeytä tehtävä: Kirjoita epämääräiset ohjeet uudelleen täsmällisesti
Anna rooli: Kerro tekoälylle, kuka sen on tarkoitus olla (katso roolikehottaminen)
Tee yksi muutoksesi, aja kehote uudelleen ja vertaa. Auttoiko se? Loiko se uuden ongelman? Tiedät vastauksen, koska muutit vain yhtä asiaa.
Vaihe 4: Dokumentoi mitä muutit
Tämä vaihe tuntuu valinnaiselta. Ei ole. Ilman dokumentointia toistat epäonnistuneita kokeita, unohdat onnistuneet tekniikat ja menetät parhaat kehotteesi keskusteluhistoriaan.
Dokumentoinnin ei tarvitse olla monimutkaista. Yksinkertainen loki riittää:
Versio: v1, v2, v3...
Mitä muuttui: "Lisätty 200 sanan pituusrajoite"
Tulos: "Tulos nyt oikean pituinen, mutta keskusteleva sävy katosi"
Säilytä vai hylkää: Säilytä rajoite, korjaa sävy seuraavaksi
Ajan myötä tästä lokista tulee henkilökohtainen pelikirjasi. Huomaat kaavoja — ehkä esimerkkien lisääminen auttaa aina kirjoitustehtävissä, tai ehkä muodon määrittäminen heti alussa tuottaa paremman rakenteen. Nämä oivallukset kasaantuvat.
Jos iteroit kehotteita, joita käytät toistuvasti, PromptNest-sovelluksen kaltainen työkalu antaa sinun liittää muistiinpanot suoraan jokaiseen kehotteeseen. Voit seurata, mitä olet kokeillut, mikä toimi ja miksi — ilman erillistä dokumenttia.
Käydään läpi todellinen iterointisykli. Sanotaan, että sinun täytyy tiivistää kokousmuistiinpanot toimenpidelistaksi tiimillesi.
Versio 1:
Tiivistä nämä kokousmuistiinpanot.
{{meeting_notes}}
Tulos: Yleinen tiivistelmä, joka hautaa toimenpiteet kappaleisiin taustoittavaa tekstiä. Liian pitkä, ja joudut metsästämään, mitä oikeasti pitää tehdä.
Arviointi: Strukturoitu tulos puuttuu. Selkeitä toimenpiteitä ei ole. Sisältää tarpeetonta kertausta.
Muutos: Lisää muotorajoitteita.
Versio 2:
Poimi toimenpiteet näistä kokousmuistiinpanoista. Muotoile bullet-listana, jossa vastuuhenkilön nimi on hakasulkeissa kunkin kohdan jälkeen.
{{meeting_notes}}
Tulos: Selkeä bullet-lista toimenpiteistä vastuuhenkilöineen. Mutta jotkut kohdat ovat epämääräisiä ("seuraa sitä asiaa, josta puhuimme") ja määräajat puuttuvat.
Arviointi: Hyvä muoto, mutta kohdat eivät ole tarpeeksi täsmällisiä eikä aikataulua ole.
Muutos: Lisää vaatimukset täsmällisyydelle ja määräajoille.
Ennen ja jälkeen -vertailu, jossa epämääräinen kehote muuttuu täsmälliseksi ja strukturoiduksi
Versio 3:
Poimi toimenpiteet näistä kokousmuistiinpanoista.
Sisällytä jokaiseen toimenpiteeseen:
- Mitä konkreettisesti pitää tehdä (ei epämääräisiä viittauksia)
- Kuka vastaa [hakasulkeissa]
- Määräaika, jos mainittu, tai "Määräaikaa ei ilmoitettu"
Jos toimenpide on muistiinpanoissa epäselvä, merkitse se tunnuksella "[VAATII TARKENNUSTA]", jotta voin palata asiaan.
{{meeting_notes}}
Tulos: Täsmälliset toimenpiteet, selkeät vastuuhenkilöt, määräajat siellä missä saatavilla, ja merkinnät epäselvistä kohdista. Tämä on käyttökelpoinen.
Kolme iteraatiota. Jokainen niistä korjasi tietyn arvioinnissa tunnistetun ongelman. Lopullinen kehote on huomattavasti parempi kuin ensimmäinen — ja tiedät tarkalleen, miksi.
Milloin iterointi kannattaa lopettaa
Iteroinnilla on alenevat rajatuotot. Jossain vaiheessa kiillotat jotain, joka on jo tarpeeksi hyvä. Tässä merkkejä, jotka kertovat, että on aika lopettaa:
Tulos täyttää vaatimuksesi. Ei täydellinen — vaatimukset. Jos se tekee sen mitä tarvitset, ota se käyttöön.
Muutokset huonontavat asioita. Joskus osut paikalliseen huippuun. Jos kolme viimeistä muutostasi ovat heikentäneet laatua, palaa parhaaseen versioosi ja jätä asia siihen.
Optimoit reunatapauksia. Jos kehote toimii 90 % ajasta ja käytät tunteja loppuun 10 %:iin, mieti onko aika sen arvoinen.
Ongelma on tehtävässä, ei kehotteessa. Jotkin tehtävät ovat aidosti vaikeita nykyiselle tekoälylle. Jos olet kokeillut kaikkia järkeviä lähestymistapoja, ongelma saattaa olla siinä, että pyydät tekoälyltä jotain, mitä se ei vielä luotettavasti osaa.
Rakenna järjestelmä, älä vain kehotteita
Järjestelmällisen iteroinnin todellinen arvo ei ole missään yksittäisessä paremmaksi tehdyssä kehotteessa. Se on taito, jonka kehität, ja kirjasto, jonka rakennat.
Jokainen iteroimasi kehote opettaa sinulle jotain siitä, miten tekoäly reagoi ohjeisiin. Ajan myötä saat parempia ensiluonnoksia, koska olet sisäistänyt, mikä toimii. Tunnistat yleiset epäonnistumisen kaavat heti. Sinulla on kokoelma testattuja kehotteita, joita voit muokata uusiin tehtäviin.
Tuo kokoelma on tärkeä. Parhaat kehoteinsinöörit eivät aloita joka kerta tyhjästä — he ylläpitävät kirjastoja testatuista kehotteista, joita he voivat muokata ja käyttää uudelleen. Rev.comin kyselyn mukaan käyttäjät, jotka kokevat kehote-ehdotukset hyödyllisiksi, saavat 280 % todennäköisemmin tyydyttävän vastauksen alle kahdessa minuutissa kuin ne, jotka eivät koe.
Jos keräät kehotteita, joita kannattaa säilyttää, PromptNest tarjoaa niille kunnollisen kodin — järjestettyinä projekteittain, haettavina ja saavutettavissa pikanäppäimellä mistä tahansa sovelluksesta. Voit tallentaa iteroidut kehotteesi valmiiksi rakennetuilla muuttujilla kuten {{meeting_notes}}, täyttää tyhjät kohdat tarvittaessa ja ohittaa iterointiprosessin kokonaan, koska olet jo tehnyt työn.
Aloita 4-vaiheisesta syklistä seuraavassa kehotteessasi. Testaa, arvioi, hio, dokumentoi. Se vie alussa hieman pidempään. Mutta jokainen iterointiin sijoittamasi tunti on tunti, jonka säästät — moninkertaisesti — kun kehotteesi oikeasti toimivat.
