Razvoj spletnih rešitev

Dober prompt še ni dobra specifikacija.

Pri razvoju z AI se govori o promptih. Mene zanima, kaj gradimo, po katerih pravilih in kako bomo vedeli, da je prav. Brief, arhitektura, merila sprejemljivosti, testi in preverjanje na produkciji.

Diagram poteka: ideja, brief, specifikacija, izvedba, test, produkcija
Dober prompt je šele en korak v tej vrsti.

Pri razvoju z umetno inteligenco se ogromno govori o promptih. Kako ga napisati, koliko konteksta dodati, katere fraze delujejo, kateri model je boljši. Razumem, zakaj: prompt je tisto, kar vidiš in kar lahko spreminjaš v sekundi.

Mene pa z vsakim projektom bolj zanima nekaj drugega. Kaj sploh gradimo. Zakaj. Katera pravila veljajo. Kaj se ne sme podreti. Kako bomo vedeli, da je rezultat pravi. Če na ta vprašanja ne znam odgovoriti, mi boljši prompt ne pomaga. Dobim samo hitrejšo pot do napačne stvari.

Dober prompt še ni dobra specifikacija. To se mi zdi ena pomembnejših ugotovitev pri delu z AI, zato jo bom poskušal razložiti s tem, kako delam sam.

Prompt reši trenutek, specifikacija reši projekt

Prompt je navodilo za eno nalogo. Specifikacija je opis tega, kar mora sistem početi, tudi ko naloge ni več nihče v glavi. Prompt izgine v zgodovini pogovora. Specifikacija ostane in jo lahko bere kdorkoli, tudi orodje, ki bo naslednji teden delalo na istem projektu.

Ko pišem prompt brez specifikacije, se vsakič znova odločam o stvareh, ki bi morale biti odločene enkrat. Katera knjižnica. Kako poimenujemo stvari. Kje so pravice. Kaj se zgodi z napako. Orodje se pri vsakem pogovoru odloči po svoje, in po nekaj tednih imam projekt, v katerem je vsak del napisan po drugačnih pravilih.

Brief: kaj in za koga, preden je kako

Vsako delo pri meni začne brief. Ni dolg. Pove, kateri problem rešujemo, za koga, kaj mora rezultat omogočiti in česa ne sme pokvariti. Če tega ne znam napisati v nekaj odstavkih, problema še ne razumem dovolj, da bi ga dal komurkoli, človeku ali orodju.

Pri briefu me najbolj zanimajo omejitve. Obstoječi projekt ali nov? Katere tehnologije so že v uporabi? Kdo bo to vzdrževal? Ali sprememba vpliva na prijavo, podatke, plačila? Produkcija ali preizkus? Te stvari orodju ne bo nihče povedal, če jih ne zapišem. In brez njih bo rešitev povsem smiselna za napačen svet.

Arhitektura: pravila, ki jih ne ponavljam v vsakem pogovoru

V vsakem projektu je nekaj odločitev, ki določajo vse ostalo. Kje živi logika. Kako se berejo in pišejo podatki. Kako se ubežijo izpisi. Kako se preverjajo pravice. Kako se objavlja.

Te odločitve zapišem enkrat in jih orodju dam vsakič. Ne kot prompt, ampak kot dokument, ki je del projekta. Pri svojih projektih ima ta dokument obliko navodil za agente, datoteke, ki jo prebere vsako orodje, preden se dotakne kode. V njej piše, kaj je arhitektura, kaj so varnostne meje, kaj se ne sme spreminjati brez načrta in kako se preverja rezultat.

Razlika je opazna takoj. Orodje, ki pozna pravila, predlaga rešitve, ki se prilegajo. Orodje brez pravil predlaga rešitve, ki so dobre same zase in tuje projektu.

Merila sprejemljivosti: kako vem, da je narejeno

Največ napak pri delu z AI sem naredil takrat, ko nisem vnaprej povedal, kaj pomeni »narejeno«. Orodje je potem samo izbralo trenutek, ko je bilo zadovoljno, in ta trenutek je bil praviloma prezgodaj.

Zdaj poskušam za vsako nalogo zapisati nekaj konkretnih meril. Uporabnik ob napačnem vnosu vidi napako in obdrži vnesene podatke. Osnutek ni javno dostopen na noben način, tudi ne prek RSS ali sitemapa. Stran se pri širini 320 pik ne pomika vodoravno. To so stavki, ki jih je mogoče preveriti. »Izboljšaj uporabniško izkušnjo« ni.

Merila imajo še eno korist: dajo orodju nekaj, česar se lahko drži, ko naleti na dvoumnost. Namesto da ugiba, kaj sem mislil, preveri, ali rešitev ustreza pravilu.

Pomaga tudi, če merila ločim po tem, kaj se zgodi, če niso izpolnjena. Nekatera so pogoj za objavo: če osnutek uhaja v javnost, funkcija ne gre na produkcijo, pika. Druga so želja, ki jo je mogoče izpolniti pozneje. Orodje, ki pozna to razliko, ne bo porabilo ure za robno lepotno podrobnost, medtem ko glavna stvar ne deluje. In jaz ne bom pregledoval petdesetih sprememb, da bi našel tisto, ki je pomembna.

Dokumentacija: opis stanja, ne namena

Projektna dokumentacija je pri delu z AI pomembnejša, ne manj pomembna. Orodje nima spomina med pogovori; vse, kar ve o projektu, mora prebrati. Če dokumentacija opisuje stanje izpred treh mesecev, bo delalo za projekt, ki ne obstaja več.

Zato po vsaki večji spremembi posodobim, kar je bilo spremenjeno: kaj obstaja, kaj je na produkciji, kaj je odprto. Ne zato, ker bi imel rad dokumente, ampak zato, ker je to edini način, da naslednji pogovor začne pri resnici.

Tudi ta blog nastaja tako. Vsaka sprememba ima zapis, kaj je narejeno, kaj je preverjeno in kaj še ne. Kadar zapis manjka, se to pozna že pri naslednjem koraku.

Testi in preverjanje: predlog ni rezultat

Orodje, ki napiše kodo, rado napiše tudi poročilo, da vse deluje. To poročilo ni dokaz. Dokaz so testi, ki preverjajo tisto, kar me skrbi, in ročni pregled na dejanskem zaslonu.

Pri testih me ne zanima število, ampak vprašanje, kaj bi se lahko pokvarilo. Če test samo ponovi predpostavko iz kode, se oba strinjata in oba zgrešita. Zato merila sprejemljivosti iz prejšnjega odstavka postanejo testi: enako besedilo, samo izvedljivo.

Preverjanje na produkciji je še svoj korak. Lokalno delujoča stvar mi pove veliko, ne pove pa, kako se obnaša z drugačnimi pravicami, nastavitvami in podatki. Vsaka objava dobi seznam URL-jev in dejanj, ki jih preverim po njej. To je dolgočasno in je dosedaj odkrilo več težav kot katerikoli prompt.

Zakaj boljši model ni odgovor

Slišim argument, da bo naslednji model razumel tudi nejasna navodila. Deloma je res: modeli so vedno boljši pri ugibanju, kaj sem mislil. Ampak ugibanje ostaja ugibanje. Če sam ne vem, ali naj napaka pri plačilu vrne uporabnika na obrazec ali na začetek, tega ne ve noben model. Lahko samo izbere eno možnost in jo izvede zelo dobro.

Nejasna specifikacija se ne popravi z zmogljivejšim orodjem. Popravi se s tem, da odločitev sprejmem in jo zapišem. Boljši model mi potem pomaga, da jo izvedem hitreje in bolje. To je pravi vrstni red.

Kako to izgleda pri meni v praksi

Pri novi funkciji najprej napišem, kaj mora omogočati in za koga. Potem preverim, ali obstoječa pravila projekta pokrivajo, kar bo treba spremeniti, in dopolnim, česar ni. Napišem merila sprejemljivosti. Šele potem napišem prompt, ki se sklicuje na vse to in je zato kratek.

Rezultat pregledam glede na merila, ne glede na občutek. Testi preverijo, kar bi se lahko pokvarilo. Objava dobi svoj seznam preverjanj. Dokumentacija se posodobi. Naslednji pogovor začne pri tem, kar je res.

To ni hitrejši postopek za eno nalogo. Je hitrejši postopek za projekt, ki traja več kot en dan. Pri projektih, ki jih vzdržujem sam, se mi je to dosedaj vedno izplačalo.

Ista naloga, dva začetka

Naj poskusim razliko pokazati na hipotetični nalogi, ki je dovolj vsakdanja: kontaktni obrazec za spletno stran.

Prvi začetek je prompt: »Naredi kontaktni obrazec z imenom, e-pošto in sporočilom, ki pošlje e-pošto lastniku.« Orodje ga naredi v minuti. Obrazec je videti v redu. Potem se izkaže, da ni zaščiten pred avtomatskim pošiljanjem, da ob napaki izbriše vneseno besedilo, da e-pošto pošilja z naslova, ki ga strežnik ne sme uporabljati, da ne shrani sporočila, če pošiljanje spodleti, in da se na telefonu prikaže s tipkovnico za besedilo namesto za e-pošto. Nič od tega ni napaka orodja. Ničesar od tega nisem povedal.

Drugi začetek je kratek brief in nekaj meril. Obrazec je za obiskovalce brez računa, brez piškotkov, na obstoječi strani s temi pravili za izpis in preverjanje. Sporočilo se shrani, preden se poskusi poslati e-pošta. Ob napaki uporabnik vidi razumljivo sporočilo in obdrži vnos. Zaščita pred roboti brez zunanjih storitev. Omejitev števila sporočil na uro. Na telefonu pravilna tipkovnica. Preverimo z avtomatskim testom in ročno na dejanskem strežniku.

Prompt, ki sledi temu briefu, je krajši od briefa. In rezultat je obrazec, ki ga lahko objavim. Razlika ni v modelu; isti model je delal obakrat. Razlika je v tem, da sem v drugem primeru odločitve sprejel, preden sem jih prepustil orodju.

Ta primer ni izmišljen zaradi članka; obrazec na tej strani je nastal po drugi poti, s pravili projekta in merili, in nekaj od naštetih pravil je prišlo ravno iz vprašanja, kaj bi se lahko pokvarilo. Pri prvem načinu bi jih odkril šele bralec.

Prompt je zadnji korak, ne prvi

Če bi moral to strniti: prompt je zadnja stvar, ki jo napišem, ne prva. Preden pride na vrsto, so odločene stvari, ki jih orodje ne more odločiti namesto mene. Kaj gradimo, zakaj, po katerih pravilih in kako bomo vedeli, da je prav.

Ko je to jasno, je prompt preprost in rezultat dober. Ko ni, noben prompt ne pomaga. Orodje bo iz nejasnega navodila zelo hitro naredilo napačno stvar, in to z vso samozavestjo. Hitrost pri tem ni prednost.

Fotografija avtorja

Razvijam spletne rešitve in digitalne produkte. Pri GE-KO se ukvarjam s spletnim oblikovanjem, razvojem in SEO, z Bizkom pa iščem preprostejše poti skozi vsakodnevno poslovanje. Zanima me, kako tehnologija ljudem prihrani delo — in kako splet spreminja umetna inteligenca.

Še en korak naprej.