Näin vältät tekoälyn hallusinaatiot: 5 vinkkiä virheettömiin vastauksiin

Sateenvarjo ei toimi näin

Kirjoitin aiemmin miten tekoälyn virheet ovat erilaisia kuin ihmisen tekemät virheet. Koneen luomassa kuvassa näkyvät lisäsormet on helppo huomata, mutta monesti tarkistus on paljon vaikeampaa. Tässä muutama vinkki miten tarkistaa tekoälyn vastauksia ja välttää virheellisiä vastauksia tekstimuotoisen tiedon ja kysymysten kanssa.

(Tässä tekstissä käytetään puhekielen termiä “AI” yhdenvertaisesti sanojen tekoäly ja kielimalli kanssa. AI on siis geneerinen sateenkaaritermi kaikenlaiselle tekoälylle, kielimallilla tarkoitetaan puolestaan sen tyyppistä tekoälyjärjestelmää johon esimerkiksi ChatGPT-palvelu perustuu.)

1. Ymmärrä tekoälyn vahvuudet ja heikkoudet

Olemme tottuneet siihen, että koneiden tuotokset ovat deterministisiä: samalla syötteellä saa aina saman lopputuloksen. Tekoälytyökalut eivät yleensä toimi näin. Kielimallien toiminta on epäintuitiivista, koska ne saattavat tuottaa samalla syötteellä eri vastauksia.

Samaan tapaan kuin ihmiskielissä teksti jaetaan sanoihin ja tavuihin, tekoälymalli käsittelee tietoa pilkkomalla sille annetun syötteen (tekstin, kuvan, äänitiedoston) pieniin osiin tokeneiksi. Kielimallin vastaukset perustuvat etukäteen opetusvaiheessa nähdyistä tokeneista laskettuihin suhteisiin ja todennäköisyyteen. (Esim. jos syötetty lähdeteksti käsittelee ruuan valmistusta, ‘aineet’-sanaan liittyvät tokenit ovat todennäköisesti lähempänä syötäviä asioita kuin teräkseen tai kouluaineisiin liittyvät tokenit vaikka lähdesana on sama.) Vastaukset muodostetaan luomalla ensin liittyvien tokenien joukkoja joista poimitaan tokeneita todennäköisyysperusteisen otannan kautta (sen sijaan, että aina valittaisiin todennäköisin). Tämän vuoksi kielimallit tuottavat hyvinkin erilaisia vastauksia kun samaa kysymystä toistetaan peräkkäin monta kertaa.

Kielimallien matemaattisen osaamisen puute perustuu samaan arkkitehtuurilliseen faktaan; kielimalli ei “tiedä” mitään vaan käytännössä arpoo oikean vastauksen. Tämä harvoin toimii matematiikassa!

Kielimallityökalut ovat erittäin hyviä esimerkiksi referoimaan annettua tekstiä, korjaamaan kielioppivirheitä ja löytämään annetusta tekstistä haluttuja osia. Niiden heikkoutena on aito ymmärrys kontekstista (ne näkevät vain niille syötettyjä tokeneja), itsevarmalta kuulostavat vastaukset silloinkin kun vastaus on täysin arvattu, täysin tuulesta temmtut vastaukset (käytännössä mallit usein yksinkertaisesti keksivät uskottavalta kuulostavia asioita mikäli oikeaa tietoa ei ole) ja kyvyttömyys aitoon logiikkaan ja matemaattiseen ajatteluun.

2. Käytä oikeaa työkalua

Tekoälytyökaluja tungetaan nykyään lähes kaikkialle. Yksi tärkeimmistä opeista “AI”:n käytön suhteen on se, että kaikki tekoälyt eivät ole yhdenvertaisia. Työkalujen taustalla olevat kielimallit eroavat toisistaan kuten mitkä tahansa muutkin työkalut. Toiset työkalut ovat parempia kuin toiset. Kun joku siis mainitsee “käyttäneensä aaiita”, se kertoo työkalusta ja lopputuloksesta yhtä paljon kuin se, että “tämän ruuan valmistuksessa käytettiin veistä”.

Arkisiin applikaatioihin kuten Facebookiin tai pikaviestimeen integroidut AI-työkalut ovat tyypillisesti hyvin spesifiseen käyttöön rajattuja työkaluja joilla on rajoittunut ymmärrys laajemmasta kontekstista sekä erittäin rajattu laskentateho. Ruoanvalmistusanalogiassa kyseessä on siis huonot raaka-aineet yhdistettynä erittäin tylsään veitseen.

Tekoälytyökaluista saa parhaan hyödyn ja kaikkein virheettömimmän lopputuloksen kun käyttää oikeaan tarkoitukseen tehtyä työkalua ja antaa sille parhaimman mahdollisen kontekstin. (Ts. roskaa sisään, roskaa ulos.)

Paras yleistyökalu arkisiin tehtäviin on OpenAI:n ChatGPT jota voi käyttää myös ilmaiseksi ja josta on saatavilla myös helppokäyttöinen puhelinsovellus. Koodaustehtäviin voi puolestaan kysyä apua esimerkiksi Claudelta.

3. Vaadi perusteita

Parhaimmille kielimallityökaluille on syötetty suuri osa koko Internetin sisällöstä ja esimerkiksi koko Wikipedia, mutta ne muistavat oppimastaan vain osan. Ne eivät myöskään tiedä mitään opetuksensa jälkeen tapahtuneesta ilman lisätyökaluja kuten web-hakukonetta. Kun tällaiselta mallilta kysyy jotain mikä on jollain tapa varmennettavissa, kysymykseen on helppo liittää “todista vastaus lähdeviittauksin” tai “näyttämällä laskun kaikki vaiheet”.

Esimerkiksi ChatGPT osaa liittää vastaukseen joukon linkkejä tai muita lähdeviittauksia. Se osaa myös esimerkiksi ohjelmoida lennossa pienen tietokoneohjelman joka todistaa vastauksen oikeaksi. Kun osaat vaatia tekoälyltä tarpeeksi hyvät perustelut, se osaa myös niitä antaa.

(Lisävinkki: voit myös opastaa “jos et tiedä tai et ole aivan varma, sano niin”!)

4. Anna paras mahdollinen konteksti

Kielimalleihin perustuva tekoäly toimii parhaiten silloin kun se näkee ja ymmärtää relavantin kontekstin kunnolla. Mitä enemmän kontekstia osaat antaa kysymyksen yhteydessä, sitä paremman vastauksen todennäköisesti saat. Jos kysymyksesi on laaja, voit esimerkiksi rajata alueita joita et tarkoita, tai painottaa asioita joihin haluat enemmän fokusta.

Esimerkki: “Kerro espanjalaisesta ruokakulttuurista. En ole kiinnostunut historiasta tai perinneruuista, kerro minkälaisia ruokia tavalliset espanjalaiset syövät arkisin ja mahdollisesti ruuista joita ei normaalisti ole saatavilla muualla. Olen lähdössä lomalle ja haluan vinkkejä eksoottisiin ruokakokemuksiin.”

5. Vertaile vastauksia

Jos kysyt tekoälyltä jotain minkä vastauksen paikkaansapitävyyttä on vaikea arvioida, yksi hyvä taktiikka on kilpailuttaa vastaukset useammalla eri mallilla. Kolme hyvää ja ilmaista yleistyökalua on esimerkiksi OpenAI:n ChatGPT, Googlen Gemini ja Anthropicin Claude. Anna sama tehtävä kaikille kolmelle ja vertaile tuloksia.

Tämän voi viedä myös pidemmälle; voit koota saamasi vastaukset yhteen ja tehdä uuden kierroksen kaikille malleille kysymällä arviota parhaasta / oikeimmasta vastauksesta!

Ekstra: katkaise pitkät keskustelut

ChatGPT:n kaltaisissa palveluissa kielimallille jutellaan keskusteluissa jotka koostuvat yhdestä tai useammasta viestistä. Vaikka ihmisen käyttöliittymässä saman keskustelun viestit ovat kaikki selkeästi luettavissa, kielimalli näkee historiaa vain tietyn määrän. Jos keskustelu kasvaa liian pitkäksi, koneen muisti loppuu kesken ja alkuvaiheen viestit yksinkertaisesti “unohtuvat” kokonaan — kuin niitä ei koskaan olisi ollutkaan. Tämä tarkoittaa käytännössä sitä, että mitä pidemmälle keskustelu etenee, vastausten laatu heikkenee viesti viestiltä.

Tämän ongelman voi kiertää yksinkertaisesti …


Kommentit