Claude Coden kilpailija Ampcode havannoi hiljattain, että Anthropicin kuuluisasti kallis Opus-malli ei aina ole suhteellisesti kallis kun otetaan huomioon mitä se saa käyttämillään tokeneilla aikaiseksi. Opus on siis listahinnaltaan vaihtoehtoja kalliimpi mutta käyttää vähemmän tokeneita samaan työhön.
Olen huomannut tämän myös itse; tehtäviin kannattaa aina valita oikea malli ja pelkän tokenien hinnan vahtaaminen ei välttämättä ole mielekästä. Joku malli saattaa käyttää samaan tehtävään tuplamäärän tokeneita kuin toinen.
Myös tarvittavan kontekstin koko kannattaa ottaa huomioon. Esimerkiksi laajan tekstikokonaisuuden referointiin on turha käyttää Opuksen kaltaista mallia, koska sen konteksti-ikkuna on suhteellisen pieni ja tehtävän kompleksisuus on pieni. (Esimerkiksi Gemini Flash -perhe on loistava tällaisiin tehtäviin.)
OpenRouterin mallisivu on yksi kätevä työkalu eri mallien vertailuun. Sivulla voi valita halutut modaliteetit (teksti, kuva, ääni, jne), tarvittavan kontekstin koon ja muita ominaisuuksia. Tällaisella vertailulla ei luonnollisesti voi vielä päätellä mitään itse mallien kyvyistä, sitä varten pitää sitten tehdä sopiva käytännön suorituskykytesti vertailujoukon kaikille malleille.