Számítástechnikai értelemben a token az adatfeldolgozás egyszerűsítésére használt szavak töredéke. A tokenek mennyiségét, amelyet egy nagy nyelvi modell (LLM) egy adott időpontban feldolgozni képes, kontextusablaknak nevezzük, ami hasonló a rövid távú memóriához. Egy átlagos ember 100 000 tokent tud elolvasni körülbelül öt óra alatt, ám ennél több idő kell ahhoz, hogy elemezni tudja az információkat.
Az OpenAI GPT-4 LLM kontextusablaka 4096 tokenből áll (nagyjából 3000 szóból). Ezzel szemben a ClaudeAI környezeti ablaka körülbelül 9 000 token volt, de a vállalat most 100 000 tokenre (75 000 szóra) növelte. A vállalat betöltötte a chatbotnak A Nagy Gatsby című könyvet, ám egyetlen sort módosítottak benne. A chatbotnak megkellett ezt a módosítást találnia és mindössze 22 másodperc alatt sikerült is neki.
Az Anthropic emellett a mesterséges intelligencia segítségével feldolgozta egy podcast hatórás felvételének átiratát, összefoglalta azt, és válaszolt a kérdésekre. A vállalat szerint a jövőben pénzügyi jelentéseknél és a jogi dokumentumoknál is alkalmazni lehet majd az általuk fejlesztett mesterséges intelligenciát.