Milion tokenów to mniej słów, niż się Panu/Pani wydaje: sprawdziliśmy to

Zarzut ten pojawia się niezawodnie, gdy tylko ktoś wspomina o „drugim mózgu”. Obecne modele językowe potrafią przetwarzać milion tokenów, a niektóre z nich nawet więcej. Po co więc w ogóle sortować, oznaczać i łączyć notatki, skoro można po prostu przekazać całą ich ilość sztucznej inteligencji?

Odpowiedź sprowadza się do liczby, której prawie nikt nie sprawdza. Tokeny to fragmenty, na które model dzieli tekst, i jednostka, według której naliczane są opłaty. To, ile tekstu mieści się w milionie tokenów, zależy od języka oraz od metody dzielenia tekstu, czyli tokenizatora. Zamiast zgadywać, postanowiliśmy to zmierzyć.

Jak przeprowadziliśmy pomiar

Wychodziliśmy od dwóch tekstów o identycznej treści: niemieckiej i angielskiej wersji jednego z naszych artykułów magazynowych. Wersja niemiecka liczyła 1 134 słów, a wersja angielska – 1 276 słów. Obie liczby obejmują wyłącznie tekst główny i podtytuły, bez podpisów ani listy źródeł. Za słowo uznano wszystko, co mieści się między dwiema spacjami. Obie wersje zostały przetworzone przy użyciu biblioteki js-tiktoken w wersji 1.0.20 – raz z kodowaniem o200k_base, którego OpenAI używa w swoich aktualnych modelach, a raz z kodowaniem cl100k_base, starszym kodowaniem stosowanym przez modele GPT-4 i GPT-3.5.

Powszechnie przytaczana zasada mówi, że milion tokenów odpowiada 750 000 słów. W przypadku języka angielskiego szacunek ten jest zbyt konserwatywny; w przypadku języka niemieckiego jest on natomiast znacznie zbyt optymistyczny. Porównanie obu sposobów kodowania dostarcza więcej informacji. Ten sam tekst niemiecki daje 1 747 tokenów w jednym przypadku i 2 088 w drugim. Różnica wynosząca dwadzieścia procent wynika wyłącznie z zastosowania odmiennej metody podziału. Tekst angielski pozostał praktycznie niezmieniony, wynosząc odpowiednio 1 200 i 1 202 tokenów na słowo. Postęp w zakresie tokenizatorów dotyczył niemal wyłącznie języków innych niż angielski.

W przypadku modeli Claude i Gemini przeprowadzenie takiego samego testu nie jest możliwe, ponieważ firmy Anthropic i Google nie udostępniają swoich tokenizatorów. Firma Anthropic zaznacza jednak w swojej dokumentacji cenowej, że modele Claude 4.7 i nowsze wykorzystują inną metodę, która generuje około 30 procent więcej tokenów dla tego samego tekstu niż ich poprzednicy. Poniższe dane są zatem wartościami rzędu wielkości, a nie precyzyjnymi wynikami.

Co to oznacza dla rzeczywistego zbioru danych

Przeprowadziliśmy pomiary zbioru, który powiększał się na przestrzeni lat: około 470 notatek, co po ekstrapolacji daje od 350 000 do 400 000 słów. Zbiór ten ledwo mieści się w oknie kontekstowym i wciąż się powiększa.

Jednak okno kontekstowe jest ponownie wypełniane i opłacane przy każdym pojedynczym zapytaniu. Model nie zapamiętuje danych. Za każdym razem odczytuje tekst od początku. W przypadku GPT-5.6 Sol milion tokenów wejściowych kosztuje pięć dolarów amerykańskich, a od 272 000 tokenów w jednym zapytaniu koszt wzrasta do dziesięciu dolarów. 400 000 niemieckich słów to około 616 000 tokenów, co plasuje je w drogim przedziale cenowym, a więc kosztuje 6,16 dolara. Za jedno pytanie. Dziesięć pytań w ciągu jednego popołudnia to łącznie około 60 dolarów. Notion Business, najdroższa subskrypcja w naszym porównaniu systemów, kosztuje 19,50 euro miesięcznie na użytkownika.

Należy jednak uwzględnić dwa zastrzeżenia. Obliczenia te dotyczą interfejsu API, z którego korzystają programiści w celu bezpośredniego dostępu do modelu, a nie subskrypcji dla użytkowników końcowych. Użytkownicy ChatGPT Plus lub Claude Pro nie płacą za tokeny, ale ostatecznie osiągają limity wykorzystania. Istnieje również kwestia buforowania. W przypadku trafienia w pamięć podręczną firmy OpenAI i Anthropic pobierają opłatę wynoszącą zaledwie jedną dziesiątą ceny za wprowadzenie danych, co oznacza, że 6,16 USD zamienia się w 62 centy. W zależności od ustawień pamięć podręczna działa jednak tylko od pięciu minut do godziny.

Dlaczego sortowanie nadal się opłaca

Nie chodzi o to, że system notatek byłby tańszy od sztucznej inteligencji. Chodzi o to, że zmniejsza on pulę danych, które w ogóle muszą trafić do kontekstu. Przyzwoite wyszukiwanie pełnotekstowe lub indeks semantyczny, który wyszukuje na podstawie znaczenia, a nie słów kluczowych, dostarcza modelowi dziesięć trafnych notatek zamiast czterystu.

W ten sposób 616 000 tokenów zamienia się w około 9 000, a 6,16 dolara – w pięć centów. W przypadku tokenów stosunek ten wynosi 67 do 1, a w przypadku ceny – 123 do 1, ponieważ niewielkie zapytanie nie przekracza kosztownego progu 272 000 tokenów. Do tego dochodzi efekt, którego nie uwzględnia żadna tabela cenowa. Model, który analizuje dziesięć trafnych notatek, udziela precyzyjniejszych odpowiedzi niż ten, który przetwarza czterysta.

Prawdziwym ograniczeniem rzadko jest okno kontekstowe

Jeśli nie korzystają Państwo z interfejsu API, i tak znacznie szybciej napotkają Państwo inną przeszkodę. W przypadku ChatGPT liczba plików na projekt zależy od planu: pięć w planie bezpłatnym, 25 w planach Go i Plus oraz 40 w planach Pro, Business i edukacyjnych. Gemini Notebook pozwala na 50 źródeł na jeden notatnik w bezpłatnym planie Standard, 100 w planie Plus oraz 300 w planie Pro. Pojedyncze źródło może zawierać do 500 000 słów.

Uderzająca jest niespójność tych danych. OpenAI podaje liczbę 25 plików dla planu Plus na stronie pomocy dotyczącej projektów, ale 20 w sekcji pomocy poświęconej przesyłaniu plików, przy czym obie strony zostały zaktualizowane w tym samym tygodniu. Jeśli zamierzają Państwo polegać na tych informacjach, proszę sprawdzić liczbę na własnym koncie, zamiast kierować się dokumentacją.

To zmienia sedno pytania. O tym, czy zbiór może być przeszukiwany, nie decyduje milion tokenów, ale to, czy narzędzie w ogóle go akceptuje. I właśnie w tym miejscu Państwa własny system notatek sprawdza się najlepiej, ponieważ nie wybiera tego, co trafia do środka, a jedynie to, co z niego wychodzi.

Co przemawia przeciwko całej tej koncepcji

„Drugi mózg” nadal wymaga wysiłku, a programy mają swoje specyficzne cechy, o których warto wiedzieć przed rozpoczęciem korzystania z nich. Obsidian i Joplin działają również na telefonach, ale nie synchronizują się w tle. Obsidian odpowiada na to pytanie w swoim własnym FAQ dotyczącym synchronizacji prostym „nie”. Pliki synchronizują się wyłącznie wtedy, gdy program jest uruchomiony. Na komputerze prawie tego nie zauważają Państwo, ponieważ aplikacja jest zazwyczaj otwarta. Jeśli jednak wpiszą Państwo notatkę w drodze, zamkną aplikację, notatka nie trafi na Państwa komputer, dopóki nie otworzą Państwo ponownie aplikacji na telefonie. Dotyczy to Obsidian Sync, płatnej usługi własnej firmy. Jeśli natomiast przechowuje Pan folder w usłudze iCloud lub synchronizuje go za pomocą Syncthing, to usługa ta wykona tę pracę za Pana. W bezpłatnym planie Notion ogranicza rozmiar pojedynczych plików do 5 MB. Z kolei w przypadku Gemini Notebook firma Google nie oferuje możliwości cofnięcia zmian. Usunięcie notatnika powoduje utratę wszystkich źródeł. Jedynie rozmowy z Gemini powracają na listę czatów.

Najlepszą radą jest więc gromadzenie notatek przez dwa tygodnie, a następnie podjęcie decyzji. Jeśli zgromadzi Pan trzydzieści notatek, nie potrzebuje Pan systemu, a jedynie folderu. Jeśli zgromadzi Pan trzysta, sam zauważy Pan, czego brakuje podczas wyszukiwania.