Jak testujemy modele
Porównujemy prawdziwe wyniki powstałe na podstawie tego samego opublikowanego briefu. Ta strona wyjaśnia sposoby generowania, dane o przebiegach i ograniczenia porównania.
Zasady promptów
Każde wyzwanie zachowuje ten sam opublikowany brief dla wszystkich modeli. Instrukcje systemowe i instrukcje dodawane przez CLI mogą różnić się zależnie od sposobu generowania i stanowią część metody. Nie dostrajamy briefu zadania do poszczególnych modeli. Powtórki po błędach infrastruktury i ponowne generacje zapisujemy osobno; wcześniejsza nieudana próba pozostaje w historii przebiegu.
Brief zadania jest opublikowany przy każdym wyzwaniu. Otwórz zadanie w arenie i wybierz ℹ Szczegóły. Jeśli sądzisz, że brief faworyzuje któryś model, dowody są od razu na miejscu.
Przebiegi i harness
Zadania jednoplikowe wymagają jednego samodzielnego dokumentu HTML, udostępnianego bez ręcznych poprawek. Przebieg one-shot przez API używa jednego żądania generowania. Przebieg przez CLI w ramach subskrypcji może dać kilka odpowiedzi modelu na jeden pierwotny prompt użytkownika, gdy CLI automatycznie kontynuuje po osiągnięciu limitu wyjścia. Obecny protokół CLI dla Opus 5.5 dopuszcza najwyżej dwie takie kontynuacje, czyli trzy odpowiedzi, z wyłączonymi narzędziami i bez ręcznych dogrywek. Zapisany sposób generowania oraz liczby tur i kontynuacji określają tę metodę. Zachowane historyczne logi Fable 5.2 obejmują zarówno pojedyncze odpowiedzi, jak i przebiegi z automatyczną kontynuacją. Przy starszych wpisach bez tych danych nie zakładamy pojedynczej odpowiedzi API. Warianty poziomów myślenia korzystają z tego samego briefu zadania i są publikowane osobno.
Trzy zadania Godot korzystają z osobnego procesu agentowego godforge. Model pisze kod silnika, kompiluje eksport WebAssembly, testuje go i poprawia błędy, aż kompilacja się powiedzie lub zostanie osiągnięty limit 40 tur. Tę metodę iteracyjną oznaczamy osobno od przebiegów przez API i CLI w ramach subskrypcji.
Aktualnie na stanowisku: 54 wyzwań, 182 wariantów modeli w 26 rodzinach, 4,684 artefaktów. Zliczono z manifestu podczas builda, 2026-11-18.
Szacowanie kosztu
Każdy artefakt to pojedynczy plik, więc szacujemy tokeny wyjściowe z rozmiaru pliku i wyceniamy je po opublikowanych stawkach wyjścia dla danego modelu:
tokens ≈ characters ÷ 4 cost = tokens × published $/1M output
To są szacunki, nie faktury. Tokeny wejściowe i tokeny rozumowania nie są liczone, więc rzeczywisty koszt jest wyższy — zwłaszcza przy wysokim wysiłku myślenia. Modele bez opublikowanego cennika nie pokazują kosztu. Czas generacji zegarowy jest zapisywany dla przebiegów po 2026-07-02 i obejmuje oczekiwanie w kolejce oraz throttling. Łączny szacowany koszt wyników na całej stronie jak dotąd: $495.
Głosowanie na ślepo
Odwiedzający po raz pierwszy oceniają domyślnie na ślepo: etykiety ukryte, panele przetasowane. Głosowanie uruchamia odsłonę — kogo wybrałeś i jak rozłożyła się społeczność. Głosy trafiają do wspólnej bazy z kluczem na zadanie; jeden głos na zadanie na przeglądarkę, zmienialny w każdej chwili. Wynik, który widzisz, to suma głosów wszystkich, i jest publiczny w rankingu.
Ciężkie zadania (WebGL, duże symulacje, eksporty Godot) startują jako plakaty i ładują wszystkie panele jednym kliknięciem — częściowo, by oszczędzić Twój laptop, częściowo dla metody: żaden wynik nie powinien zdobywać głosów tylko dlatego, że załadował się pierwszy.
Od 2026-07-10 każdy głos zasila też rating Elo. Głos zapisuje, które modele były na ekranie; zwycięzca wygrywa parami z każdym pokazanym rywalem, a remis liczy się 0,5 dla obu stron. Ratingi startują od 1500 (K 32 przez pierwsze 30 pojedynków wariantu, potem 16), jeden głos ma tę samą łączną wagę przy 2 i 4 panelach, a każda arena prowadzi własny rejestr. Ratingi są przeliczane z pełnego dziennika pojedynków przy każdym odczycie, więc usunięcie głosu usuwa też jego wpływ. Wcześniejsze głosy nie zapisywały rywala i pozostają tylko w surowych licznikach.
Czym to nie jest
To społecznościowy pokaz wyników powstałych ze wspólnych briefów. Sposób generowania i zasady kontynuacji mogą się różnić. Nie stosujemy pass@k, oddzielnych zbiorów testowych ani testów istotności statystycznej. Pytamy: przy tym samym briefie, czyj wynik faktycznie wysłałbyś, zagrałbyś w niego lub przeczytał? Głosy społeczności mierzą preferencję, a preferencja ma swoje uprzedzenia — łagodzimy je oceną na ślepo i uczciwym ładowaniem, a nie udawaniem, że głosy to nauka.
Changelog
- 2026-11-13Doprecyzowano różnicę między wspólnym briefem a instrukcjami zależnymi od sposobu generowania, oddzielono API one-shot od ograniczonych automatycznych kontynuacji CLI i zaznaczono braki w historycznych danych o kontynuacjach.
- 2026-07-10Ratingi Elo: ślepe głosy zapisują teraz pojedynek z ekranu i zasilają rejestr Elo per arena; ranking sortuje po ratingu, surowe liczniki głosów zostają.
- 2026-07-05Onboarding zaczynający na ślepo, tryb turnieju, linki do udostępniania pojedynków, plakaty fair play dla ciężkich zadań.
- 2026-07-03Brief tłumaczeniowy W11 dodany do areny pisania; wdrożono stronę rankingu.
- 2026-07-02Czas generacji zegarowy zapisywany dla wszystkich nowych przebiegów (obejmuje kolejkę i throttling).
- 2026-06-28Powtórka Fable 5 po banie opublikowana jako osobny wariant max obok oryginałów sprzed banu.
- 2026-06-24Arena kodowania rozszerzona do 43 zadań; dodano klasyki ery flash i briefy symulacyjne.
Nie zgadzasz się z werdyktem?
Dobrze. Arena jest argumentem: otwórz wyzwanie, oceń na ślepo i zagłosuj.
Otwórz arenę kodowania