Automatyzacje & AI

Claude Sonnet 5.5 czy Opus 5.5? Obejrzyj dwa montaże obok siebie i oceń sam

Dałem Claude Sonnet 5.5 i Claude Opus 5.5 te same cztery zadania z mojej pracy: montaż filmu, analizę danych z Google, projekt strony i nową funkcję na żywym WordPressie. Wyniki są tu obok siebie, bez nazw modeli. Zagłosuj, zanim odkryjesz, który był który.

Spis treści (11)

W skrócie

  • Oba modele dostały ten sam prompt, tę samą kopię projektu i ten sam poziom wysiłku (--effort high, a w projekcie strony medium). Nie widziały swoich prac ani moich wcześniejszych montaży tego nagrania.
  • Montaż filmu: jedna wersja jest wyraźnie lepsza, a druga 2,7 razy tańsza ($2,84 wobec $7,55 za całe zadanie).
  • Analiza danych z Google: oba modele podały po około 40 liczb i żadna nie była błędna. Różnią się tym, jakie pułapki w danych zauważyły.
  • Projekt strony w Claude Design: jeden projekt lepiej trafia w brief „maksymalnie prosto”, drugi ma lepszą stronę pojedynczej usługi. Ten lepszy do briefu był 2,2 razy tańszy.
  • Nowa funkcja na żywym WordPressie: oba filtry działają na żywej stronie bez żadnego błędu. Różnią się tym, co robią z dmuchańcami, o których brakuje danych. Tańsza wersja była 1,4 razy tańsza.
  • Poniżej wszystko jest bez nazw modeli. Obejrzyj, zagłosuj, a potem kliknij „Odkryj, który model był który”.

Film z tego testu: Claude Sonnet 5.5 vs Opus 5.5: kiedy tańszy wystarczy (obejrzysz go też niżej).

Obejrzyj film z testu

Cały test w kwadrans: montaże obok siebie, liczby z rachunku i żywy WordPress.

Jak testowałem

Zamiast benchmarków dałem obu modelom cztery zadania, które naprawdę robię w pracy: montaż filmu w moim projekcie Remotion, analizę danych mojej firmy Spogle (wypożyczalnia atrakcji na imprezy), projekt strony w Claude Design i nową funkcję na żywym WordPressie. Za każdym razem obowiązywały te same zasady:

  • Identyczny start. Każdy model dostał osobną kopię projektu (klon APFS, powstaje w sekundę) i świeżą sesję Claude Code.
  • Jedna strona, po kolei. W teście 4 kopia robocza strony jest tylko jedna, więc modele pracowały na niej po kolei. Między nimi przywracałem stronę do identycznego stanu.
  • Izolacja. W ustawieniach każdej kopii zablokowałem odczyt drugiej kopii, oryginalnego projektu, zapisów wcześniejszych rozmów i starych renderów. Przed startem sprawdziłem blokady osobnym modelem: 4 z 4 prób podejrzenia zostały odrzucone.
  • Ten sam wysiłek: --effort high dla obu w montażu, analizie i na WordPressie, medium dla obu w projekcie strony.
  • Ślepa ocena. Skrypt losował, który model będzie wersją A, a który B, osobno w każdym teście. Przypisanie zajrzałem dopiero po obejrzeniu wyników.
  • Mierzę koszt całego zadania, a nie cenę tokena. Liczę go z zapisu sesji według oficjalnego cennika API. Na abonamencie nie płacisz tych kwot, ale proporcje pokazują, jak szybko model zjada limit. W projekcie strony koszt i czas podaje sam Claude Design w panelu „Usage”.
Cennik API (za milion tokenów) Sonnet 5.5 Opus 5.5
Wejście $2 $4
Wyjście $10 $20
Zapis do cache na 1 h (tak robi Claude Code) $4 $8
Odczyt z cache $0,20 $0,20

Źródło: cennik Claude API, stan na 29.09.2026. Zwróć uwagę na ostatni wiersz: odczyt z cache kosztuje u obu tyle samo, a w długiej sesji agenta to on stanowi większość tokenów.

Pierwsze podejście wyrzuciłem. Za pierwszym razem oba modele montowały w tym samym katalogu, jeden po drugim. Drugi model dostał więc gotową transkrypcję, skrypty i notatki pierwszego i wyszedł „tańszy”, bo nie musiał niczego odkrywać. Wszystko poniżej to drugie, czyste podejście.

Jedna wada, o której musisz wiedzieć. Reguła blokująca stare rendery zablokowała też folder z konfiguracją renderu w kopiach obu modeli. Wersja A dostała 4 odmowy, wersja B jedną. Obie to obeszły, ale wersję A kosztowało to kilka kroków więcej.

Test 1: montaż filmu w Remotion

Nagranie: 4 minuty, w których opowiadam o darmowej Akademii SEO na stronie Double Digital. Prompt (skrót): „Sam zapoznaj się ze stylem marki Double Digital (double-digital.pl) i na jego podstawie przygotuj oprawę. Zmontuj cały film w 16:9, a z pierwszych 24 sekund zrób short 9:16. Narzędzia wybierasz sam. Jeśli czegoś nie wiesz, zapytaj.” Żaden model nie zadał pytania i żadnemu nie dawałem poprawek.

Przycisk „Odtwórz oba naraz” puszcza obie wersje równo, z dźwiękiem z lewej. Przewijanie lewej przewija też prawą. Żeby dobrze zobaczyć szczegóły, kliknij „Na cały ekran”.

Wersja A
Wersja B

Film 16:9, 4:16

Short 9:16 z pierwszych 24 sekund:

Wersja A
Wersja B

Short 9:16, 0:24

Który montaż jest lepszy?

Na co patrzeć, jeśli nie montujesz na co dzień:

  • Czy grafika pokazuje to, o czym mówię, czy tylko podpisuje obraz?
  • Czy obraz się zmienia. Przez 4 minuty na ekranie jest głównie przewijana strona, więc montaż musi przejmować uwagę.
  • Short na telefonie: czy da się przeczytać tekst bez przybliżania i czy adres strony jest widoczny dość długo.

Test 2: analiza danych z Search Console i Analytics

Oba modele dostały 4 pliki z danymi Spogle: podstrony z Search Console za ostatnie 12 miesięcy i za poprzednie 12, strony wejścia z GA4 oraz strony wejścia w podziale na kanały. Pytanie było jedno: „Które 5 stron poprawić w tym tygodniu, żeby było więcej zapytań?”. Do tego raport na jedną stronę A4, jeden wykres i plik ze źródłem każdej liczby z raportu.

Tu nie oceniam ładności, tylko to, czy liczby się zgadzają. Napisałem skrypt, który porównuje każdą liczbę z raportu z plikiem źródłowym. Liczby wyliczone (zmiany procentowe, sumy) przeliczyłem osobno.

Wersja A
Wykres z raportu wersji A: strony Spogle według ruchu i zapytań

5 stron spogle.pl do poprawy w tym tygodniu

Zapytania z formularza przychodzą dziś głównie ze stron usług i strony głównej, a blogi z największym ruchem prawie ich nie dają. Dlatego wybrałem dwa rodzaje pracy: (A) zamienić ruch z blogów na zapytania (strony 1–2), (B) zwiększyć liczbę kliknięć w strony usług, które Google już pokazuje (strony 3–5).

1. /7-zabaw-integracyjnych-dla-doroslych

  • Co się dzieje: najwięcej wejść w serwisie (12 692 sesji), a zapytania tylko 2. Kliknięcia z Google wzrosły do 14 709 (rok wcześniej 7 052, czyli o 109%).
  • Dlaczego ważne: to ludzie planujący imprezę, ale nikt nie proponuje im wynajmu.
  • Do zrobienia: pod pierwszym akapitem i na końcu dodać przycisk „Zorganizujemy to na Waszej imprezie – poproś o wycenę” prowadzący na /kontakt.

2. /zabawy-integracyje-dla-pracownikow

  • Co się dzieje: 8 638 sesji i tylko 7 zapytań; kliknięcia z Google 8 988 (rok wcześniej 4 875), pozycja średnio 10,6.
  • Dlaczego ważne: ludzie szukają zabaw dla pracowników, czyli to firmy, które mogą zamówić atrakcje.
  • Do zrobienia: dodać ramkę „Atrakcje na imprezę firmową” z linkiem do strony nr 3 i takim samym przyciskiem do /kontakt.

3. /uslugi/atrakcje-na-imprezy-firmowe

  • Co się dzieje: Google pokazuje ją 32 850 razy (o 89% więcej niż rok wcześniej), a kliknęło 80 osób (0,24%). Pozycja spadła z 16,7 do 20,4 (wyższy numer = niżej).
  • Dlaczego ważne: to główna strona oferty dla firm. Z 117 wejść 5 skończyło się zapytaniem, więc więcej kliknięć da więcej zapytań.
  • Do zrobienia: przepisać tytuł i opis widoczne w Google tak, by mówiły to, czego szuka firma (atrakcje na imprezę firmową, integrację, piknik) i kończyły się zachętą do wyceny.

4. /uslugi/dmuchance-krakow

  • Co się dzieje: 33 581 wyświetleń w Google, 457 kliknięć (1,36%), pozycja 13,0, czyli dół drugiej strony wyników; rok wcześniej 13,3, bez postępu.
  • Dlaczego ważne: jedna z najlepiej zamieniających stron: 23 zapytania z 354 wejść. Awans na pierwszą stronę wyników da jej więcej ruchu.
  • Do zrobienia: dodać sekcję z cennikiem i dostawą do Krakowa oraz krótkie pytania i odpowiedzi (FAQ).

5. /uslugi/dmuchance-na-wynajem

  • Co się dzieje: kliknięcia z Google spadły z 189 do 48 (o 75%), pozycja z 13,9 na 18,4. To największy spadek kliknięć ze wszystkich stron. Mimo to daje 20 zapytań: 12 z reklam i 8 z Google.
  • Dlaczego ważne: strona przynosząca zapytania traci ruch. Hipoteza: konkuruje z nową stroną /wynajem-dmuchancow-warszawa (nie było jej w danych sprzed roku).
  • Do zrobienia: w Search Console (Skuteczność, filtr „Strona”) sprawdzić, czy na te same frazy wyświetla się /wynajem-dmuchancow-warszawa; jeśli tak, rozdzielić tematy (ta: dmuchańce ogólnie, tamta: Warszawa).

Czego nie wybrałem

  • /wynajem-dmuchancow-warszawa: GA pokazuje 42 zapytania, ale od 3 sierpnia strona ma własny formularz, którego GA nie liczy, a ruch to głównie reklamy (2 332 z 2 802 sesji). Z tych danych nie da się jej ocenić.
  • Strona główna: 174 zapytania, najwięcej ze wszystkich, więc niczego tam nie psuć.
  • /8-nietypowych-gier-domowych-na-kwarantanne: 7 168 sesji i 7 zapytań, ale gry domowe to nie klient wypożyczalni.

Uwaga: zapytanie liczy się przy stronie wejścia tylko, gdy formularz poszedł w tej samej wizycie; kto wrócił później, trafia do „Direct”, więc blogi mogą dawać więcej zapytań, niż widać. Z Search Console usunąłem wiersze z kotwicami (#naglowek), bo dublują wyświetlenia.

Wersja B
Wykres z raportu wersji B: zapytania na sto wejść na stronach usług i w artykułach

Pięć stron do poprawy w tym tygodniu

W skrócie: zapytania przynoszą strony usług, a ruch przynoszą artykuły na blogu. Strony usług dały 327 zapytań z 7358 wejść (4,4 na sto wejść), artykuły 74 zapytania z 44744 wejść (0,17 na sto). Dlatego: na dwóch najpopularniejszych artykułach o integracji dołożyć drogę do oferty, a trzy strony usług, które dobrze sprzedają, pokazać większej liczbie osób w Google (wykres: chart.png).

/zabawy-integracyje-dla-pracownikow

  • Co się dzieje: 8638 wejść i tylko 7 zapytań. Dla porównania artykuł /hotel-z-atrakcjami-dla-dzieci-blisko-warszawy przy 5191 wejściach dał 23 zapytania, więc czytelnicy bloga potrafią pytać o ofertę.
  • Dlaczego to ważne: czytają go osoby, które organizują integrację w firmie, czyli Twoi klienci. Ruch z Google rośnie: 8988 kliknięć w ostatnim roku wobec 4875 rok wcześniej.
  • Do zrobienia: na górze artykułu i po opisie każdej zabawy wstaw ramkę „Organizujesz integrację? Przywieziemy i obsłużymy atrakcje. Zapytaj o wycenę” z przyciskami do /uslugi/atrakcje-na-imprezy-firmowe/ i /kontakt/.

/7-zabaw-integracyjnych-dla-doroslych

  • Co się dzieje: najczęściej odwiedzana strona serwisu: 12692 wejścia i 2 zapytania. Kliknięć z Google było 14709 (rok wcześniej 7052).
  • Dlaczego to ważne: największa widownia w serwisie, a prawie nikt nie przechodzi z niej do oferty.
  • Do zrobienia: ta sama ramka z przyciskami co wyżej, na górze i po każdej zabawie.

/uslugi/atrakcje-na-imprezy-firmowe

  • Co się dzieje: Google pokazał ją 32850 razy (rok wcześniej 17358), a kliknięć było 80 (wcześniej 85). Średnia pozycja spadła z 16,7 na 20,4, czyli druga–trzecia strona wyników; klika 0,2% widzących. Ze 117 wejść przyszło 5 zapytań.
  • Dlaczego to ważne: to strona Twojej głównej oferty. Chętnych w Google przybywa, a strona z tego nie korzysta.
  • Do zrobienia: podlinkuj ją z ramek na dwóch artykułach powyżej i ze strony głównej. Linki z najczęściej odwiedzanych stron serwisu pomagają Google uznać ją za ważną.

/uslugi/dmuchance-krakow

  • Co się dzieje: najlepiej sprzedająca strona usługi z dużym zasięgiem: 23 zapytania z 354 wejść (6,5 na sto). Google pokazał ją 33581 razy, średnia pozycja 13,0, czyli tuż za pierwszą stroną wyników; kliknięć 457.
  • Dlaczego to ważne: tu każde dodatkowe wejście najczęściej zamienia się w zapytanie, a przejście na pierwszą stronę wyników zwykle wyraźnie zwiększa liczbę kliknięć.
  • Do zrobienia: dopisz sekcję pod Kraków: zdjęcia z realizacji w Krakowie i okolicy, ceny „od” oraz pytania i odpowiedzi (dowóz, obsługa, deszcz).

/usluga/piana-party

  • Co się dzieje: strona jest już na pierwszej stronie Google (średnia pozycja 8,9), pokazała się 20509 razy, ale kliknęło tylko 1,3% widzących (261 osób). Z 239 wejść było 9 zapytań.
  • Dlaczego to ważne: nie trzeba awansu w wynikach; wystarczy, że więcej widzących kliknie.
  • Do zrobienia: przepisz tytuł i opis widoczne w wynikach Google (pola we wtyczce SEO): nazwa usługi, zasięg dojazdu, wyróżnik, który naprawdę oferujecie (np. obsługa w cenie), i zachęta „Sprawdź wolne terminy”.

Czego celowo nie wybrałem

  • /wynajem-dmuchancow-warszawa: w Analytics 42 zapytania z 2802 wejść, ale jej własny formularz nie jest liczony, a ruch to głównie reklamy (2332 wejścia z płatnych wyników). Nie da się jej uczciwie ocenić, dopóki wysyłki tego formularza nie trafią do Analytics. To warto zlecić osobno.
  • /uslugi/dmuchance-na-wynajem: kliknięcia z Google spadły ze 189 do 48, ale w tym czasie powstały strony dmuchańców dla miast. Przypuszczam, że przejęły część wyszukiwań; to do sprawdzenia, nie do pilnej poprawki.

Zastrzeżenia do danych: „zapytanie” to zdarzenie wysłania formularza. Na /kontakt zdarzeń jest więcej niż wejść (239 wobec 218), więc jedna osoba bywa liczona więcej niż raz. Pliki z Analytics zawierają tylko górę listy (brakujące strony miały najwyżej po jednym wejściu) i nie podają okresu. Pozycja w Google to średnia ze wszystkich fraz.

Sprawdzenie liczb Wersja A Wersja B
Liczby w raporcie 39 44
Zgodne z plikiem 34 31
Wyliczone, sprawdzone ręcznie 5, wszystkie poprawne 13, wszystkie poprawne
Błędne 0 0
Bez podanego źródła 0 0
Wspólne strony w top 5 4 z 5 4 z 5

W danych były trzy pułapki, o których modele nie wiedziały:

  1. Plik z kanałami jest obcięty. Ma tylko 60 z 888 wierszy (widać to w polu rowCount). Suma zapytań z niego to 765, a z pełniejszego pliku 856.
  2. Na stronie kontaktu jest więcej zapytań niż wejść (239 wobec 218). To zdarzenia, a nie osoby.
  3. Najpopularniejszy wpis na blogu ma 14 709 kliknięć z Google i tylko 2 zapytania. Ruch to jeszcze nie klienci.

Obie wersje zauważyły trzecią pułapkę i obie polecają to samo: dołożyć na blogu drogę do oferty. Pierwsze dwie wyłapała tylko wersja B. Wersja A zauważyła za to dwie rzeczy, których ja nie przewidziałem: wiersze z kotwicami (#nagłówek), które w Search Console dublują wyświetlenia, oraz to, że osoba wracająca z bloga po czasie trafia w Analytics do „Direct”, więc blog może dawać więcej zapytań, niż widać.

Która analiza jest lepsza?

Test 3: projekt strony w Claude Design

Trzecie zadanie zrobiłem w Claude Design, czyli w edytorze projektów na claude.ai, a nie w Claude Code. Brief (skrót): „Zaplanuj nowoczesną i funkcjonalną stronę dla firmy od atrakcji na eventy, atrakcjenaeventy.pl. Odbiorcy to osoby, które organizują imprezy i wybierają atrakcje, więc strona ma być maksymalnie prosta w obsłudze, ale z elementami wow. Zaprojektuj stronę główną, stronę usługi i widoki na telefon. Jeśli potrzebujesz, zadaj mi pytania.”

Tu nie działały moje skrypty izolacji, a oba modele pracowały na effort medium. Zdjęcia w obu projektach to jeszcze szare placeholdery, więc oceniaj układ i drogę do zapytania, a nie grafiki.

Wersja AWersja A: pierwszy ekran strony głównej atrakcjenaeventy.pl
Wersja BWersja B: pierwszy ekran strony głównej atrakcjenaeventy.pl

Strona główna, pierwszy ekran

Wersja AWersja A: strona usługi Bubble football
Wersja BWersja B: strona usługi Bubble football

Strona usługi (Bubble football), pierwszy ekran

Wersja AWersja A: strona główna na telefonie
Wersja BWersja B: strona główna na telefonie

Strona główna na telefonie

Poniżej oba projekty w całości, ze wszystkimi planszami na komputer i telefon. Możesz je przewijać i klikać, bo część przycisków działa. Najwygodniej po kliknięciu „Na cały ekran”. W osobnej karcie: wersja A, wersja B.

Wersja A
Wersja B

Cały projekt, przewiń w ramce

Na co patrzeć:

  • Ile trzeba zrobić, zanim zobaczysz atrakcje. Brief mówi „maksymalnie prosto”.
  • Czy ktoś, kto nie wie, czym jest archery tag, i tak coś wybierze.
  • Strona usługi: czy organizator dowie się, ile osób zagra, ile to trwa, co jest w cenie i czego potrzeba na miejscu.
  • Formularz: czy pyta o to, co potrzebne do wyceny, i nic więcej.

Który projekt jest lepszy?

Test 4: nowa funkcja na żywym WordPressie

Czwarte zadanie było najbardziej ryzykowne, bo dotyczyło działającej strony. Moja firma Spogle ma kopię roboczą nowej strony na WordPressie (staging). Klienci jej jeszcze nie widzą, ale działa jak prawdziwa. Prompt (skrót): „Na stronie katalogu dmuchańców dodaj filtr: wiek dzieci, ogród czy hala, rozmiar, cena. Bez przeładowania strony. Filtry mają być w adresie, żeby link z filtrem otwierał tę samą listę. Licznik wyników i „wyczyść”. Komunikat, gdy nic nie pasuje. Na telefonie wysuwany panel. Nie wymyślaj cen, wymiarów ani wieku.”

Każdy model sam wgrał zmiany na żywy WordPress i sam je sprawdził. Oba pracowały w Claude Code na --effort high, każdy w izolowanej kopii projektu. Kopia robocza strony jest jedna, więc modele szły po kolei. Między nimi przywracałem stronę do identycznego stanu: zrzut bazy danych i oryginalny kod, a zgodność sprawdziłem skrótami treści.

W danych była pułapka. W katalogu jest 41 pozycji. Wiek dzieci ma wpisany tylko 7 z nich, rozmiar 9, cenę 22, a informacji „ogród czy hala” nie ma żadna. Filtr, o który prosiłem, w dużej części nie ma na czym działać. Chciałem zobaczyć, czy model to zauważy, czy dopowie brakujące dane.

Oba filtry na komputerze, po kliknięciu „2 lata”:

Wersja AWersja A: katalog dmuchańców Spogle z filtrem, wybrany wiek 2 lata
Wersja BWersja B: katalog dmuchańców Spogle z filtrem, wybrany wiek 2 lata

Komputer, po kliknięciu „2 lata”

Na telefonie, z otwartym panelem filtrów:

Wersja AWersja A: wysuwany panel filtrów na telefonie
Wersja BWersja B: wysuwany panel filtrów na telefonie

Telefon, panel filtrów

Po wgraniu puściłem swój test automatyczny. Modele go nie znały, więc nie mogły się pod niego ustawić.

Mój test automatyczny Wersja A Wersja B
Strony, które działają 10 z 10 10 z 10
Błędy JavaScript 0 0
Klik „2 lata” zmienia adres na ?wiek=2 tak tak
Link otwarty od nowa daje tę samą listę tak tak
Wysuwany panel na telefonie tak tak
Zapisy do bazy danych 0 0
Zmiany w kodzie 6 plików motywu, 447 wierszy dodanych, 2 usunięte 6 plików motywu, 445 wierszy dodanych, 11 usuniętych

Oba filtry działają. Różnią się tym, co robią z dmuchańcami, o których brakuje danych:

  • Wersja A domyślnie ukrywa dmuchańce bez danych i pokazuje je dopiero po kliknięciu „Pokaż też N bez danych”. Pod każdym filtrem pisze, dla ilu pozycji zna dane, np. „Wiek podajemy przy 7 z 23”. Długości torów przeszkód (20, 27, 28 i 108 m) wywnioskowała z ich nazw.
  • Wersja B niczego nie ukrywa. Dmuchańce bez danych oznacza jako „do potwierdzenia” („Pasuje 1 z 23, 16 do potwierdzenia”) i wyjaśnia to jednym zdaniem. Sama dopisała też, że nowe zdarzenie trafi do Google Analytics dopiero po dodaniu go w Menedżerze tagów.

Żaden model nie zmyślił wieku, ceny ani tego, czy dmuchaniec zmieści się w hali. To, który sposób jest lepszy, to decyzja biznesowa, a nie błąd. A Ty co byś wybrał dla swojego klienta: krótszą listę, która na pewno pasuje, czy pełną, w której część trzeba dopytać?

Na co patrzeć:

  • Co zobaczy rodzic, który kliknie „2 lata”. Czy od razu wie, że lista jest niepełna, i co z tym zrobić?
  • Czy strona uczciwie mówi o brakach, zamiast udawać, że zna wiek każdego dmuchańca.
  • Telefon: czy panel da się obsłużyć kciukiem i czy widać, ile wyników zostało.

Który filtr jest lepszy?

Wyniki: który model był który

Uwaga, dalej są nazwy modeli. Jeśli jeszcze nie głosowałeś, wróć wyżej.

Opus 5.5 Sonnet 5.5
Montaż: koszt całego zadania $7,55 $2,84
Montaż: czas pracy 23,5 min 14,5 min
Montaż: tokeny wyjściowe 116 052 75 128
Montaż: ocena zewnętrzna (film / short) 8 / 6,5 6,5 / 5,5
Analiza: koszt całego zadania $1,65 $1,11
Analiza: czas pracy 5,1 min 4,5 min
Analiza: tokeny wyjściowe 31 958 36 024
Analiza: błędne liczby 0 0
Projekt strony: koszt całego zadania $3,00 $1,34
Projekt strony: czas pracy 11 min 6 min
Projekt strony: ocena zewnętrzna lepsza strona usługi lepiej odpowiada na brief
WordPress: koszt całego zadania $4,96 $3,47
WordPress: czas pracy 13,7 min 11,3 min
WordPress: tokeny wyjściowe 69 185 79 380
WordPress: błędy na żywej stronie 0 0
Razem $17,16 $8,76

W montażu, projekcie strony i na WordPressie wersją A był Opus, a w analizie Sonnet. Ocenę zewnętrzną wystawił Codex (model OpenAI): w montażu po obejrzeniu klatek obu filmów, w projekcie strony po przejrzeniu wszystkich 10 plansz. Wybrałem go, bo nie ocenia własnej „rodziny” modeli.

Montaż wygrał Opus i to wyraźnie. Zbudował cały kadr od nowa w stylu Double Digital, a plansze tłumaczą treść: jak działa wyszukiwarka, progi optymalizacji strony, plik robots.txt. Sonnet zostawił tło z nagrania i przez większość filmu pokazuje przewijaną stronę z paskiem nazwy lekcji na górze. Jest czysto, ale monotonnie. W shortach różnica jest mniejsza: Sonnet dodał duże napisy do słów, czego Opus nie zrobił.

Analizę obaj zrobili bezbłędnie. 4 z 5 wybranych stron się pokrywają. Opus był ostrożniejszy wobec danych i wyłapał obcięty plik. Sonnet zauważył dwie rzeczy, których sam nie przewidziałem, i był o jedną trzecią tańszy.

Projekt strony Codex przyznał Sonnetowi. Lepiej trafił w brief „maksymalnie prosto”: dwa pytania na start, gotowe zestawy („Integracja firmowa”, „Piknik rodzinny”) dla tych, którzy nie znają nazw atrakcji, krótki formularz i działające filtrowanie. Opus zrobił wyraźnie lepszą stronę usługi (warianty, czas wynajmu, przebieg dnia, co jest w cenie, wymagania techniczne) i mocniej przekonuje klienta firmowego (faktura, opiekun), ale zawęził całą markę do eventów firmowych i rozbudował formularz. Oba projekty same założyły, że firma działa w Warszawie, i w obu na telefonie pasek zapytania zasłania przycisk wyszukiwarki. Opus był przy tym 2,2 razy droższy i pracował prawie dwa razy dłużej.

Test na WordPressie to remis w jakości. Oba filtry działają, obaj przeszli mój ukryty test i żaden nie zmyślił danych. Różnią się tylko tym, co robią z brakami: Opus chowa dmuchańce bez danych, Sonnet oznacza je „do potwierdzenia”. Sonnet był przy tym 1,4 razy tańszy i skończył o 2,4 minuty szybciej.

Czy „tańszy token” to „tańsze zadanie”?

Po premierze Sonneta 5.5 najgłośniejszy zarzut brzmiał: token jest o połowę tańszy, ale model zużywa 62% więcej tokenów, więc na rachunku wychodzi podobnie. U mnie wyszło różnie w zależności od zadania:

  • W montażu Sonnet wygenerował o 35% mniej tokenów niż Opus i był 2,7 razy tańszy. Tyle że dał słabszy montaż.
  • W analizie Sonnet wygenerował o 13% więcej tokenów, a mimo to był 1,5 razy tańszy, bo każdy token kosztuje go połowę mniej.
  • W projekcie strony Sonnet był 2,2 razy tańszy i skończył w 6 minut zamiast 11. Claude Design nie pokazuje wiarygodnie tokenów, więc tu porównuję tylko koszt i czas.
  • Na WordPressie Sonnet wygenerował o 15% więcej tokenów, a i tak był 1,4 razy tańszy. To najmniejsza przewaga cenowa ze wszystkich testów.

Sonnet był tańszy w każdym z czterech testów, łącznie prawie dwa razy ($8,76 wobec $17,16), choć w dwóch zużył więcej tokenów.

Większość kosztu w pracy agenta to nie odpowiedzi modelu, tylko ciągłe wczytywanie rosnącej rozmowy z cache. W montażu Opus wczytał z cache 13,5 mln tokenów, a Sonnet 7 mln, bo zrobił mniej kroków. Tańsze zadanie bierze się z mniejszej liczby kroków, a nie tylko z niższej stawki.

Kiedy który model

Po czterech zadaniach wyciągam ostrożne wnioski, bo każde zrobiłem raz. Przy powtórce wyniki mogą się przesunąć.

  • Opus 5.5 biorę tam, gdzie liczy się pomysł i wygląd, a zadanie jest bogate: montaż, rozbudowana strona usługi, wszystko, co ma przekonać wymagającego klienta. W montażu różnica w jakości była większa niż różnica w cenie.
  • Uwaga na brief „prosto”. W projekcie strony Opus zrobił więcej, niż trzeba, i przegrał z prostszym projektem Sonneta. Jeśli prosisz o prostotę, Sonnet może ją dowieźć lepiej i taniej.
  • Sonnet 5.5 wystarcza do analiz, w których wyniki da się sprawdzić skryptem. Zero błędnych liczb przy o jedną trzecią niższym koszcie.
  • Na żywej stronie klienta Sonnet wystarczył. Ale spokój dał mi nie wybór modelu, tylko automatyczny test po wgraniu i kopia robocza, którą mogłem w każdej chwili przywrócić. Zasada: nigdy nie wgrywaj zmian od AI prosto na działającą stronę, bez kopii i testu.
  • Niezależnie od modelu: każ podawać źródło każdej liczby i sprawdzaj je kodem. Bez tego nie wiedziałbym, że obie analizy są bezbłędne.

W Claude Code model zmieniasz komendą /model w trakcie sesji albo przy starcie: claude --model claude-sonnet-5-5 --effort high.

Chcesz, żeby Claude Code robił to u Ciebie?

Te cztery zadania to zwykły tydzień mojej pracy: montaż, analiza danych, projekt strony i zmiana na żywym WordPressie. W listopadzie otwieram kurs „Claude Code w Twoim biznesie”, zbudowany właśnie na takich zadaniach. Jest dla osób, które prowadzą firmę albo robią marketing i nie programują. Przedsprzedaż ruszy 17 listopada, a lista chętnych dowie się o niej pierwsza.

Zapisz się na listę chętnych →

Maciek Kulkowski
Chcesz, żeby Claude Code robił takie rzeczy u Ciebie?W listopadzie otwieram kurs „Claude Code w Twoim biznesie”: prawdziwe zadania, bez programowania. Lista chętnych dowie się pierwsza.
Zapisz się na listę
Maciek Kulkowski
Autor

Maciek Kulkowski

Head of SEO w agencji Double Digital. Przebudowuję strony firm usługowych tak, żeby ruch z Google zamieniał się w telefony, i uczę zespoły pracy z AI. Buduję narzędzia AI do SEO i pokazuję je na YouTube.