Common Crawl — niewidzialny fundament sztucznej inteligencji

Jest takie miejsce w internecie, o którym większość ludzi nigdy nie słyszała, a które po cichu ukształtowało sposób, w jaki dzisiejsze modele językowe rozumieją świat. Nie ma efektownego interfejsu, nie wyświetla reklam, nie walczy o uwagę użytkownika. A jednak, kiedy zadajesz pytanie ChatGPT, Claude’owi czy innemu asystentowi AI, część odpowiedzi, którą otrzymujesz, została ukształtowana przez dane zebrane właśnie tam. To miejsce nazywa się Common Crawl — i jeśli prowadzisz stronę internetową, blog, sklep czy portal, warto zrozumieć, czym ono jest i dlaczego twoja obecność w nim może mieć znaczenie.  

Czym jest Common Crawl

Common Crawl to amerykańska organizacja non-profit założona w 2008 roku, działająca w formie fundacji typu 501(c)(3). Jej misja jest zaskakująco prosta i jednocześnie ogromna w skali: zdemokratyzować dostęp do informacji w sieci. W praktyce oznacza to, że Common Crawl regularnie „przeczesuje” publicznie dostępną część internetu, pobiera zawartość miliardów stron i udostępnia ją każdemu, całkowicie za darmo. Warto docenić paradoks tej organizacji. Za projektem o tak kolosalnym wpływie stoi zaledwie garstka pracowników. Mimo to od ponad piętnastu lat Common Crawl przeczesuje miliardy stron, a zgromadzone dane udostępnia bez żadnych opłat za pośrednictwem chmury Amazon Web Services. Cały ten ogromny zbiór — liczący ponad 9,5 petabajta — jest dostępny dla badaczy, naukowców, firm i osób prywatnych, bo właśnie ta otwartość jest sednem idei. Zbiór nie jest jednolitą, pojedynczą bazą. To raczej seria oddzielnych „zrzutów” sieci, publikowanych regularnie. W obecnej fazie działania, którą można datować mniej więcej od 2017 roku, Common Crawl publikuje nowe archiwum co miesiąc. Pojedynczy miesięczny crawl obejmuje zazwyczaj od trzech do pięciu miliardów stron internetowych i zajmuje od ok. 100 do 400 terabajtów danych. Co miesiąc internet zostaje więc sfotografowany na nowo, a stara fotografia pozostaje w archiwum — dzięki czemu powstaje też zapis tego, jak treści w sieci zmieniają się w czasie. Mechanizm zbierania danych opiera się na robocie internetowym o nazwie CCBot. To zautomatyzowany program, który systematycznie odwiedza strony w całym internecie: pobiera ich kod HTML, podąża za linkami, by odkrywać nowe adresy, i zapisuje wszystko w ustrukturyzowanym formacie. Proces jest cykliczny. Każdy crawl zaczyna się od listy adresów startowych (tzw. seed URLs), pochodzących z poprzednich przebiegów, katalogów internetowych i zgłoszeń. Robot priorytetowo traktuje strony często linkowane i regularnie aktualizowane — co jest istotną wskazówką, do której jeszcze wrócimy. Dane, które trafiają do archiwum, przechowywane są przede wszystkim w trzech powiązanych formatach: surowych plikach WARC (pełny zapis odpowiedzi serwera wraz z treścią strony), plikach WAT (metadane) oraz WET (sam tekst wyodrębniony ze stron). Do tego dochodzą indeksy, które pozwalają szybko odnaleźć konkretny adres w gigantycznym stogu danych. Cały zbiór hostowany jest w ramach programu AWS Open Data, co oznacza, że nikt nie płaci za samo przechowywanie ani za dostęp — koszty ponosi się dopiero wtedy, gdy chce się te dane przetwarzać na własnych maszynach.

Dlaczego Common Crawl jest tak ważny dla sztucznej inteligencji

Tu dochodzimy do sedna. Common Crawl nie został stworzony z myślą o sztucznej inteligencji — powstał na długo przed obecnym boomem na modele językowe. A jednak okazał się jednym z najważniejszych fundamentów, na których ta rewolucja się oparła. Aby wytrenować duży model językowy, potrzeba ogromnej ilości tekstu — takiej, jakiej nie da się ręcznie napisać ani kupić. Model musi „przeczytać” niewyobrażalne ilości zdań, żeby nauczyć się, jak działa język, jakie fakty istnieją w świecie i jak rozumować na podstawie informacji. I właśnie tutaj Common Crawl okazał się bezcenny: jest największym pojedynczym, otwartym źródłem tekstu z internetu, jakie istnieje. Skala jego wpływu jest trudna do przecenienia. Z analiz wynika, że ponad 80% wszystkich tokenów (jednostek tekstu), na których trenowano GPT-3 — model napędzający między innymi darmową wersję ChatGPT — pochodziło właśnie z Common Crawl. Co więcej, badanie obejmujące 47 dużych modeli językowych opublikowanych między 2019 a październikiem 2023 wykazało, że co najmniej 64% z nich korzystało z danych Common Crawl. Mówimy tu o szerokim spektrum modeli stojących za dzisiejszymi generatorami tekstu, w tym o rodzinach takich jak GPT, Claude, LLaMA czy PaLM. Powstały też słynne pochodne, jak C4 (Colossal Clean Crawled Corpus) — wyczyszczona i przefiltrowana wersja danych Common Crawl stworzona przez Google. Dla właściciela strony internetowej płynie z tego prosty, ale doniosły wniosek: jeśli twoja treść znajduje się w Common Crawl, ma szansę stać się częścią materiału, na którym uczą się modele AI. A to oznacza, że twoja wiedza, twój sposób opisywania rzeczy, fakty o twojej firmie czy branży mogą zostać wplecione w to, jak sztuczna inteligencja rozumie i opisuje świat. Kiedy ktoś zapyta model o temat z twojej dziedziny, jakość i obecność twoich treści w danych treningowych współkształtuje to, na ile trafnie AI potrafi się do twojej ekspertyzy odnieść. Warto przy tym zachować uczciwość intelektualną i dodać dwa zastrzeżenia. Po pierwsze, firmy budujące modele rzadko ujawniają dokładnie, których wersji i filtrów danych używają — obecność w Common Crawl nie jest więc gwarancją, że konkretny model „nauczył się” akurat twojej strony. Po drugie, miesięczny crawl to próbka sieci, a nie jej kompletny obraz; nie każda strona z internetu trafia do każdego przebiegu. Common Crawl jest też przedmiotem uzasadnionej krytyki — bywa skrzywiony językowo (dominuje angielski) i regionalnie (więcej treści z USA i Europy), a stosowane filtry potrafią nieproporcjonalnie usuwać treści mniejszości. To ważny kontekst: bycie w Common Crawl jest szansą, nie magiczną dźwignią. Jest jeszcze drugi, często pomijany powód, dla którego obecność w Common Crawl ma znaczenie. Dane te wykorzystywane są nie tylko do trenowania modeli, ale również do indeksowania i wyszukiwania. Otwarte wyszukiwarki, narzędzia badawcze i projekty analityczne czerpią z tego samego zbioru. Blokując dostęp do swoich treści, odcinasz się więc nie od jednej, lecz od całej rodziny zastosowań naraz.

Jak sprawdzić, czy już jesteś w Common Crawl

Zanim cokolwiek zmienisz, warto sprawdzić, jak sprawa wygląda obecnie. Common Crawl udostępnia publiczne indeksy, które pozwalają wyszukać dowolny adres URL, prefiks, subdomenę lub całą domenę. Najprostsza droga to serwer indeksu URL dostępny pod adresem https://index.commoncrawl.org/. Wybierasz konkretne archiwum (np. CC-MAIN-2025-43, gdzie liczby oznaczają rok i tydzień), wpisujesz wzorzec adresu i otrzymujesz listę zarejestrowanych przechwyceń strony. Indeks można też odpytać programistycznie. Przykładowe zapytanie przez API wygląda tak:

https://index.commoncrawl.org/CC-MAIN-2025-43-index?url=twojadomena.pl/*&output=json

W odpowiedzi dostaniesz wpisy zawierające między innymi adres URL, czas pobrania (fetch_time), status HTTP (fetch_status), wykryty typ treści i nazwę pliku WARC, w którym dana strona została zapisana. Jeśli widzisz wpisy ze statusem 200 — twoja strona jest w archiwum. Bardziej zaawansowani użytkownicy mogą skorzystać z indeksu kolumnowego (URL Index) w formacie Apache Parquet, dostępnego na S3 pod prefiksem s3://commoncrawl/cc-index/table/cc-main/warc/. Jest on przystosowany do masowych, analitycznych zapytań i współpracuje z narzędziami takimi jak AWS Athena, Apache Spark, Pandas, Polars czy DuckDB. To rozwiązanie idealne, gdy chcesz np. wyciągnąć wszystkie adresy z całej domeny albo z konkretnej domeny najwyższego poziomu. Istnieją też gotowe biblioteki ułatwiające pracę, takie jak cdx_toolkit dla Pythona.

Jak sprawić, by twoja strona trafiła do Common Crawl

I tu dochodzimy do najważniejszej, praktycznej części. Dobra wiadomość jest taka, że Common Crawl domyślnie chce odwiedzać publiczne strony. Nie musisz prosić o włączenie do archiwum — musisz raczej upewnić się, że niczego nie blokujesz i że robotowi łatwo dotrzeć do twoich treści.

1. Nie blokuj CCBot w pliku robots.txt

To absolutnie kluczowy krok. CCBot, podobnie jak inne dobrze wychowane roboty, najpierw sprawdza plik robots.txt w katalogu głównym twojej domeny i respektuje jego reguły. Jeśli znajdzie tam regułę blokującą, po prostu nie odwiedzi twojej strony. Najczęstszy, a często niezamierzony błąd wygląda tak:

User-agent: CCBot
Disallow: /

Powyższy zapis całkowicie odcina Common Crawl od twojej witryny. Warto sprawdzić, czy takiej reguły nie ma — bywa, że zostaje dodana automatycznie przez wtyczki „blokujące roboty AI” albo przez systemy CDN. Jeśli zależy ci na obecności, usuń ją lub zamień na wyraźne zezwolenie:

User-agent: CCBot
Allow: /

Pełna, sensowna konfiguracja, która jednocześnie wpuszcza najważniejsze roboty AI (zarówno te trenujące modele, jak i te obsługujące wyszukiwanie w asystentach), może wyglądać tak:

# Roboty wyszukiwania i odpowiedzi AI
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Google-Extended
Allow: /

# Roboty trenujące modele
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: CCBot
Allow: /

# Pozostałe roboty
User-agent: *
Allow: /

Sitemap: https://twojadomena.pl/sitemap.xml

Pamiętaj o kolejności reguł: bardziej szczegółowe wpisy dla konkretnego robota mają pierwszeństwo przed regułą ogólną User-agent: *. Plik robots.txt zawsze powinien być dostępny pod adresem https://twojadomena.pl/robots.txt — po zapisaniu zmian warto otworzyć go w przeglądarce i upewnić się, że załadował się poprawnie.

2. Sprawdź ustawienia CDN i zapory (WAF)

To pułapka, którą łatwo przeoczyć. Popularne usługi jak Cloudflare, Fastly czy AWS WAF mają wbudowane przełączniki w stylu „blokuj roboty AI” lub gotowe zestawy reguł odrzucających ruch od GPTBot, CCBot i podobnych. Co istotne, te reguły działają ponad plikiem robots.txt — możesz mieć idealny robots.txt, a i tak twoje treści będą niedostępne, bo CDN zwraca robotowi błąd 403. Jeśli korzystasz z takiej usługi, zaloguj się do panelu i sprawdź, czy nie jest aktywny przełącznik blokujący roboty AI. Jeśli zależy ci na obecności w archiwum, wyłącz go (ewentualnie zostaw włączony tylko dla treści płatnych czy zamkniętych za logowaniem).

3. Ułatw robotowi pracę technicznie

CCBot odwiedza stronę przez zwykłe żądania HTTP GET. Obsługuje HTTP/1.1 oraz HTTP/2 (to drugie tylko przez TLS, czyli HTTPS), działa po IPv4 i IPv6, a także podąża za maksymalnie czterema kolejnymi przekierowaniami. Ważne jednak ograniczenie: CCBot nie wykonuje JavaScriptu i nie korzysta z ciasteczek. To oznacza, że jeśli twoja treść pojawia się dopiero po wykonaniu skryptów po stronie przeglądarki (typowy problem aplikacji jednostronicowych, SPA), robot może zobaczyć pustą stronę. Zadbaj o to, by kluczowa treść była obecna w surowym kodzie HTML — pomaga tu renderowanie po stronie serwera (SSR) lub statyczne generowanie stron.

4. Buduj linki i publikuj regularnie

Pamiętasz, że robot priorytetowo traktuje strony często linkowane i regularnie aktualizowane? To nie przypadek. Common Crawl zaczyna od adresów startowych i podąża za linkami, więc strona, do której prowadzi wiele odnośników z innych miejsc w sieci, ma większą szansę zostać odkryta i odwiedzona. Działa tu klasyczna logika: wartościowe treści, do których inni linkują, oraz spójne, regularne publikowanie zwiększają zarówno szansę na trafienie do archiwum, jak i na to, że kolejne miesięczne migawki uchwycą rozwój twojej witryny.

5. Mapa strony (sitemap)

Choć historycznie Common Crawl opierał się głównie na podążaniu za linkami, dobrze utrzymana mapa strony (sitemap.xml) i odwołanie do niej w robots.txt to standardowa, dobra praktyka, która porządkuje strukturę witryny dla wszystkich robotów. Nie zaszkodzi, a może pomóc w pełniejszym odkryciu twoich podstron.

Dwie strony tego samego medalu

Na koniec warto spojrzeć na sprawę szerzej, bez przesadnego entuzjazmu w żadną stronę. Obecność w Common Crawl to świadoma decyzja, a nie obowiązek. Z jednej strony otwarcie się na CCBot oznacza udział w czymś większym: w otwartym, demokratycznym zasobie wiedzy, który pozwala nie tylko gigantom, ale też naukowcom, mniejszym firmom i niezależnym badaczom budować i analizować modele AI. To także realna szansa, by twoja ekspertyza była reprezentowana w danych, które kształtują odpowiedzi asystentów AI, oraz by twoje treści pozostawały widoczne dla otwartych wyszukiwarek i narzędzi badawczych. Z drugiej strony są twórcy, którzy z różnych, w pełni uzasadnionych powodów — prawa autorskie, prywatność, kontrola nad własną pracą — wolą nie udostępniać treści do trenowania modeli. Common Crawl respektuje te wybory: honoruje reguły w robots.txt, stosuje hojne opóźnienia między żądaniami, by nie obciążać serwerów, prowadzi rejestr opt-out i udostępnia dedykowane zakresy adresów IP z odwrotnym DNS, dzięki którym można zweryfikować, czy dane żądanie pochodzi od prawdziwego CCBot (oszuści potrafią podszywać się pod jego nazwę). Blokada jest prosta i zawsze w zasięgu ręki. Najważniejsze jest to, by decyzja była świadoma. Zbyt wielu właścicieli stron blokuje wszystkie roboty „na wszelki wypadek”, nie zdając sobie sprawy, że odcinają się nie tylko od trenowania modeli, ale i od widoczności w całym ekosystemie otwartych danych. Inni z kolei chcieliby chronić swoją pracę, a nie wiedzą, że ich treści są swobodnie pobierane. Common Crawl jest jak biblioteka, do której zapisuje się internet — cicho, systematycznie, miesiąc po miesiącu. Teraz, gdy wiesz, jak działa, możesz świadomie zdecydować, czy chcesz, by twój głos znalazł się na jej półkach. A jeśli chcesz — wystarczy nie zamykać przed nią drzwi.

---

Adam Grabowski