Elbuz zapisuje każdą stronę przejścia w „Dzienniku parsowania” z kodem odpowiedzi i rozmiarem, więc widać, czy serwis nie oddał strony, czy selektory już jej nie rozpoznają.
Kiedy to się przyda:
- Przebieg się zakończył, a produktów nie ma lub nazwy są puste — kolumna „Typ operacji” pokazuje, na którym kroku łańcuch się przerwał.
- Serwis pokazuje weryfikację „nie jestem robotem” — pobieranie wstrzymuje się i czeka, aż przejdziesz weryfikację w swojej przeglądarce.
- Serwis odpowiada 403 lub 429 — po trzeciej nieudanej próbie strona jest zamykana, a strona odmowy nie trafia do cennika.
- Serwis przebudowano — test reguły, kreator selektorów i dobór przez AI przywracają działające reguły.
Od czego zacząć: otwórz „Dziennik parsowania” przed kolejnym uruchomieniem.
Co pomoże znaleźć przyczynę
- Dziennik parsowania — wiersz dla każdej strony: kod odpowiedzi, rozmiar, liczba powtórzeń i przyczyna.
- Podgląd na żywo i dziennik przebiegów — co dzieje się teraz i ile wierszy przyszło w sumie.
- Kolejność sprawdzania — od dziennika do ponownego doboru selektorów, z listą kontrolną.
- Obejście zabezpieczeń serwisu — CAPTCHA, odmowy serwera, proxy i usługa obchodzenia zabezpieczeń.
- Tabela komunikatów — co oznacza każdy wiersz dziennika i co zrobić.
Który dziennik odpowiada na Twoje pytanie
Najczęstsze nieporozumienie w tym module to nie selektory, lecz dzienniki. Są trzy i odpowiadają na różne pytania.
Podgląd na żywo w oknie „Import danych ze strony” odpowiada na pytanie „co dzieje się w tej chwili”. Wiersze przychodzą w trakcie pracy: „Rozpoczęcie pobierania”, „Pobieranie danych z linków - N (M)”, gdzie N to liczba stron przekazanych do pracy w tej porcji, a M — liczba pozostałych zadań, „Wykryto captcha”, „Operacja przerwana przez użytkownika!”, „Wykonywanie operacji na produktach”, „Zadanie zakończone”. Podgląd nie jest archiwum: wiersze przychodzą w czasie rzeczywistym i nigdzie nie są odtwarzane, więc ponownie otwarte okno jest puste, a wpisy poprzedniego przebiegu są usuwane, gdy tylko uruchomisz kolejny.
„Dziennik parsowania”: wiersz dla każdej strony
To okno odpowiada na pytanie „co stało się z każdą stroną”. W istocie to kolejka zadań: jeden wiersz — jedna strona, którą trzeba było otworzyć i przeanalizować. Otwiera się przyciskiem „Dziennik parsowania” u góry zakładki „Dodatkowo” lub ikoną dziennika w oknie pobierania i od razu jest przefiltrowany według Twojego źródła.
Jeśli otworzysz dziennik między przebiegami i zobaczysz „Brak danych do wyświetlenia”, to norma, a nie błąd konfiguracji. Kolejka żyje dokładnie tak długo, jak trwa przejście: na starcie każdego przebiegu aplikacja czyści i ją, i szczegółowe wiersze ogólnego dziennika dla tego źródła. Dlatego do dziennika zagląda się w trakcie pracy lub zaraz po niej; gdy potrzebna jest historia z poprzednich dni, ogląda się ją na zakładce „Dziennik” w karcie źródła.
Kolumny, w kolejności przydatności przy analizie: „Typ operacji” (linki do kategorii, linki do produktów, karta produktu, atrybuty produktu), „Link”, „Kod odpowiedzi HTTP”, „Rozmiar, kB”, „Powtórzeń”, „Status” — narastający wiersz, do którego aplikacja dopisuje przyczyny, „Data dodania”, „Wykonano”, „W toku”, „Czas odpowiedzi”, „Data wykonania”, „Kontrahent/Cennik”, „Użytkownik”, „ID zadania”. Ikona strony w wierszu otwiera „Kod HTML strony” — ale tylko jeśli w ustawieniach był włączony „Tryb debugowania”; inaczej kod strony nie jest zapisywany.
Kolumna „Typ operacji” jest najbardziej przydatna i najmniej oczywista: pokazuje, do którego kroku procesu doszło przejście. Jeśli w dzienniku są wiersze „Linki do kategorii” i „Linki do produktów”, ale ani jednego „Karta produktu (treść)”, łańcuch przerwał się na drugim kroku — selektor bloku produktu nic nie znalazł. Jeśli są karty, ale nie ma atrybutów, problem jest w czwartym kroku.
Na pasku narzędzi są „Odśwież” i „Zatrzymaj parsowanie danych” — drugi przycisk zatrzymuje pobieranie bez otwierania okna uruchomienia.
Dziennik przebiegów źródła odpowiada na pytanie „ile wierszy przyszło w sumie”. To ta sama zakładka „Dziennik” w karcie źródła co przy cennikach w plikach, z oceną kondycji, kafelkami i historią; w kolumnie „Format” dla takiego źródła jest parser.
Serwis zmienił wygląd — i zebrało się nie to
To najczęstsza awaria pobierania i wygląda niewinnie: przebieg przechodzi, błędów nie ma, ale produktów też nie. Albo są, ale z pustymi nazwami. Przyczyna prawie zawsze jest jedna — serwis przebudowano i selektory nie znajdują już tego, co znajdowały rok temu. Rozwiązuje się to w czterech krokach, a kolejność ma znaczenie.
Krok pierwszy — przeczytać „Dziennik parsowania” (przycisk u góry zakładki „Dodatkowo”), bo odróżnia „serwis nie oddał strony” od „strona przyszła, ale się nie przeanalizowała”, a kolumna „Typ operacji” pokazuje, na którym kroku wszystko się zatrzymało. Zrób to przed kolejnym uruchomieniem: przycisk „Rozpocznij pobieranie” usuwa i kolejkę zadań, i podgląd na żywo z poprzedniego przebiegu, więc nie będzie już czego oglądać. „Kontynuuj” niczego nie usuwa. Oznaki są takie:
- kod odpowiedzi 200, „Rozmiar, kB” normalny, a produktów nie ma — strona przyszła cała, problem w selektorach;
- kod 403, 429 lub 5xx i „Status” z
http … — strona się nie otworzyła, pominięto— serwis odmówił, selektory nie mają z tym nic wspólnego, sprawdź tryb pobierania; - kod 404 i „Wykonano” — strony już nie ma, usuń adres;
- „Rozmiar, kB” podejrzanie mały — zamiast strony przyszła zaślepka antybota lub weryfikacja „nie jestem robotem”;
- zadań w ogóle nie ma, a w podglądzie od razu „Zadanie zakończone” — nie ma czego przechodzić: albo pusta „Lista linków” razem z pustym selektorem kategorii, albo „Selektor operacji” nie znalazł na stronie ani jednego linku.
Krok drugi — test reguły na tym kroku, na którym łańcuch się przerwał. Wpisujesz w kolumnę „Link testowy” adres strony, która na pewno istnieje, i klikasz przycisk testu w wierszu „Selektor operacji”. Lewy panel „Wynik testu” pokaże, co dokładnie zwraca selektor teraz. Pusto — selektor jest martwy; jest coś, ale nie to — selektor łapie sąsiedni blok.
Krok trzeci — dobrać selektor od nowa. Dla operacji z listami to „Kreator konfiguracji parsera”: pokaże gotowe selektory dla wszystkich grup linków na stronie, a Tobie zostanie skopiować właściwy do „Selektora operacji”. Dla karty produktu i atrybutów — przycisk doboru przez sztuczną inteligencję, który sam nadpisuje reguły.
Krok czwarty — włączyć „Automatyczne wyszukiwanie selektorów”, jeśli serwis jest regularnie przebudowywany. W tym trybie aplikacja przy każdym przebiegu sama dobiera selektor tam, gdzie jest pusty, i odróżnia stronę listy od karty po słowach typowych dla listingu i oznaczeniach ceny.
Gdy ze strony przyszło nie to
Gdy serwis nie oddaje stron
Serwisy chronią się przed automatycznym przechodzeniem i to normalna część pracy. Aplikacja rozróżnia dwa przypadki.
Weryfikacja „nie jestem robotem”. Na ten przypadek przewidziano osobne działanie: pobieranie się wstrzymuje, strona wraca do kolejki, rozlega się sygnał dźwiękowy, a w podglądzie na czerwono pojawia się „Wykryto captcha” i link „Przejdź weryfikację na stronie i kliknij «Kontynuuj»”. Prowadzi on dokładnie na stronę, na której pojawiła się weryfikacja, i otwiera się w zwykłej karcie przeglądarki, w której są Twoje pliki cookie: po przejściu weryfikacji kliknij „Kontynuuj”, a przejście ruszy dalej z tego samego miejsca.
Weryfikacja Cloudflare „Just a moment…”. Aplikacja rozpoznaje ją w każdym trybie, nawet bez Twoich znaczników CAPTCHA, i wstrzymuje pobieranie w ten sam sposób. W trybie przeglądarki rozszerzenie (od wersji 2.4.3) najpierw do 12 sekund czeka, aż weryfikacja przejdzie sama. Jeśli nie przejdzie — karta z nią otwiera się w oknie parsowania: przejdź weryfikację tam, a pobieranie samo się wznowi.
Weryfikację aplikacja rozpoznaje po znacznikach — charakterystycznych fragmentach kodu strony, zapisanych w ustawieniach samego parsera. W gotowych modułach są wypełnione: w Hotline to np. g-recaptcha, „Automatic checking against unwanted bots” i jeszcze kilka wierszy. A parser uniwersalny, tworzony przez kreator, nie ma żadnych znaczników i to najważniejsze, co trzeba wiedzieć: strona z weryfikacją przyjdzie do niego jak zwykła. W dzienniku parsowania będzie miała kod 200 i podejrzanie mały rozmiar, a produktów z niej zero. Gdy zobaczysz taki obraz, otwórz ten adres w swojej przeglądarce i sprawdź, co naprawdę na nim jest.
Odmowa serwera. Kody 400 i wyższe oznaczają, że strona się nie otworzyła. 404 jest zamykane od razu i na zawsze — strony już nie ma. Pozostałe (403, 429, 5xx) są powtarzane, a po trzeciej nieudanej próbie zadanie jest zamykane. Treść odpowiedzi nigdy nie jest zapisywana jako wynik parsowania: strona z napisem „Access Denied” nie trafi do Twojego cennika jako opis produktu. Do Twoich wierszy w polu „Ignoruj strony zawierające tekst” aplikacja dodaje jeszcze dziesięć znaczników technicznych — zaślepki i weryfikacje Cloudflare, „403 Forbidden”, „Access Denied” i podobne. Robi to tylko w trybie serwerowym: w trybie przeglądarki stronę dostarcza rozszerzenie i tego zabezpieczenia nie ma.
Co z tym zrobić, zależy od serwisu. Jeśli dostawca dał Ci dostęp — „Bezpośrednio, bez proxy”: takie zapytania nie są płatne. Jeśli serwis po prostu nie lubi obcych — „Przez proxy” albo własne adresy w oknie „Lista serwerów proxy” (każdy adres w nowym wierszu, w formacie user:password@proxyserver:proxyport lub proxyserver:proxyport). Jeśli nie pomaga ani jedno, ani drugie — „Przez usługę obchodzenia zabezpieczeń”: obchodzi CAPTCHA i ochronę antybotową dużych marketplace’ów, ale każde zapytanie jest płatne osobno. Gdy skończą się środki na saldzie, przebieg zatrzyma się z komunikatem „Parsowanie premium (omijanie zabezpieczeń) zatrzymane: za mało środków na saldzie. Doładuj saldo, aby kontynuować.”
Scenariusze
Nocny przebieg zakończył się bez błędów, a produktów zero
Otwórz „Dziennik parsowania”. Kod 200 i podejrzanie mały „Rozmiar, kB” oznaczają, że zamiast strony przyszła weryfikacja „nie jestem robotem” lub zaślepka ochrony: uniwersalny jej nie rozpoznaje. Otwórz adres w swojej przeglądarce i zmień „Jak serwer pobiera tę stronę” (o blokowaniu).
Czego nie będzie: strona-zaślepka nie trafi do cennika jako produkt — produktów z niej jest po prostu zero.
Po aktualizacji serwisu nazwy przyszły puste
W dzienniku kod 200 i zwykły rozmiar — strona jest cała, selektory się zestarzały. Uruchom test reguły na kroku, na którym łańcuch się przerwał, i dobierz selektor od nowa: kreatorem dla list, przez AI — dla karty i atrybutów (kolejność sprawdzania).
Czego nie będzie: dobór przez AI nie zachowuje starych wartości — skopiuj działające selektory przed uruchomieniem.
Serwis zaczął odpowiadać 403
Jeśli dostawca dał Ci dostęp — ustaw „Bezpośrednio, bez proxy”. Jeśli nie — „Przez proxy” albo własne adresy na „Liście serwerów proxy”, a gdy i to nie pomaga, „Przez usługę obchodzenia zabezpieczeń”.
Czego nie będzie: strony z odmową nie są powtarzane bez końca — po trzeciej nieudanej próbie zadanie jest zamykane.
Komunikaty parsera i co z nimi zrobić
| Co widzisz | Dlaczego tak jest | Co zrobić |
|---|---|---|
| W dzienniku parsowania kod 200, „Rozmiar, kB” wyraźnie mniejszy niż zwykle, produktów z tych stron nie ma | Przyszła nie strona, lecz zaślepka ochrony lub | Otworzyć ten sam adres w swojej przeglądarce. Jeśli jest tam weryfikacja — przejść ją lub zmienić tryb pobierania stron (o blokowaniu) |
| Kod odpowiedzi 200, rozmiar strony zwykły, a produktów nie ma | Strona przyszła cała, ale selektory już jej nie rozpoznają — serwis zmienił wygląd | Test reguły → kreator selektorów → dobór przez AI, właśnie w tej kolejności. W trybie serwerowym sprawdź przy okazji pole „Ignoruj strony zawierające tekst” (serwis zmienił wygląd) |
W dzienniku parsowania: http 403 — strona się nie otworzyła, pominięto |
Serwis odmówił. Treść odpowiedzi nie jest zapisywana jako wynik, po trzeciej nieudanej próbie zadanie jest zamykane | Zmienić „Jak serwer pobiera tę stronę” lub podłączyć własne proxy. Jeśli dostawca dał dostęp — „Bezpośrednio, bez proxy” (o blokowaniu) |
| To samo z kodem 404 | Strony już nie ma; zadanie jest zamykane od razu, bez powtórzeń | Usunąć adres z „Listy linków” lub ponownie zaimportować mapę strony |
W dzienniku: op_status = 1 brak odpowiedzi ponad 35 s, próba 2 / 5 |
Odpowiedź nie przyszła na czas. W trybie przeglądarki (35 sekund) — zamknięto okno, zminimalizowano przeglądarkę, brak rozszerzenia; w serwerowym (150 sekund) — wolny serwis | Nie zamykać okna podczas pobierania lub włączyć „Używaj serwera do pobierania danych” (o dwóch trybach) |
W dzienniku ostatni wiersz strony: op_status = 1 brak odpowiedzi ponad 35 s, próba 5 / 5 — druga liczba jest równa pierwszej |
Próby po przekroczeniach czasu się wyczerpały: strona została zamknięta bez danych i pominięta. Jeśli wyczerpały się próby przy pustych odpowiedziach, wiersz jest inny — op_status = 2 nie udało się pobrać po 5 próbach |
Otworzyć adres z kolumny „Link” w przeglądarce. Otwiera się — powtórzyć przebieg; nie otwiera się — serwis blokuje zapytania (gdy serwis nie oddaje stron) |
| Po wyszukiwaniu treści: „Wyszukiwanie zakończone, ale źródeł z błędami: 5” | W przebiegu przeglądarkowym pięć serwisów-źródeł choć raz odpowiedziało błędem lub CAPTCHA. Pod nagłówkiem jest zestawienie: „nazwa serwisu — błędów: N · captcha M” | Kliknąć „Otwórz dziennik” — otworzy się zakładka „Postęp” z filtrem „Tylko błędy”. CAPTCHA i 403 — serwis blokuje; kod 200 bez wyników — serwis zmienił układ strony |
W dzienniku: op_status = 3 otrzymano pustą odpowiedź |
Strona przyszła pusta. Zadanie wraca do kolejki i jest powtarzane, dopóki nie wyczerpie się pięć prób | Sprawdzić adres w przeglądarce. Jeśli strona się otwiera, a puste odpowiedzi się powtarzają — włączyć „Używaj serwera do renderowania JavaScript” |
| „usługa fetch nie zwróciła HTML, pominięto” | Zewnętrzna usługa pobierania stron zwróciła pustą odpowiedź | Powtórzyć przebieg; jeśli się powtarza — zmienić tryb pobierania stron |
| „Parsowanie premium (omijanie zabezpieczeń) zatrzymane: za mało środków na saldzie. Doładuj saldo, aby kontynuować.” | Wybrano „Przez usługę obchodzenia zabezpieczeń”, a środki na saldzie się skończyły | Doładować saldo lub wrócić do trybu „Przez proxy” |
Najczęstsze pytania
Dziennik parsowania pokazuje „Brak danych do wyświetlenia”. Czy to awaria?
Nie. Kolejka żyje, dopóki trwa przejście: na starcie każdego przebiegu aplikacja ją czyści. Historię z poprzednich dni zobaczysz na zakładce „Dziennik” w karcie źródła (o dzienniku).
Czy można wyeksportować „Dziennik parsowania” do Excela, żeby wysłać go dostawcy?
Nie, eksportu nie ma. Otwórz w wierszu „Kod HTML strony” — to, co serwis oddał aplikacji (tylko z „Trybem debugowania”) — albo zaznacz i skopiuj wiersze z tabeli. Zrób to przed kolejnym uruchomieniem tego samego źródła.
Gdzie zobaczyć HTML strony, którą pobrała aplikacja?
W „Dzienniku parsowania”, ikoną strony w wierszu — otworzy się „Kod HTML strony”. Kod strony jest zapisywany tylko wtedy, gdy na zakładce „Dodatkowo” włączony jest „Tryb debugowania”.
W dzienniku jest „brak odpowiedzi ponad 35 s, próba 2 / 5” — to źle, produkt przepadł?
Nie, to ponowna próba po przekroczeniu czasu: zadanie wróciło do kolejki. Źle jest tylko wtedy, gdy obie liczby są równe — „próba 5 / 5”: strona została zamknięta bez danych (co zrobić).
Czy strona „Access Denied” trafi do cennika jako opis produktu?
Nie. Treść odpowiedzi z kodem 400 i wyższym nigdy nie jest zapisywana jako wynik parsowania.
Gdzie to jest i kto ma dostęp
- Menu
- Słowniki → Przetwarzanie cenników → Lista cenników
- Dziennik parsowania
- okno ustawień parsera → zakładka „Dodatkowo” → „Dziennik parsowania”
- Inne wejścia
- ikona dziennika w oknie pobierania; „Dodatkowe operacje” okna produktów cennika
- Uprawnienia
- okno „Dziennik parsowania” lub „Dziennik parsowania stron”
- Przygotuj
- „Tryb debugowania” na zakładce „Dodatkowo” — żeby dziennik zapisywał kod stron
Powiązane tematy
- Jeśli potrzebujesz ogólnego obrazu pobierania ze stron — Parsowanie stron.
- Jeśli selektory trzeba dobrać od nowa — Jak skonfigurować reguły parsowania strony.
- Jeśli trzeba zmienić tryb pobierania stron lub harmonogram — Jak uruchomić pobieranie ze strony.
- Jeśli potrzebny jest link odsiany z wyniku testu — Reguły ignorowania.
- Jeśli wybierasz parser dla swojego sklepu — co to daje Twojemu sklepowi.
