Dla sklepów
O naszym crawlerze
QMBot to robot katalogu Dobrze szyte. Zbiera publiczne informacje o ubraniach z polskich sklepów internetowych, żeby pokazać je w wyszukiwarce z filtrem po składzie. Każdy produkt w katalogu prowadzi linkiem do strony sklepu – tam odbywa się zakup.
Co pobieramy
Z każdego sklepu pobieramy tylko strony dostępne bez logowania:
robots.txti mapy witryny (sitemap.xml), żeby znaleźć strony produktów;- strony produktów: nazwę, cenę, dostępność, rozmiary, kolor, adresy zdjęć, opis i skład materiałowy (najpierw z danych strukturalnych schema.org, potem z treści strony);
- gdy sklep nie ma mapy witryny – strony kategorii, tylko po to, żeby znaleźć linki do produktów.
Nie wchodzimy do koszyka, konta ani formularzy, nie wysyłamy danych do sklepu i nie zbieramy danych klientów. Treści sklepów nie używamy do trenowania modeli AI.
Jak często i jak szybko
- Najwyżej jedno zapytanie na 3 sekundy do jednego sklepu. Jeśli
robots.txtpodaje dłuższyCrawl-delay, stosujemy go. - Pełne przejście katalogu: raz w tygodniu, w nocy (01:00–06:30 czasu polskiego).
- Ceny i dostępność: raz na dobę.
- Kod 429 lub 503 z nagłówkiem
Retry-After: czekamy wskazany czas i zwalniamy dwukrotnie. Powtórny 429 kończy przebieg w tym sklepie. - Kod 403, strona weryfikacji „czy jesteś człowiekiem” lub captcha: od razu przerywamy pracę w tym sklepie. Nie obchodzimy zabezpieczeń, nie zmieniamy tożsamości i nie uruchamiamy przeglądarki, żeby je ominąć.
Jak rozpoznać QMBot
Każde zapytanie ma nagłówek User-Agent:
QMBot/0.1 (+https://dobrzeszyte.pl/crawler)Token w robots.txt: QMBot. Stosujemy grupę User-agent: QMBot, a gdy jej nie ma – grupę *. Reguły dla innych robotów (np. GPTBot, CCBot) nas nie dotyczą.
Robot pracuje dziś z adresów IP, które się zmieniają, więc rozpoznawaj go po User-Agent. Po przeniesieniu na stały serwer opublikujemy tu listę adresów IP i nazwę hosta z rekordem PTR.
Jak nas zablokować lub spowolnić
Wystarczy wpis w robots.txt Twojego sklepu. Odczytujemy go przed każdym przebiegiem.
User-agent: QMBot
Disallow: /User-agent: QMBot
Crawl-delay: 10Możesz też napisać do nas – usuniemy produkty Twojego sklepu z katalogu i dopiszemy domenę do listy wykluczeń.
Wolisz przesłać feed albo dać nam wyjątek
Jeśli masz feed produktowy (Google Merchant, Ceneo XML lub inny), prześlij nam jego adres. Wtedy przestajemy odwiedzać strony produktów i czytamy tylko feed – raz na dobę.
Jeśli Twoja zapora (np. Cloudflare) zatrzymuje QMBot, a chcesz być w katalogu, możesz dodać wyjątek dla User-Agent QMBot. Po przeniesieniu robota na stały serwer podamy też adresy IP do reguły.
Kontakt
W sprawie robota, wyjątków i feedów: crawler@dobrzeszyte.pl.