ProtimeniuBot
ProtimeniuBot este programul prin care Protimeniu citește site-urile restaurantelor. Protimeniu ordonează preparatele după caloriile pe gram de proteină și are nevoie de meniul fiecărui local. Îl rulează Derikon Development SRL.
Ce citește
ProtimeniuBot citește pagina principală a unui restaurant și, dacă există, pagina cu meniul. Sunt pagini publice. Programul nu se autentifică și nu completează formulare.
Cât de des
ProtimeniuBot trimite cel mult o cerere pe secundă în total, pentru toate site-urile la un loc, și descarcă cel mult șase pagini pe site pe zi. După o citire reușită, păstrează robots.txt 24 de ore pentru fiecare gazdă. O pauză cerută prin Crawl-delay în robots.txt se respectă până la 10 secunde. La o pauză mai lungă, site-ul este sărit.
Ce nu face
ProtimeniuBot respectă robots.txt. La un răspuns 401, 403, 406, 429 sau 451, sau la o pagină de verificare, programul renunță și nu reîncearcă, nici cu alt user agent. După un răspuns 429, programul nu mai cere nimic de la acel site în aceeași rulare. Programul citește doar adrese publice și nu intră pe platformele de livrare sau pe rețelele sociale.
Blocarea accesului
Pentru a bloca ProtimeniuBot, adăugați în robots.txt, la rădăcina site-ului:
User-agent: ProtimeniuBot Disallow: /
Programul păstrează robots.txt 24 de ore după o citire reușită, deci regula se aplică cel târziu a doua zi.
Identificare
User agent: ProtimeniuBot/1.0 (+https://protimeniu.ro/bot)
Contact: office@derikon.com
English
ProtimeniuBot is the program Protimeniu uses to read restaurant websites. Protimeniu ranks dishes by kcal per gram of protein and needs each venue's menu for that. It is run by Derikon Development SRL.
What it reads
ProtimeniuBot reads a restaurant's home page and, when there is one, its menu page. These are public pages. The program does not sign in and does not fill in forms.
How often
ProtimeniuBot sends at most one request per second in total, across all sites, and downloads at most six pages per site per day. After a successful read, it keeps robots.txt for 24 hours per host. A pause set with Crawl-delay in robots.txt is honoured up to 10 seconds. With a longer pause, the site is skipped.
What it does not do
ProtimeniuBot obeys robots.txt. On a 401, 403, 406, 429 or 451 answer, or on a verification page, the program gives up and does not retry, with another user agent or otherwise. After a 429 answer, the program asks that site for nothing more during the same run. It reads public addresses only and does not visit delivery platforms or social networks.
Blocking access
To block ProtimeniuBot, add this to the robots.txt at the root of the site:
User-agent: ProtimeniuBot Disallow: /
The program keeps robots.txt for 24 hours after a successful read, so the rule applies by the next day at the latest.
Identification
User agent: ProtimeniuBot/1.0 (+https://protimeniu.ro/bot)
Contact: office@derikon.com