Unser Crawler fachevents-discovery

Wozu der Crawler dient

fachevents.de ist ein Veranstaltungskalender für Unternehmen: Fachmessen, Kongresse, Tagungen, Netzwerkveranstaltungen und Seminare. Der Crawler fachevents-discovery sammelt dafür öffentlich angekündigte Termine. Jeder Termin verlinkt auf die Seite des Veranstalters. Die Anmeldung bleibt beim Veranstalter.

Woran Sie ihn erkennen

Der Crawler meldet sich mit dieser Kennung (User-Agent):

fachevents-discovery/0.1 (+https://fachevents.de/crawler-info; mailto:hallo@justus.marketing)

Er ruft von einem festen Server ab: über IPv4 von 187.77.92.174, bei Websites mit IPv6 auch von 2a02:4780:79:d389::1.

Manche Websites laden ihre Termine erst per JavaScript. Diese Seiten öffnet der Crawler mit einem Browser ohne Bildschirm (Chromium), einzeln und mit Pausen von mehreren Sekunden. Auch dieser Browser meldet sich mit der Kennung oben und ruft vom selben Server ab. In den Client Hints (Sec-CH-UA) bleibt er als HeadlessChrome erkennbar. Startet er ohne diese Kennung, ruft er nichts ab.

Wie er abruft

• Er prüft vor jedem Seitenabruf die robots.txt der Website (zwischengespeichert bis zu 24 Stunden) und ruft dort gesperrte Adressen nicht ab.
• Ein Abrufvorgang wartet zwischen zwei Seiten derselben Website mindestens eine Sekunde.
• Je Quelle und Durchlauf ruft er nur eine begrenzte Zahl von Seiten ab.
• Er meldet sich nirgends an, füllt keine Formulare aus und löst keine CAPTCHAs. Antwortet eine Website mit einer Fehler- oder Sperrseite, wertet er das als Fehlschlag. Er wechselt dafür weder Kennung noch Adresse.
• Verdeckt ein Cookie-Hinweis die Seite, wählt er „Ablehnen“ oder „Nur notwendige“. Fehlt diese Wahl, klickt er „Akzeptieren und schließen“.

Was wir übernehmen

Wir übernehmen die Eckdaten eines Termins: Titel, Datum, Ort, Veranstalter, Preis und den Link zur Anmeldung. Die Beschreibung auf fachevents.de schreiben wir selbst. Für alle Details und die Anmeldung verlinken wir auf die Seite des Veranstalters. Wer die Angaben zu seiner Veranstaltung ändern möchte, erreicht uns unter der Adresse unten.

Bremsen oder ausschließen

Schreiben Sie uns an hallo@justus.marketing. Auf Wunsch nehmen wir Ihre Website heraus oder rufen seltener ab.

Sie können den Crawler auch selbst über Ihre robots.txt ausschließen:

User-agent: fachevents-discovery
Disallow: /

Angaben zum Betreiber von fachevents.de finden Sie im Impressum.