Top
 

Funktionen

feature-4

Logfile Analyse - von SEOs für SEOs

Das Verhalten des Suchmaschinen-Crawler verfolgen. Und verstehen lernen.


Google Bot Tabelle


Der logrunner.io Explorer wurde für technisches SEO entwickelt. Wir wollten das Crawling-Verhalten des Googlebots und anderen Suchmaschinen analysieren. Vor allem für grosse Websites mit vielen Pages und viel Traffic. Die Erkenntnisse liessen uns einen grösseren Nutzen ziehen, als wir uns vorstellen konnten.

Logrunner vearbeitet Log-Files, untersucht dabei jede Logzeile und kategorisiert diese, damit Nutzer möglichst effizient die Logdateien analysieren können. Eine Kategorisierung z.B. ist die richtige Zuordnung der Webcrawler.

Webcrawler identifizieren

Suchmaschinen

Google, Bing, Yahoo, Baidu, Yandex.... Suchmaschinen verwenden unterschiedliche Bots für unterschiedliche Inhalte und crawlen von verschiedenen IPs. So lassen sich Ad-Bots, Video-Bots, Image-Bots, Mobile/Desktop-Bots, News-Bots unterscheiden.

SEO Tool-Bots

SEO-Tools wie z.B. Majestic oder Searchmetrics crawlen die Hyperlink-Struktur des Internets. RSS-Reader-Bots sind ständig präsent. Media-Tools schicken ihre Bots auf News-Seiten los. Webscraper scannen und lesen Informationen aus.

Social Media und Messenger

Im Server Log erscheint jedes Share, noch bevor der geteile Link angeklickt wurde. Für sämtliche Social Media Seiten und Messenger Apps. Wie z.B. Facebook, Skype, Twitter, WhatsApp, Instagram, Viber, Telegram, Slack etc.)

Hidden-Bots

Webcrawler welche sich als menschlichen Benutzer ausgeben, es ihrem Verhalten nach aber nicht sind. Logrunner lässt dich nach Human und Non-Human Traffic filtern.

Spoofed-Bots

Bots, welche sich als andere Bots (z.B. als GoogleBot) ausgeben, es jedoch nicht sind, werden automatisch erkannt. So stellt Logrunner sicher, dass du den echten GoogleBot analysierst und nicht die Scraper, die sich als GoogleBot ausgeben.

feature-5

Bot-Verhalten analysieren




Welche Inhalte (JS-Dateien, Bilder, CSS-Dateien, PDFs, URIs) werden gecrawled und welche nicht? Wie oft werden sie besucht (Crawl-Frequenz)? Peaks an Wochentagen oder Stunden des Tages werden dargestellt. Statuscodes werden angezeigt und Broken Links gefunden und behoben. Verhaltensweisen zwischen Bots können dargestellt und über die Zeit verglichen werden.

feature-11

Segmentieren & Vergleichen

Teilmengen von Log-Events isoliert analysieren.


Google Bot Tabelle


Wie bei Google Analytics lassen sich im logrunner.io Explorer Segmente bilden. Aus den Rohdaten der Log-Events kannst du Teilmengen bilden und für den späteren Gebrauch abspeichern. Ein mögliches Segment wären nur Crawls von Suchmaschinen. Oder du segmentierst nach 404 Statuscodes. Oder du erstellst ein Segment um das Crawling auf Kategorie-Seiten, Produktseiten, Landing-Pages zu vergleichen? Die Möglichkeiten sind unbegrenzt.

Segmente wirken wie ein Filter über das gesamte Dashboard hinweg. Navigierst du im Explorer mit einem aktiven Segment, passen sich die Werte der Tabelle und die Graphen deinem Segmentinhalt an.

Nebst dem Erstellen von Segmenten lassen sich diese (wie auch segmentlose Datenansichten) miteinander über die Zeit vergleichen. So kannst du verschiedene Segmente über den ausgewählten Zeitraum miteinander vergleichen.
Segmente lassen sich speichern und sind deshalb das perfekte Werkzeug, um regelmässige Kontrollen durchzuführen.

feature-3

Bot-Erkennung

Mit Algorithmen den Bots auf der Schliche.


Bot Erkennung


Bots bekannter Suchmaschinen weisen sich in aller Regel korrekt aus und sind damit schnell erkannt. Komplizierter wird es, wenn sich Crawler nicht als solche ausweisen möchten. Oft sind sie in den Log-Files kaum von herkömmlichen Websitebesuchern zu unterscheiden. Unsere Machine Learning Algorithmen sorgen hier für Transparenz. Aufgrund bestimmter Muster und Verhaltensweisen erkennen wir Bots, die sich zu verstecken versuchen. Und wir weisen sie dann für dich im logrunner.io Explorer aus.

feature-7

Crawl Errors & Redirects erkennen

HTTP-Statuscodes analysieren & Fehler beheben.


Crawl Errors erkennen


Mit der Analyse der HTTP-Statuscodes lassen sich einfach Broken Links und unnötige temporäre und permanenten Redirects (3XX) oder Serverfehler (5XX) finden. Für Suchmaschinenoptimierer ist dies eine der ersten Anlaufstellen, um zu sehen, wo Google & co Probleme haben. Diese Informationen findest du nur in Log Files.

feature-10

Blitzschnelle Analysen - mit echten Daten

Keine Website ist zu gross für logrunner.io.

Die Performance der Auswertungen hat einen sehr hohen Stellenwert bei logrunner.io. Egal wie umfangreich deine Webseite ist, du erhälst in Sekundenschnelle Daten für deine gewünschten Auswertungen. Das beste daran: Es sind echte, exakte Daten und keine statistischen Sampling-Annäherungen.

feature-9

Real Time Tracking

In Echtzeit alles im Griff.




Das Real Time Tracking vermittelt einen umgehenden Einblick ins Geschehen des Webservers. Die Log-Events werden mit innert Sekunden dargestellt. Ist das Real Time Tracking für deinen logrunner.io Explorer eingerichtet, eröffnet es dir einige Vorteile: Du wirst dir in naher Zukunft Alerts für Echtzeit-Events schicken lassen, beispielsweise für Traffic-Schwankungen (DDoS, Serverausfälle, Spambot-Crawls), für Suchmaschinen-Crawls von bestimmten Statuscodes und mehr. Du kannst überprüfen welche Inhalte gerade betrachtet werden. Du siehst wie hoch das aktuelle Volumen deines Webserver-Traffics ist. Weil Human- und Bot-Traffic separat dargestellt werden, siehst du welcher Crawler sich gerade auf deiner Website befindet und mit welchen Seiten er interagiert. Du kannst die unmittelbaren Auswirkungen eines Tweets, Facebook-Eintrags, ``Fetch as Google`` oder eines Screaming Frog Crawls beobachten.

feature-1

Alerts & Reporting (Alpha-Testing)

Einfaches Monitoring, aussagekräftige Reports.

Mit dem logrunner.io Explorer kreierst du Alerts mit wenigen Klicks. Dabei hast du die freie Wahl, was du überwachen möchtest. So kannst du beispielsweise - Server-Fehler , 404 Seiten, Redirects, Fluktuationen im Crawling des Googlebots, eine plötzlich steigende Anzahl an Log-Einträgen, grosse Inhalte, lange Server-Ladezeiten - monitoren lassen. In Echtzeit schickt der Explorer dir Benachrichtigungen per Mail, auf Slack, per RSS-Feed – was dir am liebsten ist. Dieses Feature befindet sich in Entwicklung und wir demnäch für bestehende Kunden freigeschalten.

Reports der aktuellen Ansicht lassen sich mit einem Klick erstellen. Hierzu steht dir das .csv-Format zur Verfügung.

feature-6

Website anpassen und Veränderungen messen

Die Analyse des Crawling-Verhaltens lässt viel Raum für Interpretationen. Was Fragen nach sich zieht und viele Vermutungen aufkommen lässt. Und wie lassen sich Vermutungen aus dem Weg räumen? Hypothesen aufstellen, messen und die richtigen Schlüsse ziehen.

So lässt sich herausfinden, ob sich die neue interne Verlinkung wie gewünscht auf das Crawling der Suchmaschinen-Bots auswirkt. Erkenne ob andere Seiten mehr gecrawlt werden, wenn man unwichtige Seiten löscht oder ob ein Server-Upgrade zu mehr Crawling führt. Wie wirkt sich ein Noindex aus? Und wie ein Nofollow-Attribut?

Um noch eine Dimension höher zu denken: Was bewirkt ein Relaunch der Website? Haben Änderungen am Design schon einen Effekt? (Spoiler: Ja, haben sie!) Was passiert bei einem Domainwechsel? Was bei einer neuen URL-Struktur? Was bei vielen neuen Backlinks? Gibt es spürbare Unterschiede bevor Google ein Ranking-Update ausrollt? Und danach?

Mit logrunner.io kannst du diese Fragen eindeutig beantworten.

No Comments

Sorry, the comment form is closed at this time.