WebWizard   26.9.2023 14:57    |    Benutzerkonto
contator.net » WebNews » WebWizard.at » Magazin » Semantic News  
 

Wir brauchen Cookies, siehe unsere Datenschutzerklärung.















Neueste Artikel

Google Maps mit Schnittstelle für SolarkraftwerkeVideo im Artikel!
AI, Crawler, die robots.txt und User AgentsWegweiser...
KI Assistent am Smartphone
Internet in Österreich: Tu Felix
Snapchat: ChatGPT wird sanfter
Plugin gegen Beleidigungen
Reddit hat ein Rezept gegen Fakenews
Identität wird öfter hinterfragt
mehr...








Ora Funky Cat


Aktuelle Highlights

Künstliche Sprecher mit KI


 
Semantic Web News
Web-Technik  07.07.2019 (Archiv)

Google bindet sich weniger an robots.txt

Einschränkungen und Vorgaben sind den Crawlern und Suchmaschinen immer ein Dorn im Auge, doch die Robots.txt-Anweisungen galten als Standard, der ein Minimum an Limits setzen konnte.

Hier will Google nun zurückrudern, zumindest in den Bereichen, wo man den Googlebot in Schranken weisen konnte. 'Crawl-Delay' etwa weist einen Bot an, nur noch eine verminderte Menge an Zugriffen auf eine Website zu machen und dort damit die Ressourcen zu schonen. Aber auch 'nofollow' und 'noindex', die Anweisungen, bestimmte Seiten nicht weiter zu 'spidern' oder in den Index aufzunehmen, möchte Google aus seinen Fähigkeiten streichen. Die sind wenigstens durch zb. Meta-Parameter zu ersetzen.

Mit 1.9.2019 sind die genannten Befehle Geschichte, der Rest (der auch offiziell der Dokumentation zu entnehmen ist) bleibt bestehen. Google hat diese Erweiterungen der robots.txt übrigens bisher schon zwar berücksichtigt, aber nicht bestätigt und von der Verwendung zuletzt eher abgeraten. Bei anderen Suchmaschinen ist es ähnlich, die Unterstützung der robots.txt generell nicht überall vollständig. Ausser natürlich bei Dingen, die den Suchmaschinen helfen - die sind praktisch vollständig überall implementiert.

Ihre Meinung dazu? Schreiben Sie hier!

#robots.txt #Suchmaschinen #SEO #google #Standards



Newsticker per eMail oder RSS/Feed!

Auch interessant!
Werbung transparent und berechtigt
Der internationale IAB hat sich angelehnt an die robots.txt, die Suchmaschinen reglementiert, eine ads.tx...

ads.txt Standard
Der internationale IAB hat sich angelehnt an die robots.txt, die Suchmaschinen reglementiert, eine ads.tx...

robots.txt hilft Suchmaschinen
Grundsätzlich sollten die Spider und Crawler der diversen Suchmaschinen selbst finden, was es im Web zu s...

Sitemaps für Websites
Schon beim Auffinden von Inhalten im Internet sind Suchmaschinen mitunter auf die Unterstützung lesbarer ...

Forum: Ihre Meinung dazu!

[AufZack Talk] [Forum]     
Ins Forum dazu posten...
Betreff/Beitrag:

   






Top Klicks | Thema Web-Technik | Archiv

 
 

 


Vignette 2024


eKombi von Peugeot


GT Supra GT4


Rehragout Rendezvous Gewinnspiel


GLC im Test


Bausparen 2023


RS 6/7


Privat digital

Aktuell aus den Magazinen:
 Winterzeit ab 26.10. Uhren zurück drehen am Wochenende!

contator.net im Überblick:
 Webnews  WebWizard | Bundesland.at | Wien-Tipp.at | NewsTicker
 Business  Journal.at | Anfrage.net | plex | Seminar.At | BizTipp
 Auto  Auto.At | TunerAuto.At | OldtimerAuto.At | AutoTalk.At | AutoGuide.At | AutoBiz.At
 Freizeit  Style.at | Famili.at | Kinofilm.at | Musical.at | heavy.at | grlz | WitzBold | Advent.At
 Shopping  anna | Shoppingcity.at | SchatzWelt Gewinnspiele | Prozente.net Gutscheine
 Community  AufZack! | Flirtparty | Player | Schmuddelecke

Rechtliches
Copyright © 2023    Impressum    Datenschutz    Kontakt    Sitemap    Wir gendern richtig!
Tripple