WebWizard   1.3.2024 19:16    |    Benutzerkonto
contator.net » WebNews » WebWizard.at » Magazin » Semantic News  
 

Wir brauchen Cookies, siehe unsere Datenschutzerklärung.















Neueste Artikel

Google Cache weiter verwenden
Wissenschaft braucht APIs
KI für BeratungWegweiser...
Google Maps mit Schnittstelle für SolarkraftwerkeVideo im Artikel!
AI, Crawler, die robots.txt und User AgentsWegweiser...
KI Assistent am Smartphone
Internet in Österreich: Tu Felix
Snapchat: ChatGPT wird sanfter
mehr...








R5 Elektroauto


Aktuelle Highlights

Zulassungsschein am Handy


 
Semantic Web News
Web-Technik  07.07.2019 (Archiv)

Google bindet sich weniger an robots.txt

Einschränkungen und Vorgaben sind den Crawlern und Suchmaschinen immer ein Dorn im Auge, doch die Robots.txt-Anweisungen galten als Standard, der ein Minimum an Limits setzen konnte.

Hier will Google nun zurückrudern, zumindest in den Bereichen, wo man den Googlebot in Schranken weisen konnte. 'Crawl-Delay' etwa weist einen Bot an, nur noch eine verminderte Menge an Zugriffen auf eine Website zu machen und dort damit die Ressourcen zu schonen. Aber auch 'nofollow' und 'noindex', die Anweisungen, bestimmte Seiten nicht weiter zu 'spidern' oder in den Index aufzunehmen, möchte Google aus seinen Fähigkeiten streichen. Die sind wenigstens durch zb. Meta-Parameter zu ersetzen.

Mit 1.9.2019 sind die genannten Befehle Geschichte, der Rest (der auch offiziell der Dokumentation zu entnehmen ist) bleibt bestehen. Google hat diese Erweiterungen der robots.txt übrigens bisher schon zwar berücksichtigt, aber nicht bestätigt und von der Verwendung zuletzt eher abgeraten. Bei anderen Suchmaschinen ist es ähnlich, die Unterstützung der robots.txt generell nicht überall vollständig. Ausser natürlich bei Dingen, die den Suchmaschinen helfen - die sind praktisch vollständig überall implementiert.

Ihre Meinung dazu? Schreiben Sie hier!

#robots.txt #Suchmaschinen #SEO #google #Standards



Newsticker per eMail oder RSS/Feed!

Auch interessant!
Werbung transparent und berechtigt
Der internationale IAB hat sich angelehnt an die robots.txt, die Suchmaschinen reglementiert, eine ads.tx...

ads.txt Standard
Der internationale IAB hat sich angelehnt an die robots.txt, die Suchmaschinen reglementiert, eine ads.tx...

robots.txt hilft Suchmaschinen
Grundsätzlich sollten die Spider und Crawler der diversen Suchmaschinen selbst finden, was es im Web zu s...

Sitemaps für Websites
Schon beim Auffinden von Inhalten im Internet sind Suchmaschinen mitunter auf die Unterstützung lesbarer ...

Forum: Ihre Meinung dazu!

[AufZack Talk] [Forum]     
Ins Forum dazu posten...
Betreff/Beitrag:

   






Top Klicks | Thema Web-Technik | Archiv

 
 

 


Porsche Taycan 2024


Aston Martin Vantage


Ist die Domain frei?


Renault Scenic Electric


Vegan oder gesund?


Schräge Lotto-Strategie


Munter am Steuer


Q8 Facelift

Aktuell aus den Magazinen:
 Schaltjahr! Der Februar hat 29 Tage.
 ID 7 Tourer der e-Kombi von VW
 Mini Elektroauto Cooper E kommt
 6 Mio am Sonntag Fünffachjackpot in Österreich
 Events bleiben digital online und hybrid im Trend

contator.net im Überblick:
 Webnews  WebWizard | Bundesland.at | Wien-Tipp.at | NewsTicker
 Business  Journal.at | Anfrage.net | plex | Seminar.At | BizTipp
 Auto  Auto.At | TunerAuto.At | OldtimerAuto.At | AutoTalk.At | AutoGuide.At | AutoBiz.At
 Freizeit  Style.at | Famili.at | Kinofilm.at | Musical.at | heavy.at | grlz | WitzBold | Advent.At
 Shopping  anna | Shoppingcity.at | SchatzWelt Gewinnspiele | Prozente.net Gutscheine
 Community  AufZack! | Flirtparty | Player | Schmuddelecke

Rechtliches
Copyright © 2024    Impressum    Datenschutz    Kontakt    Sitemap    Wir gendern richtig!
Tripple