1. htaccess
Die Einstellungen in der .htaccess-Datei (als Vorlage dient die Datei demo.htaccess) sind für den von dir benutzten Webserver wichtig und Sicherheitsrelevant. Eine falsche Einstellung (manchmal nur ein einziges Zeichen) können deinen Webauftritt verhindern oder unsicher machen.
Hier, wie in allen Konfigurationsdateien, nur die entsprechend gekennzeichneten Stellen an deine Bedingungen anpassen. Der Übersichtlichkeit wegen wird hier die komplette Datei angezeigt.
Die blaue Schrift dient nur der Erklärung einzelner Anpassungen und darf nicht in der eigentlichen Datei stehen und der orange hervorgehobene Text muss/kann entsprechend angepasst werden!
Der erste Bereich "Ganze Länder sperren" soll alle Zugriffe die von Domains aus den angegebenen Länder kommen verhindern. Besonders zu nennen sind hier Russland und China! Diese haben auf meinen Domains (zeitweise) bis zu 80% des Traffics verursacht. Egal ob für dubiose Suchmaschinen oder der Suche nach Schwachstellen im Code – Weg damit, wenn man keine Kunden von dort hat.
Der zweite Bereich macht das selbe, nur speziell für bestimmte IPs und sollte sparsam eingesetzt werden. Also nur für nervige und sinnlose IPs!
Wird beides nicht gewünscht können diese Bereiche aber auch entfernt werden!
Besonders der letzte Bereich "Alle möglichen Bots sperren" ist zu beachten. Er sollte nicht zu lang werden (im Netz gibt es da Listen die hunderte Einträge haben), dass drückt das Tempo wieder nach unten. Aber die Einträge sollen ja die Spambots entfernen die für übermäßigen Traffic sorgen. Ein Extremist hierbei ist Majestic. Die haben wirklich JEDE Nacht komplette Shop-Domains ausgelesen und hatten dann die Frechheit mit den dort gestohlenen Bildern eigene Webseiten zu erstellen. Also Augen auf bei der Traffic-Analyse!
## Russland, China
<IfModule mod_geoip.c>
GeoIPEnable On
SetEnvIf GEOIP_COUNTRY_CODE (CN|RU) BlockCountry Codes: https://countrycode.org/
Deny from env=BlockCountry
</IfModule>
## Ganze Länder sperren #### Ende
##Einzelne IP/IP-Bereiche sperren ### Start
order allow,deny
deny from petalsearch.com Hier können die von dir nicht gewünschten
deny from sogou.com Zugriffe von unliebsamen Domains verboten werden
deny from yandex.ru
deny from yandex.com
allow from all
##Einzelne IP/IP-Bereiche sperren ### Ende
eingeschaltet. Dies bringt, wenn nicht schon aktiv, mehr Tempo
## Komprimierung, wenn möglich, aktivieren #### Start
<IfModule mod_deflate.c>
AddOutputFilterByType DEFLATE application/atom+xml
AddOutputFilterByType DEFLATE application/javascript
AddOutputFilterByType DEFLATE application/x-javascript
AddOutputFilterByType DEFLATE application/json
AddOutputFilterByType DEFLATE application/rss+xml
AddOutputFilterByType DEFLATE application/vnd.ms-fontobject
AddOutputFilterByType DEFLATE application/x-font-ttf
AddOutputFilterByType DEFLATE application/x-web-app-manifest+json
AddOutputFilterByType DEFLATE application/xhtml+xml
AddOutputFilterByType DEFLATE application/xml
AddOutputFilterByType DEFLATE font/opentype
AddOutputFilterByType DEFLATE image/svg+xml
AddOutputFilterByType DEFLATE image/x-icon
AddOutputFilterByType DEFLATE text/css
AddOutputFilterByType DEFLATE text/html
AddOutputFilterByType DEFLATE text/shtml
AddOutputFilterByType DEFLATE text/plain
AddOutputFilterByType DEFLATE text/x-component
AddOutputFilterByType DEFLATE text/xml
AddOutputFilterByType DEFLATE text/javascript
</IfModule>
## Komprimierung, wenn möglich aktivieren #### Ende
Angabe wie lange der Zwischenspeicher eures Browsers bestimmte Datei-
typen speichern soll. So werden bestimmte Teile (z.B. das Seitenlogo) nicht
bei jedem Seitenaufruf neu aus dem Web geladen (Geschwindigkeitsvorteil!).
## Bufferdauer für bestimmte Dateitypen #### Start
<IfModule mod_expires.c>
ExpiresActive On
ExpiresByType image/jpg "access 1 week"
ExpiresByType image/jpeg "access 1 week"
ExpiresByType image/gif "access 1 week"
##ExpiresByType image/png "access 1 week"
ExpiresByType text/css "access 1 week"
ExpiresByType text/html "access 1 week"
ExpiresByType application/js "access plus 3600 seconds"
ExpiresByType application/pdf "access 1 month"
ExpiresByType text/x-javascript "access 1 month"
ExpiresByType image/x-icon "access 1 month"
ExpiresDefault "access 1 month"
</IfModule>
## Bufferdauer für bestimmte Dateitypen #### Ende
RewriteBase /
RewriteCond %{THE_REQUEST} ^GET.*index\.php [NC]
RewriteRule (.*?)index\.php/*(.*) /$1$2 [R=301,NE,L]
RewriteCond %{HTTP_HOST} www.deineDomain.de
RewriteRule ^(robots)(\.txt)$ robots.txt [L,NC]
RewriteEngine On
RewriteCond %{HTTPS} off
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ index.php?url=$1 [L,QSA]
Hier können alle unliebsamen Bots eingetragen werden, so verursachen
diese keinen unliebsamen Traffic mehr. Hier stehen die bei mir unangenehm
aufgefallenen, besonders die Majestic-Bots gehen mir auf die Nerven.
## Alle möglichen Bots sperren #### Start
RewriteCond %{HTTP_USER_AGENT} SearchmetricsBot [OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot [OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteCond %{HTTP_USER_AGENT} Wotbox/2.01 [OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot/v1.4.5 [OR]
RewriteCond %{HTTP_USER_AGENT} Majestic-SEO [OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} SEOkicks-Robot [OR]
RewriteCond %{HTTP_USER_AGENT} MegaIndex.ru/2.0 [OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot/1~bl [OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot/1.1~bl [OR]
RewriteCond %{HTTP_USER_AGENT} GrapeshotCrawler/2.0 [OR]
RewriteCond %{HTTP_USER_AGENT} seoscanners.net/1 [OR]
RewriteCond %{HTTP_USER_AGENT} Apache-HttpClient [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot/1.1 [OR]
RewriteCond %{HTTP_USER_AGENT} crawler.datenmarkt.de/Nutch-1.11 [OR]
RewriteCond %{HTTP_USER_AGENT} Java/1.7.0_79 [OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteCond %{HTTP_USER_AGENT} ImplisenseBot [OR]
RewriteCond %{HTTP_USER_AGENT} GetintentCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} OFM [OR]
RewriteCond %{HTTP_USER_AGENT} finbot [OR]
RewriteCond %{HTTP_USER_AGENT} Exabot [OR]
RewriteCond %{HTTP_USER_AGENT} proximic [OR]
RewriteCond %{HTTP_USER_AGENT} linkdexbot [OR]
RewriteCond %{HTTP_USER_AGENT} BLEXBot [OR]
RewriteCond %{HTTP_USER_AGENT} spbot [OR]
RewriteCond %{HTTP_USER_AGENT} SMTBot [OR]
RewriteCond %{HTTP_USER_AGENT} Searchie [OR]
RewriteCond %{HTTP_USER_AGENT} Plukkie [OR]
RewriteCond %{HTTP_USER_AGENT} MetaJobBot [OR]
RewriteCond %{HTTP_USER_AGENT} sSearch [OR]
RewriteCond %{HTTP_USER_AGENT} WBSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} c7.seokicks.de [OR]
RewriteCond %{HTTP_USER_AGENT} TwengaBot-2.0 [OR]
RewriteCond %{HTTP_USER_AGENT} Cliqzbot/0.1 [OR]
RewriteCond %{HTTP_USER_AGENT} Cliqzbot [OR]
RewriteCond %{HTTP_USER_AGENT} SISTRIX
RewriteRule ^ - [F,L]
## Alle möglichen Bots sperren #### Ende
Das einrichten einer htaccess-Datei wird bei vielen Domains vernachlässigt, wie du hier lesen kannst. Aber diese Arbeit sollte man auf jeden Fall auf sich nehmen. Sie kann Geschwindigkeit und Sicherheit bringen. Besonders letzteres ist nie zu vernachlässigen!
