google spidert ip adressen !?

[@ndy]

habe von besucher bekommen auf suchergebnisse, die meine ip zeigten.

danach hab ich mal nachgeschaut, und siehe da....

http://www.google.com/search?q=rappidsh ... gehen-t284

 

[adultking]

mit welchem nutzen? was denkst du?

 

[der.brain]

Namensauflösung schlug vermutlich fehl.

Hallo,

ich denke das das macht der Bot wenn die Namensauflösung des Servers nicht
funktioniert. Was soll das arme Vieh dann machen dann hat es nur
die IP die es speichern kann. Andy hat ja auch kein Herz für Robots:

Quelle Zähler Adresstyp Record Type1 Auflösung
214.84.151.64.in-addr.arpa. 2220 IN PTR customer-reverse-entry.64.151.84.214.

da sollte eigentlich eine url stehen die der Server dem bot nennt in dem Fall
wenn der Nameserver nicht funktioniert.

Die IP verschwindet aus den Serps sofort sobald der bot das nächte mal kommt
und die Domain auflösen kann und die Serps aktualisiert wird.

Gruß

Micha

 

[carat]

ist doch schon länger so, zumindest bei yahoo ist es mir schon vor längerem aufgefallen.

 

[almalibertad]

@der.Brain

klingt logisch!
wieder etwas schlauer

 

[kyio]

ich denke das ist reiner zufall.

mal angenommen einer von euch schaut bei einem whois dienst (oder ähnlichem) nach der no-limits.biz domain. und warum auch immer wird auf der seite die IP mit einem http:// davor angezeigt. auf der startseite des whois dienstes ist so eine art "die letzten 10 whois anfragen" aufgelistet... und schon findet der googlebot über die whois-portal startseite einen link zur "no-limits" whois-content seite mit der http://IP die er dann weiterverfolgt. ich meine solange nicht massenhaft IP urls in den suchergebnissen und in unseren stats auftaucehn dürfte das kein thema sein

 

[almalibertad]

seh ich auch so kyo, da mach ich mir jetzt keinen harten - ne, dazu nicht

 

[@ndy]

das ist aber eine unterseite....

google.com/search?q=rappidshare-downloadlimit-umgehen-t284

grins..nun ist dieser auch dabei



und...

http://www.google.com/search?q=site%3A64.151.84.214

interessant dabei ist, das die seiten anfangs durch den parser giengen, und in html ausgegeben wurden.

weiter unten dann nur noch urls mit sessions Id


so ihr theoreticker und filosofen...weiter erklaeren

 

[der.brain]

Wo kommen die Session Id´s den her ?

Hallo Andy,

schwer zu sagen wie kommt G überhaupt an die Session id´d die
unterdrückst Du doch sicherlich per mod_rew ?

Denke immer noch das in dem Moment wo das Vieh gecrawled
hat der Nameserver augefallen oder überlastet war und durch die Überlangen id´s
e.v.t. auch die .htaccess und mod_rew nicht gegriffen hat.

Du hast doch sicher auch in deiner .htaccess eine weiterleitung auf http?
Etwas wie:

RewriteEngine On
RewriteCond %{HTTP_HOST} !www.deinedomain.com$
RewriteRule ^(.*)$ deinedomain.com/$1 [R=301,L]

Die serps implizieren ja das der crawler nicht durch so eine .htacces gelaufen
ist was einem bei längerem Nachdenken zugegebener Massen schon stutzig macht.


Gruß

Micha