Denna webbplats är absolut det största hitta för att hjälpa dig att skapa en effektiv robot.txt filen för din Wordpress blogg eller någon annan blogg / hemsida antar jag. Ta dig en titt!
AskApache

Om du tycker om vår tjänst, gärna under på våra RSS-flöden

En säker sättet att få sökrobotar genomsöker din webbplats är att betona vissa sökord eller sökordsfraser i dina artiklar. Det innebär en värld av bra för din sökning ranking på sökord som du väljer och det kommer att bringa spindlar runt till mellanmål på kött du har som är konstruerad för dem. (genomsökning [...]

Om du tycker om vår tjänst, gärna under på våra RSS-flöden