Иногда хочется узнать кто индексирует сайт быстрее всех, робот яндекса или робот гугла, сегодня мы узнаем как отслеживать поисковых роботов и при каждом посещении сайта одним из роботов отсылать нам на email письмо с тем какой робот зашёл и какую страницу он индексирует.
Скрипт довольно полезен для тех кто недавно вывел сайт в сеть и хочет узнать через какое время робот попадёт на сайт и попадёт ли он вообще. Так же отслеживать поисковых роботов данным скриптом будет полезно и при оптимизации сайта, когда вы изменяете структуру сайта или проводите внешнюю оптимизацию, полезно будет посмотреть на то как воспримет поисковой робот ваши действия.
Code
<?php
if ( strpos( $_SERVER['HTTP_USER_AGENT'],'Googlebot' ) !== false ) {
$mail = 'ваш mail';
mail($mail,'Googlebot for ваш сайт',
'Googlebot посетил мою страницу на сайте ваш сайт: '.$_SERVER['REQUEST_URI']);
}
?>
Там где написано Googlebot мог быть другой USER_AGENT робота, например USER_AGENT яндекса который имеет вид YandexBot
Скрипт отслеживания поисковых роботов можно настроить под любой поисковой робот, вот несколько ботов которых вы сможете отслеживать:
StackRambler - Rambler
Slurp - Yahoo
MSNBot - MSN
ia_archiver - Alexa
Данный скрипт вставляется в начале страницы, вставлять скрипт нужно на все страницы за которыми вы хотите следить, делать это можно с помощью require_once();
Список большинства известных поисковых машин предоставлен ниже:
Номер:3822888