Оптимизация HTTP-заголовков страницы и ее обновление

Поисковики выше ценят сайты, которые регулярно обновляются. Это и понятно - поисковики стараются рассматривать сайты с точки зрения пользователей, а пользователи ценят свежую информацию. Но регулярно добавлять новости на первую страницу недостаточно - нужно сообщить об этом поисковику.

Для переиндексации важны - дата создания или последнего изменения документа (last-modified), срок годности документа (expires), и сам факт обновления страницы. Всеми тремя факторами можно манипулировать для ускорения переиндексации сайта. Также существуют специальные теги для управления индексацией, но они не работают, по крайней мере не могут уменьшить время между переиндексациями.

Заголовок last-modified.
Время последнего обновления страницы. При использовании SSI или скриптов при создании страницы часто она получает время модификации, равное текущему времени. Поисковики это понимают, и считают, что эта страница не имеет установленного значения этой переменной (а многие сервера ее действительно не передают). Бороться с этим можно так - выдавать значение этой переменной, установленное, допустим, на утро текущего дня. Или на начало текущей недели.

Заголовок expires.
Время, когда заканчивается срок годности страницы. Именно с помощью этой переменной можно планировать приходы поисковика. Но произойдет это не сразу: даже если выдавать значения, установленные на конец текущего дня, поисковик не сразу начнет ходить по графику. Во-первых, чаще чем раз в день он ходить не будет, но это индивидуально для поисковиков. Интервал между заходами будет уменьшаться раз от раза, и установится на минимальном уровне, если тексты страницы существенно изменились с последнего захода.

Обновления страницы.
Идеально для этого использовать скрипт, который будет выдавать случайные блоки новостей (с целевыми словами и ссылками) на каждой странице. При этом не просто случайно - блок должен оставаться таким же в течение заявленных времен expires и last-modified. Например, Google часто запрашивает одну страницу несколько раз - из этого он может сделать вывод, динамическая страница или нет, и выделить измененную информацию (Яндекс, например, это делает). Ниже приведен пример скрипта на PHP:

<?php
$day=60*60*24;
$store=5;
$last=gmdate("D, d M Y H:i:s",floor(time()/$day/$store)*$day*$store)." GMT";
$exp=gmdate("D, d M Y H:i:s",ceil(time()/$day/$store)*$day*$store)." GMT";
Header("Last-Modified: ".$last);
Header("Expires: ".$exp);
$meta.='<meta http-equiv="Last-Modified" content="'.$last.'">'."\n";
$meta.='<meta http-equiv="Expires" content="'.$exp.'">'."\n";
$meta.='<meta name="robots" content="index,follow">'."\n";
$meta.='<meta name="revisit" content="5 days">'."\n";
$meta.='<meta name="revisit-after" content="5 days">'."\n";
?>

$store - переменная, которая показывает, какой должна быть периодичность переиндексации (в днях), $meta - переменная, содержащая дублирующие заголовки и другие метатеги. Все равно не все поисковики последуют этим инструкциям.