Поисковые базы данных

Разработка унифицированного ПО для "внутреннего пользования"(примеры: 1,2,3). Поисковая база собирается по списку тематических сайтов с помощью паука, поддерживающего редиректы и динамические ссылки. В отдельных полях базы сохраняются ключевые слова, заголовок, описание страницы, текст.

Обратный индекс разделен по диапазонам на файлы, каждый из которых занимает 1 кластер. В принципе, для решения такой задачи можно было использовать mysql, но специализированный скрипт работает эффективнее.