Постараюсь без особых сложностей и подробностей рассказать о существенных вехах развития поисковых систем.

Этап I. Текстовый поиск.

Первый этап – это текстовый анализ. Каждая страница разными метриками (независимо от других страниц) оценивалась на соответствие тексту запроса. Сначала слова, потом леммы (основы слов или N-граммы). Потом tf / idf и т.д.

Но несмотря, на то что текстовый анализ стал довольно сильной научной дисциплиной, которая бурно развивается до сих пор, довольно скоро одного его стало недостаточным.

Этап II. Ссылочный анализ.

Интернет – связанная структура. Люди активно пользуются ссылками – размещают их на страницах для удобной навигации пользователей. Эту информацию, оказалось, можно успешно использовать для улучшения качества поиска. На самом деле, здесь есть две области направления работы. Обе до сих пор очень активно развиваются, и на эту тему до сих пор пишется много статей:

- анализ текста ссылок: встречается ли текст запроса хотя в ссылках, которые ведут на данную страницу; есть ли на данную страницу ссылка, текст который полностью содержит текст запроса; анализ околоссылочного текста и т.д.

- PageRank и ему аналогичные. Основная суть – хороша та страница, на которую введет много ссылок со страниц, на которые тоже ведет много ссылок. Во многом, именно с этим алгоритмом связан прорыв поисковой системы Google. Есть множество его модификаций, например TrustRank, HostRank… Есть и альтернативы, например HITS.

Однако, со временем, поисковым системам даже этой информации стало мало, и они пошли дальше.

Этап III. Анализ поведения пользователей. Тулбары.

Оказалось, что очень сильный поисковый сигнал несет в себе информация о том, как ведет себя пользователь на той или иной странице. Данную информацию разные поисковые системы получали или получают через т.н. Тулбары. Например, Google Toolbar. Какой может быть такая информация? Например, сколько времени человек проводит на странице (ее информативность), куда он ходит (можно понять какие ссылки «живые», а какими – никто не пользуется) и т.д.. Используя данную информацию, можно построить разные поисковые алгоритмы, например Browse Rank.

(Офтоп: со временем Гугл прикрыл проект Google Toolbar, однако он, по сути уже и не нужен, т.к. Google Chrome и так по умолчанию отправляет Компании Добра всю необходимую информацию).

На данную тему можно найти очень много информации – ищите «web/browsing log analysis».

Этап IV. Плюс Один.

Новейшим направлением поисковых алгоритмов является анализ данных «+1″. Это могут быть разные варианты, например, facebook «+1″, Twitter «+1″, Vkontake «+1″ и т.д. В чем суть? Люди ставят плюсик только тем страничкам или сайтам, какие им нравятся. А раз страничка кому-то нравится, то наверно на ней размещена хорошая информация. В некоторых системах можно ставить и -1, но это совсем не обязательно.

В принципе, собирай такую информацию (сколько какой странице пользователи поставили плюсиков) и живи счастливо. Но! Хотелось бы понять, а какому плюсику можно доверять, а какому нет? Ведь накрутить 100500 плюсиков может любой робот.

Для этого надо систему «+1″ завернуть в социальную сеть. Зачем? А чем больше мы доверяем пользователю, тем его плюс важнее. Отношение «доверяем» может быть выражено, например, таким образом: «у человека много друзей» или «он активно пользуется системой» или «он не размещает запрещенного контента». Я был на конференции Google Developers’ Day. Там докладчик говорил «Если ПлюсОдин ставит спаммер, это легко определить, т.к. никто не дружит со спамером».

Ну, а раз, пользователь вовлечен в социальную сеть, то можно извлечь и море другой информации, например анализировать интересы пользователей. Допустим, John любит цветы и ядерную физику, а Mary любит модную одежду. Тогда, возможно, если John поставит +1 некоторому сайту, то сайт будет о цветах или ядерной физике, а если Mary – о модной одежде.

Кажется мы только что придумали Google+. Но наверно, все же, то что Google поисковик и то что Google+ – это социальная сеть с «+1″ кнопкой – совпадение. Кто знает?..

Microfost пошел дальше и создал so.cl: «So.cl combines social networking and search, to help people find and share interesting web pages in the way students do when they work together.». Честно, ничего не скрывая.

Этап V. Будущее.

Интересно, как дальше пойдет технологический процесс? Как будут развиваться поисковики? Я затрудняюсь сказать, оставлю данные размышления для другого поста.

Напоследок, хотелось бы еще упомянуть 2 важных составляющих любых поисковых систем.

Золотая нить поисковых технологий. User feedback.

Золотая нить – это user feedback, анализ взаимодействия поисковика с поисковой системой. Поисковая система запоминает на какой запрос на какие страницы пользователи переходят, а на какие – нет. И обучается.

На эту тему можно погуглить, например: «click analysis».

Серебрянная нить поисковых технологий. Персонализация.

Персонализация – это священный грааль поисковых систем. Или даже Золото Инков для поисковых систем. Заключается он в том, чтобы научиться каждому пользователю показывать информацию, наиболее релевантную конкретно для него.

Очень многие пытаются осилить эту тему (см. например Гугл). На данную тему существует бесконечное множество публикаций. Нельзя сказать, что поисковые системы ничего в этой области не достигли, но и про особые успехи говорить пока трудно. Данная тема всегда интересовала ученых, занимающихся поиском. Она становится популярной, потом непопулярной, потом о ней начинают говорить вновь… Впрочем, персонализации, я лучше посвящу отдельный пост.

Удачи всем и доброго дня! Надеюсь, моя статья оказалась вам полезной.