В рунете запущена новая интеллектуальная поисковая система
Интеллектуальная поисковая система Nigma.ru, результат работы студентов и аспирантов факультетов ВМиК и психологии МГУ им.М. В. Ломоносова, официально запущена в статусе
Членами команды разработаны оригинальные алгоритмы ранжирования результатов, полученных от набора поисковых систем, с поддержкой русской морфологии и двухуровневой кластеризации. Морфология реализована через отсылку в поисковые системы дублирующих запросов, в которых приведены распространенные морфологические формы запрашиваемых слов. При этом, в отличие от имеющихся реализаций русской морфологии для поисковых систем, предлагаемый алгоритм не сокращает, а увеличивает количество найденных документов, т.к. морфологически измененный запрос объединяется с исходным. Релевантность также увеличивается, т.к. используются специальные алгоритмы объединения результатов. Позиция найденной ссылки в результатах поиска отображается в виде «Поисковая система: позиция» (например, Google: 5 означает, что ссылка находится на пятом месте в поисковой системе Google), а ссылки от морфологически измененных запросов в виде «Поисковая
Результаты поиска объединяются с помощью специального алгоритма, причем только те результаты, которые Nigma.ru успевает получить от поисковых систем за 1,5 секунды (в очень редких случаях за 5 секунд). Соответственно, алгоритм не выделяет
В итоге, по утверждению разработчиков, на подавляющее большинство поисковых запросов Nigma.ru выдает на порядок больше найденных сайтов, чем, например, при простом поиске на сайте Google.ru. Для того чтобы пользователь не запутался в этих результатах, они группируются в так называемые кластеры. Каждый кластер это группа сайтов, относящихся, по «мнению» поисковой системы, к общей тематике. Разработчики решили использовать частотную кластеризацию по ключевым словам, поэтому названия кластеров это тоже ключевые слова, которые пользователь может применять для расширения своего запроса. В свою очередь, т.к. количество найденных кластеров также часто очень велико, интеллектуальный алгоритм объединяет кластеры в иерархию (пока двухуровневую), которая позволяет представить их в более компактном виде. Например, введя очень общий запрос «новости», на который поисковая система Nigma.ru выдает порядка полумиллиарда документов, в левой колонке можно увидеть самые популярные темы новостей, которые встречаются в интернете. Нажав на тему (например, «спорт»), вы получите примеры новостных ресурсов, которые освещают эту тему. Если Вы хотите получить больше ресурсов о новостях спорта, нужно нажать на «Расширить запрос» тогда система выдаст более двух миллионов ссылок о новостях спорта. Они, в свою очередь, тоже отклассифицированы по темам футбол, хоккей и т.п.
Участники исследовательской группы планируют продолжить разработку кластеризующих алгоритмов. В ближайшее время поисковая система будет расширена экспертными системами, психологическими тестами, системами поведенческого анализа и другими методами, базирующимися на таких алгоритмах искусственного интеллекта как искусственные нейронные сети, генетические алгоритмы, алгоритмы нечеткой логики и т.п. После того как будет создана стабильная версия кода, планируется опубликовать его исходные тексты.