Новый алгоритм Яндекса "Палех"

В этом посте мы рассмотрим новый алгоритм Яндекса "Палех", насколько он повлияет на основную выдачу, и основные его нюансы.

Новый алгоритм Яндекса «Палех» основывается на нейронных сетях. С этим нововведением качество подобранных результатов на редкие запросы увеличилось. Они встречаются нечасто, но за день их может насчитываться более ста миллионов.

При показе откликов на запросы используются ключевые понятия. Клиентов заинтересует скорее та страница, на которой они выведены. Но только им доверять не стоит, ведь существуют разные способы выражения одного и того же смысла. В этих ситуациях выручают вспомогательные данные, например, статистика. Это означает, что показываются страницы, которые выбрали те пользователи, кто делал такой же запрос. Если он уникален, то такой путь не эффективен. Поэтому поиск не может выяснить, какие страницы подойдут.

Основана на нейронных сетях система для поиска «Палех» может совершать установку соответствий по смыслу между заглавиями страниц и вопросом поисковика. Такой прием показывает, что в поисковой строке и на странице представлена одна и та же информация. При этом объединяющие ключевые слова могут отсутствовать. Поэтому, если ввести [фильм про затонувший большой корабль], поисковик поймет, что необходимо искать фильм «Титаник». Хотя страницы могут и не содержать слов «корабль» или «затонувший».

Не встречающиеся ранее запросы – это более третьей части огромного множества. За это они обрели наименование «длинный хвост поиска». Алгоритм носит имя в честь мифичной Жар-птицы с пышным хвостом. Она является частой героиней палехских миниатюр.

Один из многих приемов обучения машин – нейронные сети. Он радует эффективностью в исследовании сведений, например, звукового, текстового файлов, изображений. Яндекс использует эти технологии для поиска по картинкам, а также во взаимосвязанных задачах. Такими представляются фильтровка старшего контента и модерация оповещений рекламы. Они служат базой для построения модели, которая отвечает за определение сказанного. Одной из интереснейших задач Яндекса стало стремление изобрести, на базируясь нейронных сетях, модели, «понимающими» соотношение по значению между требованиями и документом на сравнимом с человеческим уровнем. Цель эта осуществима, хотя и требует немалых усилий и времени для ее разработки.

Материал подготовлен студией веб дизайна "Maksi"