Новый поисковый алгоритм "Королев"

Новая версия поисковика, которую запустил Яндекс, имеет название "Королев". В действие введен новый алгоритм поиска, позволяющий отвечать выдачей на более сложные запросы пользователей. Система сопоставляет сам запрос и содержание веб-страниц, после чего Яндекс анализирует поисковую статистику.

Большое количество людей уже по достоинству оценили нововведение, что говорит о том, что не только разработчики, но и простые пользователи сети участвуют в создании и совершенствовании новой системы.

Названия и смыслы

1990-е годы положили начало новой эре поиска в интернет. Тогда самих сайтов было небольшое количество – какая-нибудь тысяча штук. Система поиска просто сопоставляла слова из запроса с ключевыми словами на веб-сайтах. Сейчас уже кажется примитивным, что ранее считалось, что чем больше в содержимом страницы искомых слов, тем больше она соответствует требованию пользователя. Позднее появилось более сложное ранжирование – страницы стали выстраиваться адекватно запросу поиска. С развитием интернета совершенствовались и системы браузеров. Они научились устанавливать регионы, из которых поступают запросы, начали распознавать ссылки на документацию, проводили детальный анализ поведенческого фактора пользователей рунета.

Матрикснет

Еще позже стало невозможным прописывать факторы ранжирования в виде документов, в связи с увеличением количества сайтов, потому Яндекс приступил к разработке системы машинного обучения – Матрикснет. С ее помощью выстроилась новая система роботизированной сортировки сайтов в поиске. Это своего рода база специальных индексов с предполагаемым списком поисковых слов, которые будет вводить пользователь.

Алгоритм Палех

Но слова – всего лишь слова, и в одну и ту же фразу можно вложить разный смысл. Машина, к сожалению, не всегда это понимает. Тогда разработчики приступили к созданию новой системы ранжирования по смыслу – алгоритму Палех. Эта нововведенная система, основу которой составляет нейронная сеть. Следующий шаг на пути к совершенствованию нейросетей – распознавание речи или определение объектов на картинках. Появилось понятие семантического вектора – группы чисел, в которые преобразовывается поисковый запрос в соответствии с заголовком сайта. Векторы сопоставляются друг с другом и выдается ответ поисковика, заключающийся в абсолютном сходстве поискового требования и названия веб-страницы.

Как работает новый поисковый алгоритм Королев

"Королев" – это еще более усовершенствованная система выдачи поиска по смыслу. Сличение векторов при запросе происходит не только на уровне заголовка. Делается подробный анализ всей веб-страницы. Подробности о работе нового алгоритма вы можете узнать в нашем блоге на Хабрахабре. По аналогии с Палехом, системой индексирования занимается нейронная сеть, но в этом случае она просчитывает запрос на этапе индекса. Королев анализирует большее число страниц, нежели Палех, при этом следит за другими запросами, устанавливая смысловую связь по которой люди приходят на данные страницы.

Таким образом, недалеко то время, когда машина, благодаря развитию нейросетей, все же научится понимать смысловые связи на человеческом уровне. Естественно, это не произойдет без участия людей, которые должны показать системе положительный, а также отрицательный опыт в решении тех или иных задач. Человек в поисковик вводит необходимый запрос, переходит на страницу из выдачи и проводит на сайте какое-то количество времени. Эти данные и подвергаются тщательному анализу нового алгоритма. Если человек долго находится на веб-странице, значит, пользователь обнаружил искомое. Это и является положительным опытом.

Еще один недавно открытый сервис – Яндекс.Толока. Это специальная система для анализа пользователями не только поисковиков, но и других сервисов Яндекса. Ранее выставлением оценок занимались сотрудники компании и назывались они асессоры. Теперь же, зарегистрироваться на Толоке может любой желающий, после чего необходимо выполнять оплачиваемые задания по исследованию работы Яндекса.

Пользователи обучают машины

Подводя итоги, отметим, что не только разработчики участвуют в создании поисковых алгоритмов. Все интернет-пользователи занимаются обучением машин в понимании людей посредством своих поисковых запросов. Потому все инновационные интернет-технологии – это методики, к формированию которых имеют отношение все пользователи веб-страниц.  

Видео призентация

 

Материал подготовлен студией веб дизайна "Maksi"