17 декабря «Яндекс» представил новую версию «Поиска» под названием «Вега». «Вега» выводит поиск на новый, экспертный, уровень качества и позволяет пользователям мгновенно получать ответы на свои запросы.
«Вега» объединяет более 1500 улучшений в четырёх ключевых направлениях:
Основными изменениями «Вега» стали:
- Запуск экспертного поиска для сложных запросов.
- Усиление факторов ранжирования, которые определяют важные части запроса пользователя.
- Новая контент-система. Она хранит в два раза больше документов и ищет их по смыслу.
- Ускорение выдачи в мобильной версии с помощью пререндера и обновления «Турбо-страниц».
- Быстрая индексация обновлений статей и комментариев,
- Объединение сервисов TheQuestion и «Яндекс.Знатоки» в сервис «Яндекс.Кью».
- Добавление профилей организаций в «Яндекс.Коллекциях» и продвижение коллекций.
- Запуск сервиса «Район» по всей России.
- Интеграция в «Поиск» сервиса «Услуги».
Поговорим обо всём подробнее.
Содержание:
«Вега» повышение качества поиска
С момента запуска поискового обновления «Палех» Яндекс умеет искать не только по словам, но и по смыслу. Это стало возможным благодаря нейронным сетям — они помогают сопоставлять смысл запроса и веб-страниц.
Вообще люблю изменения Яндекса, наримар фильтр МПК. Каждое обновление делает поиск удобнее для пользователя, но даёт встряску вебмастерам.
«Вега» открывает новый этап в истории поиска. Теперь нейросети используются уже на стадии составления поисковой базы. С помощью нейросетей Яндекс заранее выявляет в базе близкие по смыслу веб-документы и объединяет их в смысловые кластеры. Когда пользователь задаёт запрос, поиск ищет ответ не во всей огромной базе, а только в кластерах с документами, соответствующими запросу по смыслу.
Смысловые кластеры — основа новой системы хранения веб-документов. Система даёт сразу несколько преимуществ. Теперь поиск понимает, какие кластеры документов релевантны запросу, и для ответа выбирает лучшие веб-страницы из заведомо подходящих. За счёт этого обработка запросов происходит быстрее и требует меньше вычислительных мощностей. Высвобождение ресурсов позволило вдвое увеличить поисковую базу. Теперь Яндекс может находить даже такие страницы, которые могут потребоваться пользователям один или два раза в год.
«Вега» — мгновенные результаты
Задача Яндекса — не только давать исчерпывающие ответы на запросы пользователей, но и делать это максимально быстро.
Чтобы сократить время ожидания ответа, Яндекс внедрил технологию предварительной загрузки результатов поиска — пререндеринга. Она угадывает, каким будет полный текст поискового запроса, в момент, когда человек только набирает первые слова. Пререндеринг позволяет сформировать результаты поиска заранее и показать их пользователю сразу после того, как он нажмёт кнопку «Найти».
На часть запросов Яндекс даёт готовый ответ прямо в подсказках под поисковой строкой, ещё на часть — на странице результатов поиска: человеку не нужно тратить время на переход по ссылкам и просмотр сайтов. За год число запросов, на которые поиск ответил сразу в выдаче, выросло больше чем на 20%.
Владельцам сайтов Яндекс предлагает технологию Турбо-страниц. Это особые версии веб-страниц — они открываются, когда пользователи мобильных устройств переходят на сайт из поиска Яндекса. Загрузка страниц происходит практически моментально. В этом году технологию усовершенствовали: теперь Турбо-страницы загружаются в среднем в 15 раз быстрее обычной мобильной версии сайта. В 75% случаев человек получает нужную ему информацию меньше чем за секунду.
«Вега» — экспертный уровень ответов
Есть темы, в которых сложно разобраться сходу, — нужна подсказка знающих людей. Теперь такие люди помогают Яндексу обрабатывать запросы, на которые невозможно ответить без глубоких познаний в той или иной области.
Во-первых, Яндекс внедрил новый алгоритм ранжирования, для которого ключевым сигналом являются оценки асессоров-экспертов. Такие асессоры появились у поиска в этом году. Все они прошли особый отбор. Каждый асессор-эксперт профессионально разбирается в определённых темах. Например, асессор-сисадмин хорошо знает, что такое [ошибка lvrs64.sys], а асессор-гидролог понимает, как объяснить процесс [образования двухэтажных рек]. Эксперты могут квалифицированно оценить, насколько хорошо веб-страницы отвечают на запросы по их специальности. Оценки асессоров-экспертов имеют больший по сравнению с другими сигналами вес при обучении алгоритма. Такой подход позволил улучшить ранжирование по самым разным — и не только сложным — запросам.
Во-вторых, сегодня Яндекс запустил новый сервис Кью. Он объединяет опыт TheQuestion и технологии Яндекс.Знатоков. Кью привлекает к сотрудничеству экспертов — инженеров, учёных, поэтов, лингвистов, а также представителей различных организаций, от музеев до фитнес-клубов.
Эксперты отвечают на вопросы людей: литературный критик рассказывает о деталях биографии Пушкина, биолог — о прививках, а директор музея Арктики и Антарктики — о том, что нравится тюленям. Кроме того, эксперты верифицируют ответы других людей, если считают эти ответы достоверными. Готовые ответы экспертов Яндекс показывает на странице результатов поиска по релевантным запросам. Ответы написаны понятным языком и позволяют быстро разобраться, что к чему.
«Вега» — гиперлокальность
Яндекс уже много лет учитывает город, из которого задан запрос. Но в ряде случаев этого недостаточно. Например, москвич, у которого засорился сток в ванной, предпочтёт найти сантехника в соседнем доме, а не на другом конце столицы. С запуском «Веги» Яндекс стал гиперлокальным: теперь с его помощью можно решать задачи на уровне микрорайона или даже отдельного дома.
В этом году Яндекс запустил во всех городах России социальную сеть для соседей — Яндекс.Район. В Яндекс.Районе можно получить подсказку, где искать сбежавшего кота, пристроить старую мебель или найти себе компанию для вечерних велопрогулок по парку. С сегодняшнего дня в Районе доступны домовые чаты. В них жители дома могут обсудить друг с другом множество насущных вопросов: от сломавшегося лифта до обустройства новой детской площадки.
Второе важное новшество касается Яндекс.Услуг — это сервис поиска специалистов для решения различных задач. Сегодня Услуги начали показывать предложения специалистов на карте. Теперь можно подобрать для ребёнка хорошего репетитора, живущего в соседнем подъезде, или отыскать мастера по ремонту стиральных машин, готового приехать на дом в течение получаса.
Гиперлокальность поиска позволяет людям обращаться к сервисам Яндекса с задачами, которые раньше можно было решить исключительно в офлайне: например, на собраниях жильцов или в ЖЭКе.
Усиление факторов ранжирования
На качество поиска влияет не только качество алгоритма и количество оценок, но и факторы ранжирования. Они «вытягивают» нужную пользователю информацию из поисковой базы — чем больше полезной информации он может вытянуть, тем больше его «сила».
В 2019 году факторы ранжирования «Яндекса» стали в три раза «сильнее», чем в алгоритме «Королёв». Один из таких факторов — переформулировки запроса пользователем, который понимает, какую часть текста нельзя проигнорировать.
Например, если пользователь ищет «Какая норма давления у людей в 50 лет», алгоритм не должен упустить «50 лет», так как нормы давления отличаются в разном возрасте. А в случае поиска расписания городов важен порядок их следования — расписание может изменяться в зависимости от направления движения.
Новая контент-система
В «Яндекс.Поиске» обновилась контент-система, в которой хранится вся база документов (ссылки на сайт или другой контент), разбитая на несколько частей (шардов).
Когда «Поиск» ищет релевантные документы, он параллельно ищет лучшие результаты в каждом шарде базы, а затем с помощью алгоритмов постепенно фильтрует их.
На последнем этапе список с «лучшими» документами пересортировывают «тяжёлые» алгоритмы с более чем 1000 факторов ранжирования. Они выбирают десятку «лучших» ссылок, которые видит пользователь.
По словам Загребина, чтобы база была актуальной, её нужно постоянно обновлять и дополнять документами, но чем их больше, тем дольше поиск.
Чтобы оптимизировать базу, разработчики «Яндекса» создали алгоритм, который сортирует документы по смыслу (семантической близости) и только после сортировки ищет в нужных по смыслу разделах. Это позволило сэкономить ресурсы серверов, а освободившиеся мощности использовать для хранения большего объёма документов: их база увеличилась в два раза.
«Вега» — пререндер
По словам главы «Поиска», технология пререндер позволяет с высокой точностью угадать, какой запрос введёт пользователь, и заранее загрузить для него результаты на смартфон.
Сейчас пререндер мгновенно загружает выдачу по «миллионам запросов»
Комментарии
Ещё одно изменение контент-системы — быстрая индексация изменений на странице сайта, например, если на ней появляются новые комментарии. Яндекс уверен, что около 30% обновлений страниц будут появляться в «Поиске» уже через несколько секунд.
«Яндекс.Кью»
С 2019 года у «Яндекса» существовало два сервиса, посвященных ответам на вопросы пользователя, — «Яндекс.Знатоки» и приобретенный в марте 2019 года TheQuestion Тони Самсоновой. По словам Загребина, TheQuestion купили, так как сервис был близок по духу к тому, что делает «Яндекс» — «заразительно и увлекательно отвечал на вопросы людей».
С момента присоединения TheQuestion к «Яндексу» количество запросов, на которые эксперты «Знатоков» и TheQuestion давали ответы в поисковой выдаче, выросло в четыре раза. Одновременно с запуском «Веги» компания объединяет «Яндекс.Знатоки» и TheQuestion в единый сервис «Яндекс.Кью».
В «Яндекс.Кью» будет перенесён весь контент «Яндекс.Знатоков» и TheQuestion, включая персональные рекомендации, сохранённое избранное, истории, управление контентом.
Одним из изменений «Яндекс.Кью» станет улучшение качества ответов. Эксперты в областях, где ответы могут повлиять на жизнь и здоровье людей, будут верифицироваться, а запросы в них выделяться плашкой «Обратите внимание», чтобы указать на возможную противоречивость информации.
Также «Яндекс» приглашает отвечать на вопросы пользователей «Яндекс.Кью» представителей бизнеса и некоммерческие организации и таким образом «демонстрировать свою экспертизу и получать новых клиентов».
«Яндекс.Кью» интегрирован в поисковую выдачу «Яндекса» похожим на «Яндекс.Знатоков» образом — с выдачей нескольких ответов на вопрос и кнопкой перехода на сервис.
«Яндекс.Коллекции»
«Яндекс.Коллекции» — сервис, в котором пользователи «Яндекса» собирают изображения, фильмы, места, сайты и другой контент. С анонсом «Веги» компания запустила функцию коллаборативных коллекций, которые могут собирать сразу несколько пользователей.
Также в «Яндекс.Коллекциях» функция создания коллекций появится у организаций (сейчас находится в закрытом тестировании). Если у компании есть профиль в «Яндекс.Справочнике» или «Яндекс.Картах», она сможет создавать контент в «Коллекциях» или «Знатоках».
Например, указывать в «Коллекциях» цену на товары, а в описании профиля, коллекции или карточки давать ссылку на сайт со страницей оформления заказа.
Пока нет функции оформления заказа или обратного звонка — по словам Загребина, это идеи для будущего развития сервиса.
Бизнес-коллекции можно продвигать через «Яндекс.Директ».