Индексация что это такое простыми словами
Чем отличается индексация от повышения заработной платы
Повышение заработной платы может быть мотивировано разными способами. Некоторые из них добровольны, другие закреплены законодательно. Индексация и повышение зарплаты имеют схожий результат, но различны по сути. Рассмотрим их по отдельности.
Что такое индексация и повышение заработной платы
Индексация – явление, берущее начало с государственного уровня. Цель ее проведения – поддержание уровня жизни населения в условиях меняющейся рыночной экономики. Работодатели должны проводить ее периодически. Требование закреплено в ст. 134 ТК РФ. Главным образом они касаются организаций бюджетной сферы, но на коммерческие тоже распространяются. За несоблюдение возможны санкции в виде штрафа в 30-50 тыс. руб. для юридических лиц; 1-5 тыс. руб. для ИП по ч. 1 ст. 5.27 КоАП. Индексацию вообще нельзя в прямом смысле назвать увеличением зарплаты. Это фактически не вознаграждение за труд, а поддержка страны за то, что человек работает.
Внимание! Особенности индексации выплат в коммерческих фирмах устанавливаются внутренними нормативными документами.
Поднятие уровня заработной платы происходит в результате волеизъявления самого работодателя. Государство устанавливает минимальный его порог, а дальше руководство самостоятельно решает вопрос о целесообразности выплатить больше. Решение принимается исходя из психологических факторов, положения, относительно конкурентов, мотивационной составляющей. За неповышение зарплаты работодателя не накажут сверху, это отношения только между ним и работником.
Вопрос: Обязательно ли индексировать зарплату всем работникам организации независимо от ее уровня либо можно ограничиться индексацией зарплаты работников, которым установлена минимальная заработная плата?
Посмотреть ответ
Виды индексации
Виды индексации различаются по моменту осуществления и порядку принятия решения о ее проведении. Различают такие виды индексации:
Причины повышения зарплаты
Решение о выплате заработной платы принимается внутри фирмы. Оно обычно носит мотивационный характер, учитывает индивидуальную ценность каждого работника. Зарплату повышают по причинам:
Документальное оформление индексации
Факт того, что компания готова платить больше вследствие поднятия рыночных цен, закрепляется во внутренних нормативных документах организации. Например, коллективном договоре, положениях о выплатах, соглашениях и т. п. С ними нужно ознакомить каждого вновь прибывшего сотрудника под роспись. В документах должны быть пункты:
В момент, когда осуществить процедуру в ближайшее время принято решение, об этом составляется приказ.
После проведения индексации для внесения сведений о новых окладах создается измененное штатное расписание.
Документальное оформление повышения окладов
Если изменение оплаты труда происходит вследствие изменения должности трудящегося, нужны такие документы:
Если работник остается на прежней должности, процедура выглядит следующим образом:
Сходства и различия
Оба явления приводят к увеличению выплат в пользу работника. Порядок реализации плана по индексации и повышению зарплат закрепляется во внутренних нормативных документах.
Отличаются они целями проведения, оформлением и порядком. Индексация затрагивает всех штатных сотрудников предприятия, проводится массово. Зарплату повышать могут выборочно, чтобы стимулировать работу отдельных сотрудников.
Экономическая ситуация лишь косвенно влияет на повышение зарплат. Прямой обязанности по увеличению оклада в связи с ростом цен на работодателя не накладывается. Индексация напрямую связана с инфляцией.
Целью повышения зарплаты является улучшение благосостояния работников. Индексацию проводят для поддержания платежеспособности на приемлемом уровне.
Чтобы изменить оклад, требуется заключение двухстороннего соглашения между работником и фирмой. Индексация происходит по инициативе руководителя, не требует согласования.
Обязан ли работодатель проводить индексацию?
Ответственность за уклонение от выплат установлена. Но в ст. 134 ТК РФ сказано, что обеспечение работников заработной платой включает в себя индексацию. То есть четкой формулировки об обязанности применять коэффициент нет. А норму об индексации можно понимать как одну из мер по поддержке, которую желательно включать в план.
Кроме того, коммерческие организации должны выполнять индексацию зарплат, опираясь на собственные нормативные документы. В связи с этим возникают разночтения. На практике суды принимают точки зрения обоих сторон. Учитывается не только то, проведена индексация или нет, но и какие выплаты других видов были в счет работника. Например, официально процедура по индексации не проводилась, но периодически выдавались премии или увеличивались оклады. Это может быть учтено судом как фактор в пользу работодателя. Отсутствие внутренних нормативных актов тоже может быть расценено как отсутствие основы для привлечения работодателя к ответственности. Ведь по закону он обязан индексировать выплаты в соответствии с ними. А если такие акты отсутствуют, обязанности исполнять эту норму вроде бы и нет. Из-за отсутствия жесткой регламентации данного вопроса фактически решения судов исходят из оценки каждого индивидуального случая. Иногда могут потребовать проиндексировать не только оклад, но и премии, прочие поощрительные выплаты.
В настоящее время работодатель сам решает, каким образом увеличивать выплаты своим работникам. Соблюдение норм об индексации повышает престиж фирмы, вызывает доверие сотрудников, так как не каждая организация выполняет это обязательство. Но периодическое повышение заработной платы также может быть учтено как мера, направленная на улучшение благосостояния работников.
Индексация — что это такое и зачем нужна, понятие простыми словами.
Индексация — это весьма распространенное слово в современном информационном поле. В основном оно применяется в области экономики и сфере IT, но не только.
Что такое ИНДЕКСАЦИЯ в экономике — значение, определение простыми словами.
Индексация — это способ защиты доходов и общего благосостояния граждан от инфляции (роста цен, падения ценности государственной валюты). Простыми словами, Индексация — это перерасчет относительно цен на продукты и услуги следующих статей:
Таким образом, данная процедура перерасчета, позволяет поддерживать уровень благосостояния граждан и экономического климата государства в условно комфортных рамках.
Что такое ИНДЕКСАЦИЯ в сфере информационных технологий?
Индексация – это процесс добавления информации об интернет-ресурсе в базу данных поисковика. Для выполнения данной задачи, существуют специальные программы «поисковые роботы», которые постоянно изучают все, что появляется в сети интернет, занося все новые данные в базу.
Набирая в своем поисковике какую-то фразу, вы получаете список интернет страниц, на которых находится информация по данному запросу. Именно благодаря индексации, ваш поисковик знает, где и на каком сайте, находится нужная вам информация (контент).
Индексация заработной платы
Инфляция – это процесс, который не нужно доказывать никому, кто совершал затраты с интервалом в некоторое время. Ч.1. ст.61 гражданского кодекса РФ говорит о том, что этот факт является общеизвестным и не нуждается в доказательствах.
Из этого положения следует, что установленная работникам номинальная заработная плата постоянно снижает свою покупательную способность. Получается, что затратив одинаковое количество времени и усилий, работающие люди смогут приобрести взамен все меньшее и меньшее количество материальных благ.
Чтобы хоть отчасти компенсировать эту несправедливость, в Трудовом Кодексе прописана обязанность индексации заработной платы.
Как эта обязанность реализуется на практике, в чем особенности механизма индексации, как этот процесс регламентируется документально, рассматриваем ниже. Также проанализируем, как действовать сотруднику, чья зарплата существенно расходится с уровнем потребительских цен, а предприниматель не делает ничего, чтобы хоть немного улучшить ситуацию.
Вопрос: Обязательно ли индексировать зарплату всем работникам организации независимо от ее уровня либо можно ограничиться индексацией зарплаты работников, которым установлена минимальная заработная плата?
Посмотреть ответ
Что такое индексация заработной платы
Работая, любой человек должен быть уверен в том, что он обеспечивает себя и свою семью хотя бы минимально необходимыми возможностями для жизни. Эту норму призван гарантировать установленный МРОТ – размер зарплаты, ниже которого не может устанавливать планку никакой работодатель.
Поскольку стоимость жизни постоянно растет вследствие процесса инфляции, это требует и постоянного увеличения материальной составляющей трудового вознаграждения. Ст. 130 ТК РФ утверждает право трудящегося на рост реального содержания финансовой стимуляции труда, а ст. 134 указывает для этого определенный механизм – индексацию.
Индексация – средство для обеспечения соответствия трудовых доходов покупательной способности полученных средств или хотя бы для минимизации несоответствия. Он заключается в корректировке номинальной платы за труд (тарифов, окладов, ставок) за тот или иной временной промежуток в зависимости от уровня инфляции.
Виды индексации
В зависимости от времени, когда работодатель планирует осуществить индексацию, ее можно разделить на 2 типа:
Вопрос: Вправе ли работодатель установить коэффициент индексации заработной платы в размере 0,1% от роста потребительских цен?
Посмотреть ответ
Закон обязывает работодателя индексировать заработную плату
ВАЖНО! Образец Положения о порядке индексации заработной платы от КонсультантПлюс доступен по ссылке
Закон утверждает абсолютную обязанность работодателя содействовать повышению благосостояния своих сотрудников и адекватности реального содержания зарплаты. Ст. 134 ТК РФ называет индексацию прямым долгом любого работодателя, в какой бы сфере он ни действовал – в бюджетной или коммерческой.
Таким образом, тут разночтений быть не может – от работодателя императивно требуется проводить индексацию. Однако положения данной статьи не допускают ее однозначное толкование. Так, из них нельзя сделать точный вывод о:
Поскольку порядок индексации не прописан в основных законах, его должны регламентировать работодатели во внутренних нормативных актах:
ВНИМАНИЕ! Если на предприятии отсутствует документ с регламентом индексации или ее механизм не упомянут в тексте трудового договора или коллективного договора, это не освобождает работодателя от обязанностей перед законом. Документ необходимо разработать или вписать изменения и дополнения в уже существующие акты. Отсутствие таких положений – это прямое нарушение требований Трудового Кодекса.
Поскольку современное трудовое законодательство в части регламентирования индексации несовершенно, вносятся законопроекты, призывающие изменить ряд неоднозначных формулировок, направленных на формирование более точного понятия о процедуре индексации заработной платы и ее императивности.
Инфляционно-индексационная спираль
Вследствие инфляции повышаются цены – предприниматель поднимает заработную плату. В свою очередь, с повышением расценок возрастают и производственные траты, то есть увеличиваются издержки. Чтобы избежать убыточности, производитель должен поднять стоимость своих товаров и услуги. Поднятие цен снова означает инфляцию.
Чтобы хоть немного снизить темпы возрастания этой «спирали», предусмотрены некоторые ограничения для механизма индексации.
Индексация направлена на компенсацию не любых скачков цен, а только тех, которые связаны с инфляцией. Темп и размер инфляции отслеживается на государственном уровне, остальные факторы рыночной экономики менее поддаются учету и контролю.
Индексации подлежат не любые доходы, а только те, что контролируются и регламентируются государственными органами (заработная плата, пенсия, социальные выплаты).
Дополнительная защита не нужна доходам, которую приносит владельцам их частная собственность и предпринимательская деятельность:
Хозяева и бизнесмены сами регулируют уровень издержек и доходов путем свободного образования цен на свои товары и услуги.
Откуда брать средства на индексацию
За счет чего можно осуществлять регулярные повышения зарплаты в условиях инфляции? Для этого существуют официальные источники, разные для тех или иных сфер деятельности:
Коэффициент индексации
Как именно производить индексацию, насколько поднимать зарплату – зависит от показателя, который выбрал работодатель и закрепил в определенных законом документах. В качестве его допустимо применять:
Налоговое бремя на индексированную сумму
Поскольку индексация является номинальным увеличением дохода, она подвержена тем же налоговым последствиям, что и обычная заработная плата:
Работодатель пренебрегает индексацией?
Это нарушение закона, чреватое административной ответственностью. Инспекция по труду, зафиксировав такое нарушение, может обеспечить ущемленным сотрудникам защиту их попранных прав, заставив нерадивого предпринимателя исправить ошибку и ответить по закону. Для этого работникам потребуется обратиться туда с жалобой о том, что на предприятии отсутствует или не соблюдается процедура индексации зарплат.
ВАЖНАЯ ИНФОРМАЦИЯ! Многие опасаются обращаться в трудовую инспекцию, не зная о своем праве требовать не предоставлять работодателю сведений об авторе жалобы в соответствии с ч. 2 со ст.358 ТК РФ. При этом анонимно обратиться тоже не получится: жалобы без авторства не рассматриваются.
Обращаться можно и прямиком в суд, случается, что иск производится по представлению органов контроля. Срок для этого – 3 месяца со дня, когда трудящийся осознал, что его права оказались ущемленными (это может быть день начисления непроиндексированной зарплаты, аванса).
ВНИМАНИЕ! Суд в большинстве случаев просто обяжет предпринимателя разработать и принять положение об индексации, если в иске не содержится дополнительных требований.
Что такое индексация – самый полный гайд
Часто происходит путаница в терминологии: под индексацией иногда подразумевают сканирование сайта или совокупность и сканирования и индексации. В этом нет большой ошибки, часто путаницу вносят сами мануалы поисковых систем. Иногда в текстах Яндекса и Гугла можно увидеть использование термина индексация в разных контекстах, например:
Индексация сайта простыми словами
Так что же такое индексация: если кратко, то индексация (или индексирование, indexing) – один из процессов работы поисковых систем по построению поисковой базы в результате которого содержимое страниц попадает в индекс поисковой системы.
Для большей ясности приведу терминологию, а потом опишу все процессы.
Терминология
Планировщик (Scheduler) – программа, которая выстраивает маршрут обхода интернета роботами исходя из характеристик страниц, таких как частота обновления документов, востребованность этих страниц, цитируемость.
Crawler, Spider (Паук) Googlebot, YandexBot. Робот, ответственный за обход и скачивание страниц из интернета в порядке очередности, который задается планировщиком. Подразделяются на:
Сканирование (Crawling) – процесс загрузки страниц краулером в результате чего они попадают в хранилище, в виде сохраненных копий.
Краулинговый спрос: это то, как часто и в каком объеме робот бы хотел сканировать конкретные страницы.
Краулинговый лимит: ограничения скорости сканирования на стороне сайта, связанные с производительностью сайта или заданным вручную ограничением.
Краулинговый бюджет – это совокупность краулингового спроса и доступной скорости сканирования сайта (краулингового лимита). Простыми словами – это то сколько робот хочет и может скачать страниц.
Сохраненная копия – необработанная копия документа на момент последнего сканирования.
Поисковый индекс – информация со страниц, приведенная в удобный для работы поисковых алгоритмов формат. Список всех терминов и словопозиций где и на каких страницах они упоминаются. Информация хранится в базе в виде инвертированного индекса. Схематический пример:
Индексация – процесс загрузки, анализа содержимого документа документа с последующим включением в поисковый индекс.
Поисковая база – это совокупность поискового индекса, сохраненных страниц и служебной информации о документах, таких как заголовки, типы и кодировка документов, коды ответов страниц, мета теги и др.
Как происходит сканирование сайта
Так как ресурсы поисковых систем не безграничны, планировщик составляет очередь обхода страниц, исходя критериев их полезности, востребованности, популярности и др. Каждый сайт получает свой краулинговый бюджет исходя из скоростных характеристик сайта и таких критериев как:
Робот в постоянном режиме скачивает страницы и помещает их в хранилище, заменяя старые версии. Мы можем увидеть их в виде сохраненных копий. Далее уже происходит индексация страниц.
Как проходит индексация сайта
Индексацию можно условно разбить на следующие процессы:
Как проходит индексация сайта в Яндексе
Все описанное в предыдущем пункте справедливо и для Яндекса и для Google. Какие есть особенности индексации у Яндекса?
У Google обновление поисковой базы – непрерывный процесс. В Яндексе обновление происходит во время Апдейтов, примерно раз в три дня. О том что произошло обновление можно узнать по уведомлениям в Яндекс.Вебмастере
Как проверить индексацию
Есть разные способы для проверки статуса индексации сайтов и отдельных его страниц:
Выбор сервиса зависит от поисковой системы, а также задачи: узнать сколько страниц всего в индексе, получить список проиндексированных страниц или проверить статус индексации конкретной страницы или списка страниц. Подробнее расписано ниже.
Как узнать сколько страниц проиндексировано на сайте
Расширения для браузера
Быстрые способы проверить статус индексации сайта – расширения и букмарклеты для браузера, например RDS-бар
Сервисы для анализа сайтов
Так же можно проверить с помощью сервисов, таких как pr-cy.ru
Яндекс.Вебмастер и Google Search Console
Если есть доступы к панелям вебмастеров, можно получить количество проиндексированных страниц в панелях вебмастеров:
С помощью специализированных программ для SEO, например Allsubmitter, Netpeak Checker.
Это может понадобиться когда нужна пакетная проверка параметров чужих сайтов.
Пример проверки числа проиндексированных страниц в Netpeak Checker.
Проверка индексации сайтов в Яндекс:
Проверка индексации сайтов в Google:
Пример проверки индексации сайтов в Яндекс и Google в Allsubmitter.
Как выгрузить список проиндексированных страниц сайта в Яндексе и Google
Внизу страницы ссылки на скачивание файла – cуществует ограничение в 50 000 страниц.
Google Search Console: в отчете Покрытие – выбираем нужные типы страниц
Переходим в нужный отчет и скачиваем список страниц в удобном формате. Google отдает только 1 000 страниц.
Поисковые операторы Яндекса
Запрос для поиска страниц в пределах одного домена – url:www.site.ru/* | url:site.ru/* | url:site.ru | url:www.site.ru.
Запрос для поиска с учетом всех поддоменов – site:site.ru
Список операторов и инструкцию по работе с ними можно посмотреть в справке Яндекса.
Ограничение: можно получить только 1000 результатов. Нужны специальные инструменты чтобы скопировать список страниц SERP: расширения браузера, букмарклеты или программы для парсинга выдачи.
Поисковые операторы Google
Запрос для поиска страниц в пределах одного сайта – site:site.ru
Получение списка страниц входа из систем веб-аналитики
Списки страниц входа из органики Яндекса в системах аналитики Яндекс.Метрика и Google.Analytics. Страницы по которым идут переходы с органической выдачи с большой вероятностью индексируются, но для точности рекомендуется проверять индексацию собранных страниц – индекс не статичен и страницы могут выпадать из индекса.
Список страниц по которым сайт показывается в выдаче в Яндекс.Вебмастере
Для выгрузки большого списка страниц из Яндекс.Вебмастера потребуется специальный скрипт.
Плагин для API Google Webmasters: Google Search Analytics for Sheets
Отображает страницы по которым были показы сайта в выдаче.
Преимущества выгрузки списка страниц через API в том что можно получить десятки тысяч страниц, которые с большой вероятностью проиндексированы, в отличие от веб-интерфейса где установлено ограничение по выгрузкам в 1000 страниц.
Серверные логи сайта
Получить список страниц которые посещает робот можно из логов, например с помощью программы SEO Log File Analyser от создателей Screaming Frog.
Как проверить индексацию конкретной страницы в Яндексе и Google
Проверка с помощью оператора: пример запроса url:https://site.com/page/
Сервис Google Search Console: инструмент “Покрытие”
Нужно ввести в указанной на скрине строке поиска URL-адрес своего сайта и откроется отчет о статусе страницы.
Проверка с помощью оператора: пример запроса site:https://habr.com/ru/news/t/468361/
После отмены оператора info остался оператор site, но он выдает не всегда точные данные, можно сократить список результатов с помощью указания уникального текста проверяемой страницы.
Как массово проверить индексацию списка страниц
Для проверки можно использовать SEO-сервисы, например Rush Analytics.
Это позволяет массово проверить индексацию до десятков-сотен тысяч страниц
Как проверить разрешена индексация/сканирование страницы в Robots.txt
В Google
Инструмент проверки файла robots.txt
Важно: если файл robots.txt отдает 404 ошибку, боты считают что разрешено сканирование всего сайта без ограничений. Если файл отдает ошибку 5хх, то Googlebot считает это полным запретом на сканирование сайта, но если ошибка отдается более 30 дней – считает что разрешено сканировать весь сайт без ограничений. Яндекс любые серверные ошибки считает отсутствием файла robots.txt и отсутствием ограничений на обход и индексацию сайта.
Как узнать динамику числа проиндексированных страниц
С помощью специализированных сервисов, например: https://be1.ru/
С помощью Google Search Console: в отчете Покрытие.
Почему число проиндексированных страниц может отличаться в разных сервисах?
Нужно понимать что проиндексированные страницы и страницы в поиске это разные сущности. Не все проиндексированные страницы будут включены в поиск и не все страницы в поиске будут показываться через операторы поиска – операторы лишь выводят результаты пустого поиск по сайту а не список всех страниц. Но этого в большинстве случаев достаточно чтобы оценить порядок числа проиндексированных страниц сайта.
Запрет индексации страниц
Запрет индексации с помощью Meta Noindex/X-Robots-Tag
Для гарантированного исключения попадания страниц в индекс можно использовать атрибут Noindex Мета Тега Robots или HTTP-заголовка X-Robots-Tag. Подробнее про этот атрибут можно прочитать тут.
Важно: Использование запрета индексации в через Meta/X-Robots-Tag Noindex вместе с запретом в Robots.txt
При добавлении директивы Noindex в мета-тег Robots и http-заголовок X-Robots-Tag, чтобы ее прочитать, робот должен просканировать страницу, поэтому она должна быть разрешена в файле Robots.txt. Следовательно для точечного запрета индексации страниц иногда требуется снять запрет в robots.txt или добавить директиву Allow, чтобы робот смог переобойти эти страницы.
Несмотря на вышеописанное, запрет в robots.txt в большинстве случаев все таки приведет к тому, что страницы не будут индексироваться, но его нельзя использовать для закрытия персональных данных или страниц с конфиденциальной информацией.
Как запретить индексацию страницы в robots.txt
Стоит сразу упомянуть что запрет в robots.txt не является надежным методом закрытия страниц от индексации.
В файле robots.txt указываются основные директивы для запрета или разрешения обхода/индексации отдельных страниц или разделов сайта.
Важно: Многие ошибочно считают что директива Disallow в Robots.txt служит для запрета индексации страниц, это не совсем так. Основная цель файла Robots.txt – управление трафиком поисковых роботов на сайте, а не индексацией / переиндексацией и разные поисковые системы по разному интерпретируют запрет.
Многие вебмастера не понимают почему после запрета страницы в robots.txt она продолжает находиться в индексе и приносить трафик. Запрет посещения и обновления страницы роботом не означает, что он обязан удалить уже присутствующую в индексе страницу. К тому же для индексации не всегда обязательно физически сканировать страницу, информацию о ней можно собирать из различных источников, например, из анкоров входящих ссылок.
Почему заблокированные в robots.txt страницы отображаются в выдаче?
В Яндексе и Google различается механизм обработки директив файла Robots.txt. Для Google директива Disallow в robots.txt запрещает лишь обход страниц, но не их индексацию из-за чего часто появляются страницы со статусом:
Для запрета индексации в Google через файл Robots.txt ранее использовалась незадокументированная директива Noindex в Robots.txt, но с сентября 2019 года Google перестал поддерживать ее.
На данный момент для надежного запрета индексации страниц в Google рекомендуется использовать атрибут Noindex Мета Тега Robots и HTTP-заголовка X-Robots-Tag.
Яндекс же, наоборот, воспринимает запрет в Robots.txt Disallow: как сигнал к запрету и сканирования и индексирования сайта и после добавления директивы Disallow: страницы будут удалены из индекса.
Использование атрибута canonical для запрета индексации дубликатов
Для консолидации дубликатов или похожих страниц страниц используется атрибут canonical, который указывает поисковикам по какому адресу рекомендуется индексировать страницу. Носит рекомендательный нестрогий характер.
Два типа использования:
Использование директивы clean-param для удаления из индекса
Директива clean-param файла Robot.txt используется только Яндексом. Указывает незначащие параметры, которые будут по возможности вырезаться из URL-адресов при обходе сайта. Страницы, запрещенные в Clean-Param будут исключены из индекса.
Инструмент Параметры URL в Google Search Console
Похож на Clean-Param Яндекса в Robots.txt, но управляет только сканированием, а не индексацией.
SetEnvIfNoCase User-Agent “^Googlebot” search_bot
SetEnvIfNoCase User-Agent “^Yandex” search_bot
Запрет сканирования, индексации с помощью кодов ответа сервера 3хх/4хх
Чтобы гарантированно запретить роботам скачивать страницы, можно отдавать ботам при сканировании страниц коды:
Удаление страниц из индекса
Удаление страниц или каталогов через Search Console
Инструмент не запрещает страницы к индексации или сканированию – он лишь временно скрывает страницы из поисковой выдачи. Рекомендуется использовать только для экстренного удаления страниц, случайно попавших в выдачу, после этого уже физически удалить их или запретить сканирование/индексацию.
Ускоренное удаление из индекса страниц в Яндексе
На сайт должны быть подтверждены права. Можно удалить только страницы, которые недоступны для робота: запрещенные в robots.txt или отдавать код 3хх, 4хх.
Для удаления из индекса Яндекса страниц чужого сайта можно воспользоваться формой – https://webmaster.yandex.ru/tools/del-url/.
Требования к URL-адресам такие же: запрет в robots.txt или коды ответа 301, 403, 404, 410 и т.п.
Как добавить страницы в индекс Яндекса или Google
Роботы постоянно ходят по ссылкам на сайтах. Для ускорения добавления существуют инструменты:
Как проверить обход / сканирование сайта поисковыми системами
Яндекс:
Общее количество загруженных (просканированных) Яндексом страниц можно увидеть на главной странице вебмастера.
Google: отчет: статистика сканирования сайта.
Также можно проверить обход сайта всеми поисковыми роботами с помощью анализа серверных логов сайта (Access logs). Например, через программу SEO Log File Analyser.
Как часто происходит индексация сайта
Поисковые боты постоянно равномерно загружают страницы сайта, далее выкладывая их в обновленный индекс: Google обновляет индекс в постоянном режиме, Яндекс во время апдейтов поисковой базы, примерно раз в три дня.
Частота сканирования и переиндексации каждого отдельного сайта различается, и зависит от факторов:
Как улучшить и ускорить индексацию сайта
Рекомендации для увеличения охвата страниц индексом поисковых систем:
Как ограничить скорость сканирования сайта
Обычно если требуется ограничить нагрузку, которую создают роботы, то у сайта большие проблемы и это негативно скажется на его индексации. Боты стараются быть “хорошими” юзерами и сканируют сайт равномерно, стараясь не перегружать сервера.
То что сайт от этого испытывает проблемы с нагрузкой, в 90% случаев может быть сигналом к смене хостинга/сервера или оптимизации производительности CMS. Но в случае крайней необходимости все таки можно задать рекомендуемую скорость сканирования сайта.
Для ограничения скорости обхода сайта можно воспользоваться инструментами Яндекс.Вебмастер и Google
Яндекс:
Google:
В старой версии консоли можно было временно ограничить максимальную скорость сканирования сайта