Нет используемых роботом файлов sitemap как исправить
Форум
Тема: Нет используемых роботом файлов Sitemap
Поиск по теме
Нет используемых роботом файлов Sitemap
Здравствуйте, не могу сообразить, то ли надо ждать 14 дней, то ли что-то не так делаю. В статусе вебмастера ошибка сохраняется после проверки. Как решить вопрос? Спасибо.
Доброе день.
Нужно ждать индексации сайта. Яндекс не сразу обновляет информацию.
Добрый день. Возникли следующие вопросы:
1. обнаружила, что нет ни одной страницы сайта https://ingmar.nethouse.ru/#/ в гугле. А в Яндексе есть.
2. файл sitemap нужно как-то в гугл добавлять и в другие поисковые системы? Или достаточно того, что он есть в корневом меню сайта? (Может поэтому сайта нет в гугле)
Здравствуйте!
1. Как давно создан сайт?
2. Исправьте robots.txt на вашем сайте, инструкция http://nethouse.ru/about/instruction. koe_robots_txt
3. Без собственного домена 2 уровня файл sitemap вы не сможете добавить в поисковые системы, самостоятельно, только ждать пока его сами поисковики проиндексируют (если он сформирован на вашем сайте, инструкция http://nethouse.ru/about/instruction. avlyat_sitemap )
4. Воспользуйтесь инструкцией “Как добавить сайт в поисковые системы, если сайт работает на тарифе “Старт” http://nethouse.ru/about/instruction. a_tarife_start
1. Сайт создан 2 сентября 2016 года. Но у меня другой сайт создан в конце октября, так он и в гугле, и в яндексе есть. Я с такой ситуацией впервые столкнулась. Обычно все сайты нормально равномерно индексировались в поисковиках.
2. Не понимаю зачем исправлять robots.txt, если у меня сайт с доменом 3-го уровня, а они автоматически подключаются к ssl сертификату?
3. То есть sitemap в поисковики добавляют только в случае подтверждения прав на сайт (при домене 2- го уровня), правильно я поняла?
4. А этот пункт на практике попробую
Одна страница сайта в Гугл есть (см.скриншот)
Как добавить в WordPress robots.txt и SiteMap
Вообще любая оптимизация сайта (не важно SEO или какая-нибудь другая) начинается еще на стадии разработки.
Однако, очень часто сайт создается впопыхах, кем-попало (кого смогли найти за те деньги), без технического задания, а если оно и есть, то меняется прямо на ходу. Поэтому, ко мне часто поступают обращения с просьбой подготовить сайт на движке WordPress (поскольку популярная платформа) под SEO-оптимизацию.
Метатэги
Ок. Начнем с простого. Установим плагин «All In One SEO Pack». Делается это в админке, в разделе «Плагины», в подпункте «Добавить новый».
На открывшейся странице, в строку поиска, вводите название плагина, ищите, устанавливаете, активируете.
После этого в окне редактирования или создания поста, ниже поля куда вы вводите текст, появляются поля для тайтла, дескрипшина и кейвордсов. Если не знаете что это или зачем, то вы ни шиша не понимаете в SEO. Но у меня для вас хорошая новость, вся инфа есть в интернете. Воспользуйтесь поиском Яндекса, Гугла, поищите на ютубе. Не тупите!
Про метатэги пишу в этом посте исключительно для комплекта. Даже настроек самого плагина не буду касаться. Это та часть SEO-оптимизации, которую лучше сделать одновременно с добавлением Сайтмапа и Роботса, о которых пойдет речь дальше. Почему? Потому, что это займет всего пару минут, а в будущем точно понадобится.
Sitemap.xml
Теперь добавим карту сайта. Это тоже делается с помощью плагина. Их много, но я предпочитаю тот, что зовется «Google XML Sitemaps». Ставится ровно так же как и предыдущий.
Настраивается в разделе админки (левое вертикальное меню) «Настройки», подпункт «XML-Sitemap». Собственно, достаточно тупо снять галочку с пункта «Add sitemap URL to the virtual robots.txt file.» и сохранить (там есть кнопка сохранения, если пролистаете ниже).
Чтобы убедиться, что все работает, откройте в соседней вкладке ссылку типа http://ваш_сайт/sitemap.xml
Увидели что-то вроде этого?
Отлично. Не закрывайте вкладку. Она нам еще пригодится. А пока переходим в админку.
Robots.txt
Этот файл можно заливать без каких-либо плагинов. По FTP например. Но если нет доступа или хочется все проделать с комфортом, то… Ставим плагин. Как вы уже убедились на предыдущих примерах, это очень простое действие, но профессионалы берут за это деньги.
Итак, ставим плагин «WordPress Robots.txt File». Опять-же, можете выбрать другой, который будет работать.
Ставим плагин, активируем, переходим в «Настройки», в подпункт «Чтение».
На открывшейся странице видим поле robots.txt
Если оно чем-то заполнено — удалите. Сейчас мы его заполним новым содержимым.
Перейдите по ссылке (желательно открыть эту ссылку в новой вкладке). На открывшейся странице вы можете видеть три поля и кнопку.
Скопируйте из адресной строки браузера адрес вашего сайта и вставьте его в поле с надписью «Введите адрес сайта».
Теперь перейдите во вкладку с Сайтмапом. Помните, выше по тексту я просил ее не закрывать? Скопируйте из адресной строки путь к файлу sitemap.xml и вставьте в поле «Введите адрес вашего файла sitemap.xml».
Нажмите кнопку «Создать robots.txt».
Если все сделано правильно, в поле под кнопкой появится текст. Скопируйте его весь и вставьте в поле robots.txt, открытое в админке вашего сайта («Настройки», «Чтение»).
Нажмите кнопку «Сохранить изменения».
Перейдите по ссылке типа http://ваш_сайт/robots.txt
Если на открывшейся странице вы видите текст, который только что копировали и вставляли из поля, значит все установилось как надо.
Т.е. только что, благодаря умению читать и искать, вы сами, своими руками, установили Карту сайта и файл директив для поисковых роботов. Браво!
А с вами был Доктор Лексиум. До новых постов.
Вот в этой статье **ссылка удалена** автор утверждает о том, что если открыть uploads для всех ботов, то в индексе появляются загруженные PDF и прочие текстовые файлы. А в яндекс вебмастере, в отчете «Исключенные страницы» появляются сообщения об ошибке при индексировании картинок, мол содержимое не поддерживается. Вот и не знаю кому верить…
В приведённой статье сказано:
«Disallow: /wp-content/uploads — закрываем именно эту папку, поскольку она может содержать разного рода документы, например, PDF, DOC и т.д., которые не стоит пускать в индекс. Закрывать «wp-content» полностью чревато проблемами.»
Я бы не советовал закрывать папку uploads от индексации. Незачем хранить в ней такие текстовые файлы и PDF, появление которых в выдаче было бы нежелательным. Лучше положить такое в отдельную папку, и уже её закрыть.
Если же яндекс.вебмастер ругается на то, что содержимое не поддерживается, значит с содержимым и правда имеется проблема. Может там вместо картинки отдаётся какая-нибудь ошибка, или сервер коряво настроен и прикручивает к файлу некорректный MIME-type. Причин подобному может быть не мало.