Узнать когда последние раз skf индексация сайта

Узнать когда последние раз skf индексация сайта

Как известно, сделать понятный, красивый и интересный сайт – это только полдела. Остальная работа – добиться высокой посещаемости. В начале существования сайта основная масса посетителей приходит на него из популярных поисковых систем.

Итак, сайт создан, выложен на хостинг, наполняется информацией. Владелец ведет над ним непрерывную работу, а посещаемость все равно не растет. Сайта нет в результатах выдачи Google и Yandex? Это непосредственно связано с тем, что поисковики не сразу индексируют новый сайт, а через определенный промежуток времени. Как долго ждать посетителей? Сколько времени индексируется сайт в Google и «Яндекс»?

Для начала нужно разобраться, от чего вообще зависит скорость индексации сайта. Как показывает практика, на нее влияют следующие факторы:

  • движок сайта;
  • возраст домена и доменная зона;
  • частота наполнения сайта контентом.

Чтобы разобраться в том, сколько времени индексируется сайт в «Яндексе» или Google, нужно детальнее познакомиться с каждым из пунктов.

Индексация сайта в Google и «Яндекс»: разбивка по группам

  1. Высшая категория. Живые форумы и новостные сайты. Боты на таких сайтах пасутся регулярно. Индексация для таких сайтов никогда не будет проблемой, так как страницы заходят в индекс практически моментально.
  2. Первый сорт. Часто обновляемые, трастовые сайты. Сюда поисковые боты заглядывают каждый день и быстро индексируют новые страницы.
  3. Второй сорт. Качественные сайты, обновляемые каждую неделю. На них поисковый робот заглядывает периодически, как только появилось сообщение о том, что ресурс обновился. В некоторых случаях индексация на них может задерживаться дней на семь.
  4. Третий сорт. Если Ваши сайты не подходят к первым трем группам, то, скорее всего, они где-то здесь. «Яндекс» заходит на сайт, когда ему захотелось, и это никак не влияет на скорость. Иногда индексации ждать приходится очень долго.
  5. Не сортовые сайты. К этой группе относятся все новые сайты, которые только недавно были выложены на хостинг. Если никак не влиять на их индексацию, то может уйти несколько месяцев, пока они появятся в поиске. Больше всего вопросов и возгласов, связанных с индексацией сайтов в Google и «Яндексе», поступает от владельцев таких ресурсов.

Естественно, такая разбивка на группы была сделана условно, а не из официальных источников «Яндекса» или Google.

Сколько времени индексируется сайт в Google?

На новый сайт быстрее всего заходит робот от Google. Уже в первую неделю после создания сайта в поиске могут появиться некоторые страницы. Google одинаково хорошо индексирует доменные зоны .ru и .com. Хотя в зоне .com сайты вылезают в поиске несколько раньше. Бытует мнение, что домен в зоне .info индексируется медленно. Что касается доменной зоны .рф, то здесь проблем индексации не отмечено (хотя мнения веб-мастеров в этом плане отличаются).

Сколько времени индексируется сайт в «Яндексе»?

В поисковой выдаче сайт появляется спустя две-четыре недели после добавления его в аддурилку. Но это время может несколько затянуться по причине редких апдейтов поисковой базы.

Если Вы создали сайт, но на нем нет посетителей, не стоит опускать руки. Ведите над ним планомерные работы, и в скором времени заметите первые движения.

Особенно хорошо индексируются «Яндексом» и Google сайты, построенные на популярных движках, таких как WordPress, Drupal, DLE, 1C-Bitrix, OpenCart и т.д. Такие скрипты интернет-магазинов, как Webasyst, Shop Script и Vam Shop, индексируются намного хуже. Могут встречаться проблемы и с индексированием сайтов на самописных движках.

Во многом скорость индексации сайта в «Яндексе» и «Гугле» зависит и от того, насколько часто он наполняется контентом. Например, поисковый бот зашел на сайт раз в три дня. Если он заметит, что контент редко обновляется, то, соответственно, и заглядывать на него он будет реже. При регулярном обновлении контента Google и «Яндексу» придется чаще заглядывать на сайт, чтобы никогда не отставать от последних обновлений. Если нет возможности регулярно добавлять новости самостоятельно, можно воспользоваться планировщиком записей.

Возраст домена тоже сказывается на скорости индексации ресурса. Более старые домены, имеющие определенный вес, будут индексироваться быстрее, чем новые. При этом трафик может идти с других сайтов посредством внешних ссылок.

Как ускорить индексацию сайта?

В поисковых системах есть специальные сервисы – аддурилки, которые позволяют «рассказать» поисковым системам о том, что появился новый сайт. Также Вы можете добавить свой сайт в популярные каталоги, такие как «Яндекс.Каталог», DMOZ и прочие.

Для ускорения индексации поможет регистрация в социальных сетях и закладках (vkontakte.ru, twitter.com, memori.ru и другие). Туда можно добавлять анонсы своих новостей.

Также можно завести свои блоги на livejournal.com, blogs.mail.ru, blogspot.com, my.ya.ru и др. Регулярно добавляйте записи со ссылками, и индексация сайта заметно улучшится.

Не забывайте о таком важном моменте, как внутренняя перелинковка. Она помогает продвигать сайт по НЧ-запросам, а также способствует улучшению поведенческих факторов.

Поисковые роботы часто посещают трастовые блоки с их комментариями. Они отслеживают в блогах все ссылки и индексируют их, переходя на Ваш ресурс. Но при размещении комментариев соблюдайте правила блога, добавляя ссылки в специально отведенное место, чтобы исключить удаление Вашего комментария.

Е-mail-рассылка. В рассылке очень помогает сервис Subscribe.ru. Опубликованные темы будут рассылаться многим пользователям, а ссылки на сайт будут улучшать его индексацию.

Достаточно трудоемким является способ размещения большого количества текстов со ссылками на свой сайт. Сложность заключается в том, что Вам придется писать много интересных статей, которые бы выполняли функцию, похожую на каталог ссылок.

Нужно построить грамотную и четкую структуру ресурса. Она должна быть удобной и легкой для работы поисковых ботов со страниц. Добиться этого несложно. Принцип состоит в том, чтобы ссылки на страницах направляли бота с одной страницы на другую.

Если сайт состоит из огромного количества страниц, то робот просто может не добраться до последних страниц, наиболее удаленных от главной. В таком случае нужно создать карту сайта и продумать структуру так, чтобы каждая из страниц была не больше трех кликов от главной.

Веб-мастера отмечают, что основное содержимое сайта быстрее индексируется, нежели статьи в разделах, которые не отдаются в RSS-ленту и не появляются на главной. Статьи в скрытых разделах в некоторых случаях способствуют ускорению индексации. Хотя если Вы готовы ждать несколько недель, то дергаться не нужно.

В принципе способов улучшения индексации в «Яндексе» и Google гораздо больше, но даже этих вполне достаточно.

Что делать, если поисковик отказывается индексировать сайт?

Часто на форумах можно встретить вопрос: «Почему сайт не индексируется?». И на это есть несколько самых распространенных причин:

  • Сайт закрыт от индексации командой в файле txt. Подкорректируйте файл, открыв сайт для индексации, добавив следующую строчку:
  • Ошибка в коде сайта, не позволяющая видеть поисковикам страницы сайта. К примеру, текст заключен в следующие теги .
  • Неуникальный контент. Важно, чтобы тексты на сайте были уникальными, то есть они не должны встречаться на других сайтах. Поисковики особенно не любят сайты с неуникальным контентом, которые продают ссылки. Рано или поздно они попадают под фильтры, из которых выйти практически невозможно. Если ранее сайт имел неуникальный контент, но с него не продавались ссылки, то есть вероятность, что сайт будет нормально ранжироваться и индексироваться, если Вы добавите уникальные статьи.
  • Переспам, переоптимизация. Не злоупотребляйте вхождением ключевых слов в статье и такими тегами, как , , , . Все должно быть непринужденно и естественно.
  • Некачественный контент. Не стоит экономить на текстах, если Вы надеетесь на развитие сайта.
  • Сайт выступает зеркалом другого сайта. Речь идет о той ситуации, когда есть сайт с полностью уникальным контентом, но по структуре и смыслу он частично или полностью копирует другой сайт. «Яндекс», по крайней мере, не очень любит такие сайты, и если он их вычисляет, то «склеивает» их с «главным зеркалом» всех ресурсов.
  • Продажа ссылок с сайта. Поисковые системы плохо относятся к сайтам, которые продают ссылки. Как следствие, выпадение всех страниц из индекса. В этом плане «Яндекс» более жестокий, чем Google, который ранжирует все что можно и нельзя.
  • Ссылочный взрыв. Если на неизвестный сайт в один прекрасный день начнут ссылаться сразу тысячи сайтов, то это может стать причиной санкций со стороны поисковиков.
  • Домен, который Вы купили, был заблокирован (забанен) поисковыми системами.
  • Хостинг блокирует поисковых ботов. К сожалению, и такая ситуация может быть. Поэтому пользуйтесь услугами хостинга с проверенной репутацией.
Читайте также:  Колонки корвет 180ас 001
Как проверить индексацию сайта?
  1. Проверить страницы, вошедшие в индекс, можно очень легко. Достаточно скопировать URL и вбить их в поисковую строку «Яндекса» или Google. Если Ваша страница видна в поиске, это означает, что она занесена в базу поисковика. Если ее нет в выдаче, то она не прошла индексацию.
  2. Сервис pr-cy.ru и тому подобные позволяет Вам обо всем узнать быстрее и проще. С его помощью можно контролировать индексацию всего сайта и посмотреть, какие страницы уже вошли в индекс и каков их процесс. Внесите в форму адрес сайта и нажмите на кнопку «Анализировать», после чего Вы получите подробный отчет по данным.
  3. В меню «Яндекс.Вебмастер» и GoogleWebmaster Они содержат функции проиндексированных страниц и другую полезную информацию. В «Яндекс.Вебмастере» отдельно подсчитывается число страниц, которые прошли проверку роботов, и общее количество загруженных страниц для будущей индексации.
Что делать, если Вы исправили все недочеты, но сайт все равно не индексируется?

Если вышеперечисленные советы не помогли, сайт все равно не индексируется, то здесь остается только одно – обратиться за помощью к сотрудникам поисковых систем:

  • Написать Google. Вы можете задать вопрос Google на родном языке, но ответ получите на английском, и он будет стандартным. Первый ответ будет приблизительно таким: «Мы получили Вашу заявку на пересмотр сайта и т.д.» Второй ответ, если с сайтом все нормально, будет примерно следующим: «Мы рассмотрели сайт и не обнаружили присутствие спама. Ожидайте, пока сайт будет проиндексирован».
  • Написать «Яндексу». В большинстве случаев ответ от «Яндекса» приходит такой: «Улучшайте качество сайта». Однако не стоит расстраиваться, если Вам пришел шаблонный ответ. Скорее всего, это означает, что времени на рассмотрение Вашего ресурса совсем не было. В таком случае вступите в долгую переписку с представителями поисковика, стараясь отстоять свои права. Они должны понять, что Ваш сайт им небезразличен. Если Вы будете до конца уверены в том, что ресурс качественный, фильтр будет снят.

Внимание! Не давайте адрес сайта на разных форумах, блогах и прочих ресурсах, если он еще не проиндексировался. В противном случае у Вас просто своруют контент, скопировав его с Вашего сайта и разместив на своем. Также не рекомендуем регистрировать сайт, который еще не вошел в индекс, поскольку владельцы каталогов могут проверить сайт на наличие страниц в поиске и своровать его страницы.

В процессе сканирования сайта поисковыми системами можно выделить четыре ключевые даты для страниц:

  1. Дата первой индексации, она определяет возраст страницы.
  2. Дата последнего обхода поисковым роботом.
  3. Дата последней индексации страницы, которая выложена в индекс.
  4. Дата формирования сохраненной копии страницы (не всегда совпадает с датой индексации страницы при построении индекса).

Первая дата обхода

Два метода получения даты первой индексации страницы перестали работать:

  • оператор date работает некорректно;
  • добавление к строке запроса параметра &how=tm перестало отображать даты индексации.

Но эту информацию все еще можно получить через Яндекс XML. Для этого необходимо перейти по ссылке https://xml.yandex.ru/test/ и в поле «&query» ввести запрос вида url:%page%, где %page% — адрес страницы. Далее нажимаем на «Найти» и в полученном результате ищем тег , который и укажет дату первой индексации страницы.

Дата обхода поисковым роботом и статуса в поисковой базе

Чтобы узнать дату последнего обхода страницы и информацию о том, какая версия находится при построении поисковой выдачи, необходимо в сервисе Яндекс.Вебмастер в разделе «Индексирование» выбрать «Проверить статус URL». Далее указываем необходимый адрес и получаем данные. Этот способ работает лишь для подтвержденного сайта.

Дата формирования сохраненной копии

Чтобы узнать дату формирования сохраненной копии, необходимо в поисковой выдаче кликнуть на выпадающее меню (рядом с название адреса страницы).

Просмотр сохраненных копий в поисковых системах Bing и Mail позволит показать старые версии страниц, поскольку они переиндексируют их медленнее, чем поисковые роботы Яндекс и Google.

Что такое индексация сайта и как она происходит

SEO продвижение сайта невозможно без индексации сайта. Чтобы повысить поведенческие факторы, необходимо, чтобы страницы были проиндексированы. Индексация сайта — что это такое простыми словами? У каждой поисковой системы есть свой собственный поисковый робот. Он может в любой момент зайти на сайт и «погулять» по нему, передавая все отсканированные документы (весь html-код, текст, изображения, ссылки и все остальное) в базу своей поисковой системы. Этот процесс принято называть «сканированием».

Далее поисковая система анализирует полученные данные и выставляет ссылки на документы в поисковую выдачу. Именно это и подразумевается под фразой «индексация сайта».

Ну а теперь давайте искать ответы на вопросы «как ускорить индексацию?» и «как улучшить индексацию?»

Читайте также:  Как слить два файла pdf в один

Как проверить индексацию сайта в Google и Яндекс

Существует несколько способов получения ответа на вопросы «а проиндексирована ли эта страница?», «сколько страниц проиндексировано?» и т.п. Рассмотрим некоторые из самых эффективных. Но для начала маленькое уточнение – обработка поискового запроса и формирование поисковой выдачи происходит на основе проиндексированных «копий» страниц, находящихся в базе данных поисковой системы, а не на основе имеющихся на сайте страниц. Ну а теперь о трех способах проверки индексации:

Кабинеты поисковых систем Яндекс, Google, Mail.ru и т.д. Уж там-то со 100% вероятностью можно получить все необходимые данные.

В Рунете полно подходящих онлайн-сервисов. Практически все они работают одинаково: указывается адрес сайта и получаем данные и вся история индексации сайта как на ладони.

Ручная проверка с помощью оператора site:. Т.е. вбиваем в поисковую строку site:your-site.guru и тут же получаем и список проиндексированных страниц (в виде поисковой выдачи), и их количество.

Проверить индексацию сайта в Яндекс.Вебмастере

Заходим в https://webmaster.yandex.ru/ и логинимся. Далее переходим в «Индексирование сайта» — «Страницы в поиске» (как вариант — «Индексирование сайта» — «История» — «Страницы в поиске»). Здесь можно посмотреть статистику последних изменений в индексации и даже выявить исключенные из индекса страницы.

Проверка индексации в сайта Google Search Console

Чтобы проверить индексацию сайта в Google, нужно первым делом зайти в https://www.google.com/webmasters/tools/home, логинимся, после чего на боковой вкладке «Индекс Google» выбираем «Статус индексирования».

Индексация сайта в Майл (Mail.ru)

У поисковой системы Mail.ru тоже есть свой вэбмастерский кабинет — https://webmaster.mail.ru/. Заходим туда, логинимся и через форму go.mail.ru/addurl добавляем сайт на индексацию. Радует тот факт, что Mail.ru все-таки решила разрабатывать и продвигать свои собственные инструменты для вебмастеров.

Индексация сайта в Bing.com

Кто не в теме, поисковая система Bing была разработана корпорацией Microsoft (ей и принадлежит), чтоб заменить поиск Live Search. В России она пользуется очень малой популярностью. Однако, есть те, кто успешно получает с нее достаточно много поискового трафика. К слову, «пригласить поискового бота» можно и без регистрации – заходим на www.bing.com/toolbox/submit-site-url, вводим адрес сайта, капчу, кнопку «Отправить» и всё!

Сервисы проверки индексации сайтов

В Рунете существует достаточно большое количество сервисов по массовой проверке индексации сайтов. О некоторых из них мы и поговорим.

Здесь можно сразу закинуть столбиком список сайтов, которые необходимо проверить на индексацию. Причем в списке могут быть как исключительно имена доменов (например, your-site.go), так и ссылки на какие-то конкретные документы (например, your-site.go/content/domashka/) – это не имеет значения, т.к. имена доменов сервис «вычленяет» автоматически.

Данный сервис умеет проверять индексацию в Google и Яндексе. Допускается до 250 проверок в сутки.

Если коротко, то сервис полностью аналогичен предыдущему, за двумя исключениями:

  • сервис проверяет индексацию «поштучно», т.е. за один заход можно проверить только один сайт;
  • можно проверить индексацию еще и в Bing’е.

Как ускорить индексацию сайта

Вряд ли у кого-то из вас возникнет вопрос «а зачем ускорять индексацию?», т.к. ответ на него и так очевиден: чтоб как можно быстрее предпринять все необходимые меры для завоевания всех топовых позиций по продвигаемым запросам.

Самое первое, что нужно сделать – добавить сайт в Ваши вебмастер-кабинеты от Google и Яндекса. Если этого не сделать, то сайт будет индексироваться очень медленно и очень редко, оставляя вебмастера наедине со своими пестами о покорении хотя бы ТОП-10.

Далее необходимо правильно настроить robots.txt, т.к. за одно посещение поисковый робот может отсканировать лишь определенное количество страниц. И будет очень обидно, если робот начнет сканировать страницы «технического» характера (например, страница регистрации на сайте, либо страница ввода логина-пароля), которым в индексе делать нечего. Чтоб этого не происходило, в файл robots.txt заносятся данные о том, какие страницы сканировать не нужно. О том, как составляется robots.txt, сейчас рассказывать не будем, т.к. у нас уже есть подробнейшая статья на эту тему.

Следующим этапом является настройка xml-карты сайта (sitemap.xml). Она содержит в себе список всех страниц, которые должны быть проиндексированы поисковыми системами. Также можно указать приоритет индексирования, и даже интервалы. Чем чаще будет обновляться карта сайта – тем выше вероятность того, что поисковый робот примет решение заходить на сайт почаще (а нам именно это и нужно, верно?).

Скорость работы сайта также может повлиять на индексацию, т.к. чем быстрее поисковый робот получает ответ на свой запрос – тем лучше, ибо если сказать роботу «у нас обед, приходите через час» — робот просто уйдет, причем надолго.

Ошибки в коде также могут повлиять на индексацию, только негативно. Поэтому крайне важно, чтоб ошибок в коде не было совсем, т.к. вместо кода 200 (а именно такой код отдается при правильной работе) поисковый робот может получить код, например, 404, либо другой, свидетельствующий об ошибке.

В большинстве случаев, описанных выше мер достаточно, чтоб сайт индексировался достаточно быстро.

Быстрая индексация сайта в Яндексе

Есть еще пара неочевидных способов ускорить индексацию нового сайта в Яндексе. Мы уже многократно упоминали о регистрации в вебмастер-кабинетах от Яндекса, Google, Bing и Mail.

В данных кабинетах можно получать статистику о переиндексации страниц, а также получать уведомления о тех или иных ошибках, связанных с работой сайта.

А вот теперь небольшой «лайфхак». В Яндекс.Вебмастере идем в «Индексирование» — «Переобход страниц» и указываем адрес только что созданной страницы. Да, мы не спорим, это не всегда срабатывает, т.к. поисковый робот Яндекса после уведомления действует на свое усмотрение и не всегда принимает решение о посещении этой страницы, но он о ней как минимум узнает. Поэтому мы рекомендуем пользоваться данным инструментом для ускорения индексация нового сайта или его страниц.

Индексация картинок сайта

В основном получение данной информации будет полезно в том случае, если Вы продвигаете, скажем, фотохостинг.

Важно отметить, что у Google, Bing и Яндекса текст и картинки индексируются разными роботами. Быстрее всего картинки индексируются Google’ом. Яндекс индексирует картинки гораздо медленнее по сравнению с Google, но гораздо быстрее по сравнению с Bing, причем последняя медленно индексирует только рунетовские сайты. Не доверяет?

Однако, есть один универсальный совет по оптимизации изображений – прописать в коде атрибуты alt=”” и title=”” для каждого изображения, т.к. они оба очень важны.

Если навести на картинку, то может «всплыть» поясняющая текстовая подсказка, чтобы пользователю было проще понять «куда смотреть и что видеть». Текст этой самой подсказки и прописывается в атрибуте title=””

Читайте также:  Sas controller pci e

Также бывают ситуации, когда изображение по каким-то причинам не загружается (может оно удалено, может в браузере отключена загрузка картинок – неважно). В этом случае вместо фотографии должен появиться текст, описывающий, что именно изображено на картинке, которая не загрузилась. Именно этот текст и прописывается в атрибуте alt=””.

Как узнать, сколько картинок проиндексировано поисковиком?

Ответ предельно прост: идем в интересующую нас поисковую систему, в поисковой строке вбиваем оператор site:, после двоеточия без пробела прописываете имя домена, подтверждаем запрос клавишей Enter, а затем переходим на вкладку «Изображения» или «Картинки» (в зависимости от поисковой системы). Вы увидите сами картинки, а также узнаете их точное количество.

Для Яндекса это будет выглядеть вот так:

А для Google – вот так

Вопросы

Как запретить индексацию сайта

Иногда возникает необходимость установить запрет на индексацию сайта. Причин на это может быть несколько – технические работы на сайте, либо тестируется новый дизайн, и т.д.

Способов сказать поисковым системам «не надо тут ничего индексировать» несколько.

Самый первый, самый популярный и самый простой – через файл robots.txt. Достаточно просто прописать вот этот код:

Теперь давайте разберем, что этот код означает.

User-agent – это директива, в которой указывается имя поискового робота, для которого сформирован список правил. Если в качестве имени указана звездочка – значит список актуален для всех поисковых роботов (кроме тех, для кого составлены индивидуальные списки правил). Если же указать вместо звездочки имя поискового робота, то список правил будет действовать именно для него:

Директива Disallow: предназначена для того, чтобы сообщить поисковым роботам, какие файлы/папки сканировать не нужно. В нашем случае одиночный слеш показывает, что запрещено индексировать весь сайт целиком.

Бывают и особые случаи, когда требуется закрыть индексацию для всех поисковых систем, кроме какой-то конкретной. В этом случае у нас будет 2 списка (один из которых приведен выше на скриншоте), а второй – индивидуальный список для какого-то конкретного робота. В данном случае – робота поисковой системы Яндекс.

С User-agent и Disallow разобрались, теперь разберемся с директивой Allow. Она является разрешающей директивой. Говоря простым языком, приведенный выше код файла robots.txt запрещает индексацию сайта всем поисковым системам, кроме Яндекса.

Да, мы не спорим, не смотря на запреты, поисковые системы все равно могут проиндексировать сайт. Однако, это бывает настолько редко, что даже статистической погрешностью можно назвать с большой натяжкой.

Второй способ – метатег robots. Для этого необходимо в код сайта добавить следующую строку:

META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”

ВАЖНО. Можно ее добавить таким образом, чтоб она прогружалась в код каждой страницы сайта без исключения, а можно добавить на какие-то отдельные страницы. Но в обоих случаях данный мета-тег должен быть размещен в области head html.

По сравнению с первым, второй способ является более сложным для массового запрета на индексацию, и более легким для точечного.

Третий способ – закрытие сайта через .htaccess

Способ тоже довольно простой – добавить в файл .htaccess следующий код:

Теперь поисковый робот не сможет без пароля получить доступ к сайту.

Это самый верный способ закрыть сайт от индексации, но появляется другая проблема – возникают сложности со сканированием сайта на наличие ошибок, т.к. не каждый парсер умеет авторизовываться.

Способ 4 представляет собой настройку заголовка ответа HTTP

Данный способ так же достаточно эффективен для точечного запрета на индексацию. Работает это следующим образом – вместе с кодом ответа сервера отдается еще и X-Robots-Tag заголовок с пометкой noindex. Получив такой «сопроводительный» ответ, поисковая система не будет индексировать данную страницу.

При необходимости можно отдавать несколько X-Robots-Tag заголовков. В данном случае их два noarchive и unavailable_after.

При необходимости можно перед директивой указывать еще и поискового робота, которому адресована директива, да и сами директивы можно писать через запятую. Например, вот так:

Ну и, конечно же, Вы уже и сами догадались, что при отсутствии имени юзер-агента команда будет выполняться всеми роботами. Т.е. директивы можно по-разному комбинировать для разных поисковых роботов.

Как открыть сайт для индексации

Ответ ранее уже прозвучал – с помощью директивы Allow (вспомните пример, когда с помощью robots.txt мы закрывали от индексации сайт для всех поисковых систем, кроме Яндекса).

Allow: / разрешает индексацию сайта, а Disallow: / запрещает.

Когда последний раз проходила индексация сайта

Посмотреть и историю обхода страниц поисковыми роботами Google достаточно просто. Для начала в поисковую строку вбивается оператор site:, после двоеточия без пробелов указывается имя Вашего домена, затем кликаем в «Инструменты» и выбрать в одном из столбцов подходящий период. Если выбрать «за последние 24 часа», то можно получить либо список станиц, которые были проиндексированы за последние 24 часа, либо получить «Ничего не найдено». Это значит, что за последние 24 часа переиндексации Вашего сайта не было.

В Яндексе же сделано все еще проще – вся необходимая информация и история доступна в Яндекс.Вебмастере:

Как добавить сайт на индексацию

Данная информация будет полезна всем, кто только что создал свой первый сайт, т.е. чем быстрее проиндексируется сайт – тем быстрее Вы получите свой первый поисковый трафик.

Добавление сайта в Google

Для начала переходим по ссылке http://www.google.com/addurl/?continue=/addurl, логинимся (при необходимости), вводим URL, проходим капчу (в данном случае – ставим галочку «Я не робот» и проходим 1-2 задания с картинками), и жмем «Отправить запрос».

Затем Вам будет выдано вот такое сообщение. Оно означает «ОК, сайт принят к сведенью, скоро мы туда заглянем».

Если с сайтом все в порядке, то индексация произойдет очень быстро.

Добавление сайта в Яндекс

Первым делом заходим на https://webmaster.yandex.ru/, регистрируемся, затем переходим в «Индексирование» — «Переобход страниц» и добавляем туда имя домена Вашего сайта. Всё.

Добавление сайта в Bing

Тут все еще проще – идём сюда http://www.bing.com/toolbox/submit-site-url, вводим имя домена, капчу, и все – готово! Регистрация при этом не требуется.

ВАЖНО. На данный момент продвигать в Bing русскоязычные сайты бессмысленно, в отличие от англоязычных. Это связано с тем, что в России крайне мало кто знает про поисковую систему Bing.

Добавление сайта в Поиск Mail.ru

Данная процедура тоже достаточно проста – переходим в кабинет вебмастера mail.ru по ссылке http://go.mail.ru/addurl, регистрируемся/логинимся, затем указываем имя домена сайта, вводим капчу и жмем «Добавить».

Затем на экран будет выведено вот такое сообщение:

Ссылка на основную публикацию
Adblock detector