Блог Дмитрия Худякова
Энциклопедия начинающих блоггеров

Как без особых проблем закрыть от индексации страницу сайта?

Друзья-товарищи, всем огромный привет! С вами на связи автор проекта «zametkibloggera.ru» — Дмитрий Худяков.

В данном материале, дорогие друзья, я хочу поведать вам о такой важной вещи, как индексация блога поисковыми системами.

Помнится, что однажды у нас с вами о ней речь уже заходила, но ничего, повторение, как говорится – мать учения. Вот здесь целая статья об этом.

Начнем с определения, которое я, опять же, выскажу своими словами. Итак, индексация – это сканирование блога поисковыми роботами Яндекс, Google и другими.

Сканируя ресурс, поисковый робот проходит по всем статьям и страницам опубликованным на нем, и заносит их к себе в поисковую базу данных.

А уже из этой поисковой базы данных ваши статьи и страницы попадают в выдачу этих самых поисковых систем. И после чего будут доступны для поиска.

В общем, коллеги, немного забегу вперед, и скажу, что к концу данного материала, если вы дочитаете его до конца, будете точно знать, как закрыть от индексации страницу, и самое главное, как сделать это правильно и корректно.

Данные рекомендации подойдут для таких движков как Вордпресс (WordPress), Joomla и так далее.

Как проходит сканирование новых страниц?

Когда вы пишите статью и выкладываете ее в интернет (публикуете), она не сразу появляется в поисковой выдаче.

Она, если можно так выразиться, некоторое время просто витает в бесконечном пространстве интернета, и кроме как напрямую, вбив адрес в строку браузера, а не через выдачу ПС, на нее не попасть. Почему?

Объясню! До тех пор, пока ваша статья не появится в базе данных поисковых систем, она не появится и в выдаче.

Поисковый робот той или иной ПС ежедневно сканирует интернет, в поисках новых статей и материалов. Проходит по различным ссылкам и так далее.

То есть каждый день открывает и заносит себе в выдачу новую информацию.

И если ваш блог не зарегистрирован в инструментах для веб мастеров, таких популярных систем как Yandex и Google, то ваша статья может очень долго витать в бесконечных просторах интернета, так и не попав в выдачу.

Кстати о том, как зарегистрироваться в инструментах для веб мастеров я обязательно в ближайшее время напишу на блог отдельную статью. Подпишитесь, чтобы ничего не пропустить.

Те сайты и блоги, которые зарегистрированы в данных инструментах, их материал намного быстрее попадет в поисковую выдачу. Каким образом?

Так как адрес вашего блога имеется в базе ПС, то она с определенной периодичностью заходит на него, в поисках новых постов, и, находя таковые, заносит себе в базу, а затем они появляются в выдаче.

Присваивает вам определенную позицию. Не пугайтесь, в топ ваша статья попадет на сразу, должно пройти определенное время. Какое, я сказать не могу!

Как узнать проиндексирована ли статья роботами Yandex и Google?

Для того чтобы узнать проиндексирован ваш пост или нет, заходим в поисковую систему, я для примера возьму Yandex, и в кавычках вводим адрес статьи.

И жмем кнопку «Найти». Если ПС выдает вам результат, значит, данный пост она проиндексировала.

Если же в выдаче ничего нет, то поста в ее базе соответственно тоже нет. Ждем! Так же можно проверить и главную страницу, но она, как правило, в индекс попадает в первую очередь.

Вообще все ваши опубликованные статьи должны залетать в индекс ПС моментально! Вот как этого можно добиться.

Индексация необходима еще и потому, что вашу статью, грубо говоря, могут украсть, и вставить на тот блог, где индексация проходит быстрее.

И в результате, после сканирования вашего блога, робот посчитает, что вы украли эту статью, и может наложить на вас санкции. И ничего вы не докажете! Обидно!

Не волнуйтесь, если на вашем новеньком сайте плохая индексация. С новыми сайтами и блогами всегда такая картина. Просто продолжайте писать качественные статьи, и все будет ОК!

Для улучшения индексации посты в блог нужно писать регулярно. Лично я выкладываю новый контент каждый день. А если долго не будете публиковать новый материал, то скорость сканирования новых постов заметно снизится.

Факторы, улучшающие индексацию

  • Карта сайта

Данная вещь очень помогает в улучшении индексации, так как адрес каждой новой статьи будет попадать в нее в виде ссылки, и поисковики быстрее будут находить такой контент и забирать себе в базу данных.

Так как при обращении к блогу они в первую очередь обращаются к подобным файлам. Кстати, в будущем я обязательно напишу отдельный пост о том, как создать на блоге карту.

  • Перелинковка на блоге так же улучшает индексацию

Публикуя новый материал, обязательно ставьте на него пару-тройку ссылок с предыдущих статей. И об этом (о правильной перелинковке) я тоже в ближайшее время напишу отдельный пост. Не пропустите!

  • Обязательно делайте анонсы ваших постов в соцсетях, таких как twitter, вконтакте и так далее.

А так же на сервисе «Subscribe.ru», и анонсируйте посты в схожие с вашей тематикой группы.

  • Очень сильно влияет на индексацию правильно настроенный файл «robots.txt». О нем на блоге есть отдельная статья, советую почитать.

Кстати, зачастую бывают случаи, когда некоторую часть статьи, или аудио и видео материал, необходимо закрыть от индексации.

Для этого заключайте этот фрагмент или файл в тег – <noindex>. Но говорят, что данный тег работает только с Yandexом. Не знаю правда ли это!

Как закрыть от индексации страницу сайта

Мы с вами, как пользователи ресурсов в сети интернет можем самостоятельно управлять поисковыми роботами, пришедшими к нам в гости.

Как гиды водить их туда, куда можно и нужно, и скрывать от их любопытных глаз те места, куда им лучше не лезть.

Интересно, не правда ли? Лично мне очень! И поэтому в недавнем прошлом я вплотную занялся этим вопросом!

Теперь я сам управляю поисковыми роботами, зашедшими ко мне на блог и самостоятельно вожу их по лабиринтам своей обители.

Давайте, не сильно углубляясь в дебри, узнаем, как закрыть от индексации страницу на вашем сайте.

Наверняка вы слышали о файле «robots.txt». Не слышали? Тогда скорее знакомьтесь с ним!

Так вот, в общих чертах – с помощью это файла и специальных директив, то есть команд, мы можем управлять роботом, пришедшим к нам на проект.

Можем направлять его в любые части нашего сайта, и скрывать от него не только страницы и ссылки, но даже целые каталоги. И уж поверьте мне, он туда не полезет.

Давайте сейчас узнаем об одном простом, но достаточно эффективном способе сокрытия от индексации поисковыми роботами отдельной страницы нашего блога.

Какие страницы мы будем запрещать к индексации? Допустим, от поискового робота мы хотим скрыть страницу, название которой выглядит вот так: «poiskovie-roboti».

Для этого, открываем файл «robots.txt», найти его можно в корневом каталоге ресурса, и добавляем в него следующие строки:

User-agent: *

Disallow: /poiskovie-roboti.html

Вот и все! Дойдя до этой строки, робот поймет, что индексировать данную страницу не нужно, и она не будет занесена в его базу данных. Что на нее наложен запрет. Робот просто пройдет мимо.

Да, друзья, все настолько банально и просто. Пара простых кликов мышью и ваша статья навсегда останется недоступна для поисковых систем.

Рекомендую

Товарищи, а хотите ли вы, обучиться созданию 2d графики для своих видеороликов, и тем самым поднять их качество и красоту на новый уровень?

Благодаря 2d графике ваши ролики будут врезаться в память людей и моментально становиться хитами. Ну ни об этом ли каждый из нас мечтает?

Но как добиться высоких результатов, если ты в 2d совершенно ничего не смыслишь и слышишь о ней впервые? Не беда, друзья, даже такую казалось бы безнадежную ситуацию можно легко исправить. Как? Отвечаю.

С помощью одного эффективного курса, который научит вас всем азам программы After Efects, и покажет вам как по шагам создавать шикарные видеоролики, которым не будет равных в интернете.

Ну а в будущем, с этими знаниями вы можете легко пойти на фриланс, и рубить там бабло как сумасшедший. Все подробности о курсе — вот здесь.

Друзья, на этом у меня все! Материал подошел к концу. Не забывайте о том, что прямо сейчас вы можете подписаться на новостную рассылку проекта совершенно бесплатно, и конечно же делитесь статьей в сетях социальных со своими друзьями и подписчиками.

Ну а для вопросов, касательно данного материала, вы всегда можете воспользоваться формой для комментариев ниже.

До скорого, друзья! Берегите себя, и успехов вам в блогосфере!

С уважением Дмитрий Худяков!

1 звезда2 звезды3 звезды4 звезды5 звезд (Нет голосов)
Загрузка...
Этот блог читают 4 578 человек, присоединяйся и ты
Оставить коментарий
:p :-p 8) 8-) :lol: =( :( :-( :8 ;) ;-) :(( :o: