Программирование и создание сайтов в Москве
+7 (3362) 54-14-75
ГлавнаяНовости интернетИнтернет − Борьба с дублями, настройка robots.txt и ряд других вопросов

Борьба с дублями, настройка robots.txt и ряд других вопросов

27.12.2013 10:18

Внутренняя оптимизация сайта отнюдь не закачивается на проблеме оптимизации структуры ресурса. Ведь существует еще масса причин, по которым поисковик может понизить в выдаче тот или иной портал. Рассмотрим же какие дополнительные настройки необходимы для максимальной эффективности продвижения ресурса в Топ. Вот здесь на http://seoretik.ru/, кстати, более развернуто об оптимизации.

Настройка robots.txt.

Непосредственно этому вопросу посвящен целый раздел на Справке Яндекса, предназначенной для вебмастеров. Если говорить в двух словах, то robots.txt – это файл, который задает директивы действия поисковым роботам. Роботов, как и директив не так уж и мало, и для каждой программы поисковика можно задать то или иное правило поведения.

Более подробно вопрос использования файла robots.txt и его настроек рассматривается на странице Яндекс.Справки http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml.

Следует так же знать, что кроме основных страниц, рекомендованных к блокировке для доступа поискового робота, следует скрыть для индексации и материалы, которые являются служебными для той или иной CMS. Иными словами, необходимо закрыть от индексации все страницы, на которых нет осмысленного контента для людей.

Кстати, если вы думаете добавить в специальную форму для индексации новый ресурс без хотя бы минимальной настройки robots.txt, то вы сильно рискуете. Поисковик, увидев неоптимизированную структуру сайта, по всей видимости, предположит, что индексировать необходимо все страницы, даже динамически меняющиеся. Ввиду этого велик риск попадания под различные фильтры, а что еще хуже получения бана.

Дубли страниц

Процесс удаления дублей страниц поднадоел немалому числу даже опытных веб-мастеров. Однако без этой процедуры, ресурс не будет правильным образом восприниматься поисковиком. Вероятность появления дублей у различных CMS разная, но вот Joomla в этом плане постоянно подкидывает новые сюрпризы.

Для начала удаления дублей следует определиться, будете ли вы использовать www перед доменом или же обойдетесь более короткой записью. Собственно после конкретного выбора вам следует удалить все страницы, которые являются копиями оригиналов.

Чтобы удалить дубль необходимо поставить на месте материала редирект под номером 404, а так же прописать в настройках robots.txt запрет на индексацию данной страницы.

Что лучше: Выделенный или общий IP?

До сих пор некоторые начинающие веб-мастера считают, что соседство на одном ip собственного качественного проекта с различными сателлитами воспринимается поисковиком не лучшим образом.

Однако, если подумать логически, что владельцами сайтов, расположенных на одной ip в жизни являются разные люди. Соответственно, и их подход и цели к созданию ресурсов являются разным. Разумеется, подобное соседство не должно оказывать сколь либо негативного или позитивного воздействия. Что собственно и подтверждается практикой.

Дизайн и внутренняя оптимизация.

Хороший и понятный для обывателя дизайн это непременно + тому или иному сайту. Однако есть мнение, что даже хорошие дизайны доступные в паблике и использующиеся большим количеством веб-мастеров не произведут должного эффекта по сравнению с полностью уникальным оформлением.

На самом деле влияние дизайна не столь уж и велико, однако, если некий шаблон многократно применялся в дизайне большого числа сателлитов, дорвеев, или же просто мусорных ресурсов, вероятно, что поисковик может сформировать алгоритм, который будет несколько занижать сайты использующие подобное оформление.

И все-таки, данное мнение нельзя назвать единогласным, ибо по большей части хорошим считается тот дизайн, который понятен большинству пользователей.