Індексація сайту в пошукових системах – процес обробки веб-ресурсу та занесення відомостей, отриманих з нього, в спеціальну базу даних, програмами-роботами (далі – ботами). Вона необхідна для того, щоб користувачі могли легко знайти в Мережі ваш ресурс з яким-небудь пошуковим запитам. Якщо не вживати ніяких заходів по її проведенню, поліпшенню і прискоренню, ваш ресурс, швидше за все, так ніхто ніколи і не побачить. Але про все по порядку.
Навіщо потрібна індексація?
Індексація – дуже важливий процес на етапі розкручування сайту. Своєчасно виконана, вона дозволяє вирішити відразу кілька завдань:
- зайняти гідне місце в пошукових системах;
- залучити пошуковий трафік на ресурс;
- залучити партнерів для обміну посиланнями, а магазинам – клієнтів;
- поліпшити поведінковий фактор (працює, якщо контент на сайті по-справжньому корисний, а не складається з абракадабри);
Крім того, боти при індексації можуть виявити порушення правил діючих пошукачів і застосувати заходи. Наприклад, заблокувати ресурс або відправити його під фільтр, тим самим трохи знизивши конкуренцію в Мережі.
Якою вона може бути?
Індексація сайту в “Яндексі” або Google може бути здійснено двома різними способами:
Але яким би не був обраний метод, необхідно ще правильно підготувати сайт до індексації в пошукових системах. Про те, як це зробити, розповімо трохи нижче.
Як часто проходить обробка?
Індексація сайту в “Яндексі” і інших пошукових системах може займати аж до цілого місяця. Але цей термін можна значно скоротити, буквально до кількох годин. Для цього необхідно викладати на ресурс щодня хоча б по одній якісної статті та додавати посилання на них у аддурилку. Втім, цього буде достатньо лише в тому випадку, якщо ви провели всі необхідні роботи по поліпшенню і прискоренню свого порталу.
Які вимоги пред’являють пошуковики?
Щоб ресурс був проіндексований як можна швидше і ефективніше, він повинен відповідати наступним вимогам пошукачів:
- бути адаптованим до перегляду на мобільних телефонах і комп’ютерах;
- швидко завантажуватися (він повинен це робити буквально за 2 секунди або менше);
- мати грамотну перелінковку (посилання з однієї сторінки сайту на іншу);
- мати грамотну структуру (віддаленість кожної сторінки від головної – не більш ніж в 3 кліка);
- бути часто оновлюваним корисними для користувачів матеріалами.
Що стосується інтернет-магазинів, кожен товар в ньому повинен мати свою сторіночку, опис і фото. Непогано також буде де-небудь під описом розмістити блок посилань на схожі продукти (дуже корисно для поліпшення конверсії!).
Як підготувати сайт до індексації?
Зробити це можна шляхом його внутрішньої і зовнішньої оптимізації. Зокрема, необхідно зробити наступне:
Ще перед тим, як перевірити індексацію сайту “Яндексом”, потрібно прискорити завантаження ресурсу. Всі рекомендації по тому, що для цього можна зробити, варто дивитися на developers.google.com/speed/ або іншому аналогічному ресурсі.
Що ще потрібно зробити?
При створенні сайту також важливо відмовитися від використання flash-файлів (на них діють обмеження), непрацюючих внутрішніх посилань (їх слід періодично виявляти і усувати), зайвих блоків і відомостей. Всю другорядні віджети рекомендується перемістити до низу сторінки, а інформацію – заховати від ботів через Robots.txt шляхом прописування спеціальних тегів. І ще: викладати сайт на індексацію варто тільки після закінчення розробки і хоча б невеликого наповнення матеріалом (всі важливі сторінки + 20-30 унікальних і грамотних статей).
Чого робити точно не варто?
Деякі “розумні” веб-майстри вдаються до використання чорних і сірих інструментів SEO. Зокрема, вони закуповують тисячами посилання, накручують поведінкові фактори, розміщують гостьові статті і пости (Google за це зараз карає!), поширюють спам на форумах і чужих блогах з посиланнями на портал, розміщують невидимі посилання і ключові слова на сторінках свого сайту, автоматично створюють велику кількість відеороликів для його розкручування і роблять автоматичний обмін посиланнями. Якщо ви хочете, щоб ваш сайт довго жив і індексувався пошуковими системами, ніколи не робіть нічого з перерахованого вище. Інакше бана і потрапляння під фільтри не уникнути.
Як перевірити індексацію сайту “Яндексом”?
Найпростіший спосіб – зайти на сторінку пошуковика і ввести в віконечко запит виду site:site.ru, де site.ru – це адреса вашого домену. Якщо сторінки ресурсу є у видачі, вони будуть показані. Другий метод – зайти на сторінку https://webmaster.yandex.ru/ і перейти в розділ «Індексування сайту» – «Сторінки в пошуку». Тут ви зможете побачити, які сторінки були включені, а які виключені і чому. Перевірка через Google здійснюється аналогічним способом. Ще можна використовувати спеціальні онлайн-сервіси. Зараз їх дуже багато, перераховувати все просто не має сенсу.
Як прискорити обробку сайту ботами?
Якщо при перевірці індексації сайту ви побачили, що сторінок ресурсу все ще немає в пошукових системах, не переживайте. Обробку порталу ботами можна прискорити. Для цього досить виконати всі рекомендації, наведені вище. Плюс:
- додати тексти з посиланнями на ресурс каталоги статей (вибирайте перевірені!);
- залишити посилання на сервіси питань і відповідей (обережно, щоб не вважали за спам!);
- залишити коментарі в якісних блогах схожої тематики (вони не повинні бути покинутими!);
- залишити посилання на свій ресурс на популярному форумі (єдине «але» – ваш профіль повинен бути тут прокачен, інакше лінк видалять модератори);
- поставити наскрізну посилання з одного свого блогу на інший;
- використовувати сервіс «Переобход сторінок» від “Яндекса” (у ньому потрібно вказувати адреси тих сторінок, які, на вашу думку, повинні бути швидко проіндексовані ботами).
Крім того, для швидкої розкрутки сайту можна використовувати спеціальні сервіси. З усіх безкоштовних сьогодні кращим вважається SeoPult.
Можна заборонити обробку?
Іноді потрібно закрити сайт від індексації. Наприклад, при створенні або первинному наповненні. Звичайно, ми б не радили цього робити, так як після ресурс буде гірше індексуватися (вже перевірено!). Але якщо вам дуже сильно потрібно, знайте: зробити це можна через Robots.txt. У цьому файлі достатньо прописати таку інструкцію:
User-agent:
*Disallow: /
Відразу після цього всі пошуковики почнуть обходити ваш сайт стороною. І, до речі, для сайту на WordPress є ще одна можливість заборонити індексування – через панель управління. Потрібно зайти в Налаштування і поставити галочку навпроти пропозиції «Попросити пошукові системи…» як на картинці.
В якості висновку
Тепер ви знаєте, як прискорити, заборонити і перевірити індексацію сайту “Яндексом” безкоштовно. Однак якщо при всіх ваших спробах і старань вона або сповільнена, або не відбувається зовсім, зверніть увагу на наступне: чи все правильно прописано в sitemap.xml або robots.txt достатньо швидкою завантаження ресурсу, добре проглядається він на мобільних, не надто часто виникають помилки на сервісах. А також може бот потрапити на портал і доступна йому вся розміщена інформація. При виправлення подібних помилок все обов’язково налагодиться.
