Semalt: Што такое Googlebot?



  1. Увядзенне
  2. Што такое Googlebot?
  3. Чаму трэба турбавацца аб Googlebot?
  4. Чаму Googlebot не скануе ўсе старонкі на некаторых сайтах?
  5. Як аптымізаваць свой сайт, каб максімальна павялічыць бюджэт Googlebot
  6. Выснова

Увядзенне

Ці ведаеце вы, як Google знаходзіць рэсурсы для вашага пошуку? Як шырока распаўсюджана меркаванне, Google не з'яўляецца дасведчаным духам, які ведае, што такое кожны кантэнт у Інтэрнэце. Гэта не нейкі экстрасэнс, які ведае, дзе дакладны адказ на ваша пытанне.

Як і любая іншая пошукавая сістэма, у яе ёсць праграмнае забеспячэнне, якое кожную секунду поўзае па мільярдах старонак (і сайтаў); атрымаць каштоўнасць зместу і яго тэму. Так што, калі праводзіцца пошук, адказ выцягваецца з гэтых старонак - нешта накшталт бібліятэкі.


Гэта вельмі падобна на SEO, і гэта таму, што тут шмат да чаго. Пры эфектыўнай аптымізацыі сайта Google хутка бачыць сайт, чытае яго старонкі і ўсплывае, калі ў пошукавіку праводзяцца адпаведныя пошукі.

Але гэта адбываецца не для ўсіх старонак сайта, якія складаюць некаторыя старонкі нябачны да свету. Чаму так адбываецца? І што можна зрабіць супраць гэтага (асабліва для вельмі важных старонак)? Вось кіраўніцтва, якое падрабязна апісвае сканер вэб -сайтаў Google (Googlebot), чаму ён не скануе дастаткова старонак і як уладальнік вэб -сайта можа выкарыстоўваць аптымізацыю вэб -сайтаў і SEO для максімальнага сканавання бюджэту Googlebot.

Што такое Googlebot?



Павук! Гусенічны! Гэта папулярныя імёны, дадзеныя Googlebot. Гэта таму, што гэта так працуе. Праграма створана для сканавання і прагляду мільярдных старонак вэб -сайтаў, апублікаваных для публікі.

Правільна - калі вэб -сайт застаецца прыватным, Googlebot проста не можа сканаваць яго старонкі, нагадаем, што павук не экстрасэнс. Ён проста пераходзіць па спасылках на старонкі (з адной старонкі на іншую), а затым працягвае апрацоўку дадзеных. Пасля гэтага інфармацыя збіраецца ў індэкс (лёгка запомніць як бібліятэку або краму Goggle).

Дзякуючы наяўнасці гэтага праграмнага забеспячэння Google можа збіраць і назапашваць інфармацыю на суму больш за мільён гігабайт (ГБ) менш чым за секунду (добра - цяпер гэта чараўніцтва). Затым з гэтага рэгулярна абнаўлянага індэкса Google выцягвае рэсурсы для кожнага пошуку ў Інтэрнэце як на працоўным стале, так і на мабільнай прыладзе.

Чаму варта паглядзець на Googlebot?

Сканіраванне Googlebot звязана з SEO (аптымізацыяй пошукавых сістэм). Уся сутнасць павука заключаецца ў зборы інфармацыі са старонак сайта, каб пры пошуках па звязаных тэмах ён мог адлюстроўваць старонку як адзін з вынікаў пошуку ў Інтэрнэце. Такім чынам, калі Googlebot пастаянна скануе большую частку старонак сайта, будзе павялічвацца бачнасць, што прывядзе да павелічэння наведвальнасці сайта на такой старонцы (што з'яўляецца адной з мэтаў, праўда?).

Выкарыстоўвайце гэтую ілюстрацыю:

У X ёсць вэб -сайт са старонкай па тэме: прафесійны SEO для вэб -сайтаў. І Y шукае SEO для вэб -сайтаў. Калі б Googlebot прабраўся па старонцы X па SEO і праіндэксаваў яе, гэта стане адным з вынікаў, якія з'явяцца ў выніках пошуку Google. Тое ж самае магло б адбыцца і з іншымі адпаведнымі пошукамі, нават калі гэта адбываецца сто разоў на дзень ва ўсім свеце.

Звярніце ўвагу, што ў гэтым ёсць і іншыя падкрэсліваючыя фактары, такія як добрая структура вэб -сайта, адноснасць, хуткі час загрузкі сайта. Але толькі а SEO эксперт можа дапамагчы гарантаваць, што яны зроблены належным чынам і што старонка сайта з'яўляецца на першай старонцы вынікаў пошуку Google.


Чаму Googlebot не скануе ўсе старонкі на некаторых сайтах?

Падчас адной з гадзінных сустрэч у офісе SEO кампаніі Google было зададзена пытанне, чаму Googlebot не сканаваў дастаткова старонак на некаторых сайтах. На вэб -серверы публічна публікуецца больш за сотні мільярдаў старонак. Людзі кожны дзень публікуюць новую старонку на серверы, што азначае, што Googlebot індэксуе больш старонак. Аднак часам бот не спраўджвае чаканняў; гэта; назапасіць больш за мільён ГБ інфармацыі менш чым за секунду. Ёсць некалькі прычын, чаму гэта магло адбыцца.

Па -першае, магчыма, што ў інтэрнэце занадта шмат зместу, старонак і вэб -сайтаў для індэксавання. Некаторыя з іх маюць нізкую якасць, іншыя маюць павольную хуткасць загрузкі сайтаў, а астатнія могуць мець непатрэбны змест са складанай структурай сайта (або што -небудзь іншае, што супярэчыць добраму карыстальніцкаму досведу). Вось чаму Google стварыла стратэгію індэксавання толькі якасных вэб-старонак і выключэння старонак больш нізкай якасці. Такім чынам, старонкі можна адфільтраваць і паменшыць (замест індэксацыі ўсіх старонак у Інтэрнэце - як каштоўных, так і не каштоўных).

Але вышэйсказанае не дае поўнага адказу на пытанне: Чаму Googlebot не скануе ўсе сайты? Хутчэй цікавіць пытанне, чаму Googlebot не скануе ўсе старонкі (ці дастаткова старонак) на сайце. І на гэта ёсць два адказы. Доўгі адказ і кароткі адказ:

Кароткі адказ

Google надае пэўную колькасць рэсурсаў і часу для сканавання кожнага сайта ў дзень. Гэта называецца бюджэтам сканавання сайта. Такім чынам, бот робіць сваю працу па сканаванні і індэксацыі ў межах гэтага бюджэту. Такім чынам, для вэб -сайта з больш чым дзесяццю тысячамі старонак не ўсе старонкі будуць індэксаваны.

Аднак у гэтым ёсць яшчэ нешта, што прыводзіць нас да доўгага адказу:

Доўгі адказ


Бюджэт сканавання - гэта тое, што вызначае колькасць старонак, якія Googlebot можа сканаваць і індэксаваць для кожнага сайта кожны дзень. Але, як ужо згадвалася раней, у гэтым ёсць значна больш. Некаторыя фактары вызначаюць тэмп павука падчас праходжання кожнага сайта ў межах бюджэту сканавання. Мае сэнс? Гэта азначае, што хоць бюджэт стварыў ліміт, некаторыя фактары могуць паскорыць або запаволіць тэмп бота. Яны ўключаюць у сябе:
  1. Павольны сервер: Калі час адказу для сервера значна малы, гэта можа змяніць хуткасць, з якой бот праходзіць кожную старонку ў межах бюджэту сканавання. Уладальнікі вэб -сайтаў могуць праверыць гэта ў сваім справаздачы аб статыстыцы сканавання. Рэкамендуецца, што ўсё, што перавышае 300 мілісекунд, не з'яўляецца добрым часам водгуку.
  2. Хост сервера вэб -сайтаў: Калі вэб -сайт размешчаны на агульным серверы, гэта можа запаволіць хуткасць, з якой кожная старонка раздаецца Google падчас сканавання. Гэта таму, што іншыя сайты на тым жа серверы могуць запаволіць яго выкарыстанне вялікіх рэсурсаў. Яшчэ горш, калі адзін і той жа сервер размяшчае мноства сайтаў.
  3. Ружовыя боты: Гэта іншыя боты, якія могуць перашкодзіць, заблакаваць або запаволіць дзеянні Googlebot. Яны могуць быць розных формаў, а часам вэб -сайту патрэбна прафесійная дапамога для кіравання і кантролю над дзеяннямі гэтых ботаў.
  4. Прагляднасць вэб -сайта: Гэта аб'ём доступу сканера да ўсіх старонак вэб -сайта. Калі праграмнае забеспячэнне мае лёгкі доступ да змесціва сайта, многія старонкі будуць сканавацца і індэксавацца ў межах бюджэту сканавання.

Як аптымізаваць свой сайт, каб павялічыць бюджэт Googlebot


У папярэднім раздзеле мы абмяркоўвалі фактары, якія вызначаюць, наколькі хутка (ці як павольна) Googlebot скануе старонку. Але чалавек не можа зрабіць больш, каб максімальна павялічыць колькасць старонак, якія бот поўзае ў межах бюджэту. Коратка, вось некалькі рэчаў, якія ўладальнік вэб -сайта можа зрабіць, каб максімальна павялічыць колькасць старонак, якія Googlebot скануе і індэксуе ў межах бюджэту сканавання ў дзень.
  1. Распрацуйце карту сайта: Гэта адна з рэчаў, якія можна зрабіць, каб дапамагчы Googlebot хутчэй сканаваць сайт. Карту сайта можна ўсталяваць, стварыць з генератара карты сайта або стварыць з нуля.
  2. Інвестуйце ў арганізацыю сайта: Гэта звязана са структурай вэб -сайта і класіфікацыяй старонак на сайце. Калі сайт пабудаваны так, што наведвальнікі могуць лёгка зразумець і арыентавацца на сваім шляху, існуе вялікая верагоднасць, што Googlebot будзе лёгка пралезці.
  3. Аптымізацыя сайта: Гэта падсумоўвае ўсе пункты, згаданыя вышэй. Калі вэб -сайт пастаянна аптымізуецца (правільны шлях), інтэрфейс вэб -сайта будзе правільна структураваны і створана карта сайта. Іншыя рэчы ўключаюць кантроль над фактарамі, якія блакуюць сканаванне (напрыклад, robots.txt), аптымізацыю загалоўкаў, чытальнасць зместу, каштоўнасць зместу і многае іншае. Правільная аптымізацыя вэб -сайта дапаможа Googlebot хутчэй сканаваць старонкі такога сайта.

Выснова

Googlebot можна разглядаць як маленькага інтэрнэт -робата, які працуе ў Google. Ён ідзе вакол атрымання старонак з вэб -сервера праз спасылкі на вэб -сайты. Затым ён праглядае кожную старонку і дадае яе ў калекцыю індэксаванай інфармацыі. Аднак з -за некалькіх фактараў і зменных бот не можа сканаваць усе старонкі кожнага сайта (на самай справе часам гэтага недастаткова). І з усіх згаданых фактараў і рашэнняў самае простае рашэнне - наняць прафесійную кампанію Семальт што можа зрабіць усё неабходнае правільным чынам і ў патрэбны час, каб гарантаваць, што важныя старонкі вашага вэб -сайта будуць прасканаваныя і індэксаваны - калі не ўсе старонкі.

send email