Semalt: Што такое Googlebot?
- Увядзенне
- Што такое Googlebot?
- Чаму трэба турбавацца аб Googlebot?
- Чаму Googlebot не скануе ўсе старонкі на некаторых сайтах?
- Як аптымізаваць свой сайт, каб максімальна павялічыць бюджэт Googlebot
- Выснова
Увядзенне
Ці ведаеце вы, як Google знаходзіць рэсурсы для вашага пошуку? Як шырока распаўсюджана меркаванне, Google не з'яўляецца дасведчаным духам, які ведае, што такое кожны кантэнт у Інтэрнэце. Гэта не нейкі экстрасэнс, які ведае, дзе дакладны адказ на ваша пытанне.
Як і любая іншая пошукавая сістэма, у яе ёсць праграмнае забеспячэнне, якое кожную секунду поўзае па мільярдах старонак (і сайтаў); атрымаць каштоўнасць зместу і яго тэму. Так што, калі праводзіцца пошук, адказ выцягваецца з гэтых старонак - нешта накшталт бібліятэкі.
Гэта вельмі падобна на SEO, і гэта таму, што тут шмат да чаго. Пры эфектыўнай аптымізацыі сайта Google хутка бачыць сайт, чытае яго старонкі і ўсплывае, калі ў пошукавіку праводзяцца адпаведныя пошукі.
Але гэта адбываецца не для ўсіх старонак сайта, якія складаюць некаторыя старонкі нябачны да свету. Чаму так адбываецца? І што можна зрабіць супраць гэтага (асабліва для вельмі важных старонак)? Вось кіраўніцтва, якое падрабязна апісвае сканер вэб -сайтаў Google (Googlebot), чаму ён не скануе дастаткова старонак і як уладальнік вэб -сайта можа выкарыстоўваць аптымізацыю вэб -сайтаў і SEO для максімальнага сканавання бюджэту Googlebot.
Што такое Googlebot?
Павук! Гусенічны! Гэта папулярныя імёны, дадзеныя Googlebot. Гэта таму, што гэта так працуе. Праграма створана для сканавання і прагляду мільярдных старонак вэб -сайтаў, апублікаваных для публікі.
Правільна - калі вэб -сайт застаецца прыватным, Googlebot проста не можа сканаваць яго старонкі, нагадаем, што павук не экстрасэнс. Ён проста пераходзіць па спасылках на старонкі (з адной старонкі на іншую), а затым працягвае апрацоўку дадзеных. Пасля гэтага інфармацыя збіраецца ў індэкс (лёгка запомніць як бібліятэку або краму Goggle).
Дзякуючы наяўнасці гэтага праграмнага забеспячэння Google можа збіраць і назапашваць інфармацыю на суму больш за мільён гігабайт (ГБ) менш чым за секунду (добра - цяпер гэта чараўніцтва). Затым з гэтага рэгулярна абнаўлянага індэкса Google выцягвае рэсурсы для кожнага пошуку ў Інтэрнэце як на працоўным стале, так і на мабільнай прыладзе.
Чаму варта паглядзець на Googlebot?
Сканіраванне Googlebot звязана з SEO (аптымізацыяй пошукавых сістэм). Уся сутнасць павука заключаецца ў зборы інфармацыі са старонак сайта, каб пры пошуках па звязаных тэмах ён мог адлюстроўваць старонку як адзін з вынікаў пошуку ў Інтэрнэце. Такім чынам, калі Googlebot пастаянна скануе большую частку старонак сайта, будзе павялічвацца бачнасць, што прывядзе да павелічэння наведвальнасці сайта на такой старонцы (што з'яўляецца адной з мэтаў, праўда?).
Выкарыстоўвайце гэтую ілюстрацыю:
У X ёсць вэб -сайт са старонкай па тэме: прафесійны SEO для вэб -сайтаў. І Y шукае SEO для вэб -сайтаў. Калі б Googlebot прабраўся па старонцы X па SEO і праіндэксаваў яе, гэта стане адным з вынікаў, якія з'явяцца ў выніках пошуку Google. Тое ж самае магло б адбыцца і з іншымі адпаведнымі пошукамі, нават калі гэта адбываецца сто разоў на дзень ва ўсім свеце.
Звярніце ўвагу, што ў гэтым ёсць і іншыя падкрэсліваючыя фактары, такія як добрая структура вэб -сайта, адноснасць, хуткі час загрузкі сайта. Але толькі а SEO эксперт можа дапамагчы гарантаваць, што яны зроблены належным чынам і што старонка сайта з'яўляецца на першай старонцы вынікаў пошуку Google.
Чаму Googlebot не скануе ўсе старонкі на некаторых сайтах?
Падчас адной з гадзінных сустрэч у офісе SEO кампаніі Google было зададзена пытанне, чаму Googlebot не сканаваў дастаткова старонак на некаторых сайтах. На вэб -серверы публічна публікуецца больш за сотні мільярдаў старонак. Людзі кожны дзень публікуюць новую старонку на серверы, што азначае, што Googlebot індэксуе больш старонак. Аднак часам бот не спраўджвае чаканняў; гэта; назапасіць больш за мільён ГБ інфармацыі менш чым за секунду. Ёсць некалькі прычын, чаму гэта магло адбыцца.
Па -першае, магчыма, што ў інтэрнэце занадта шмат зместу, старонак і вэб -сайтаў для індэксавання. Некаторыя з іх маюць нізкую якасць, іншыя маюць павольную хуткасць загрузкі сайтаў, а астатнія могуць мець непатрэбны змест са складанай структурай сайта (або што -небудзь іншае, што супярэчыць добраму карыстальніцкаму досведу). Вось чаму Google стварыла стратэгію індэксавання толькі якасных вэб-старонак і выключэння старонак больш нізкай якасці. Такім чынам, старонкі можна адфільтраваць і паменшыць (замест індэксацыі ўсіх старонак у Інтэрнэце - як каштоўных, так і не каштоўных).
Але вышэйсказанае не дае поўнага адказу на пытанне: Чаму Googlebot не скануе ўсе сайты? Хутчэй цікавіць пытанне, чаму Googlebot не скануе ўсе старонкі (ці дастаткова старонак) на сайце. І на гэта ёсць два адказы. Доўгі адказ і кароткі адказ:
Кароткі адказ
Google надае пэўную колькасць рэсурсаў і часу для сканавання кожнага сайта ў дзень. Гэта называецца бюджэтам сканавання сайта. Такім чынам, бот робіць сваю працу па сканаванні і індэксацыі ў межах гэтага бюджэту. Такім чынам, для вэб -сайта з больш чым дзесяццю тысячамі старонак не ўсе старонкі будуць індэксаваны.
Аднак у гэтым ёсць яшчэ нешта, што прыводзіць нас да доўгага адказу:
Доўгі адказ
Бюджэт сканавання - гэта тое, што вызначае колькасць старонак, якія Googlebot можа сканаваць і індэксаваць для кожнага сайта кожны дзень. Але, як ужо згадвалася раней, у гэтым ёсць значна больш. Некаторыя фактары вызначаюць тэмп павука падчас праходжання кожнага сайта ў межах бюджэту сканавання. Мае сэнс? Гэта азначае, што хоць бюджэт стварыў ліміт, некаторыя фактары могуць паскорыць або запаволіць тэмп бота. Яны ўключаюць у сябе:
- Павольны сервер: Калі час адказу для сервера значна малы, гэта можа змяніць хуткасць, з якой бот праходзіць кожную старонку ў межах бюджэту сканавання. Уладальнікі вэб -сайтаў могуць праверыць гэта ў сваім справаздачы аб статыстыцы сканавання. Рэкамендуецца, што ўсё, што перавышае 300 мілісекунд, не з'яўляецца добрым часам водгуку.
- Хост сервера вэб -сайтаў: Калі вэб -сайт размешчаны на агульным серверы, гэта можа запаволіць хуткасць, з якой кожная старонка раздаецца Google падчас сканавання. Гэта таму, што іншыя сайты на тым жа серверы могуць запаволіць яго выкарыстанне вялікіх рэсурсаў. Яшчэ горш, калі адзін і той жа сервер размяшчае мноства сайтаў.
- Ружовыя боты: Гэта іншыя боты, якія могуць перашкодзіць, заблакаваць або запаволіць дзеянні Googlebot. Яны могуць быць розных формаў, а часам вэб -сайту патрэбна прафесійная дапамога для кіравання і кантролю над дзеяннямі гэтых ботаў.
- Прагляднасць вэб -сайта: Гэта аб'ём доступу сканера да ўсіх старонак вэб -сайта. Калі праграмнае забеспячэнне мае лёгкі доступ да змесціва сайта, многія старонкі будуць сканавацца і індэксавацца ў межах бюджэту сканавання.
Як аптымізаваць свой сайт, каб павялічыць бюджэт Googlebot
У папярэднім раздзеле мы абмяркоўвалі фактары, якія вызначаюць, наколькі хутка (ці як павольна) Googlebot скануе старонку. Але чалавек не можа зрабіць больш, каб максімальна павялічыць колькасць старонак, якія бот поўзае ў межах бюджэту. Коратка, вось некалькі рэчаў, якія ўладальнік вэб -сайта можа зрабіць, каб максімальна павялічыць колькасць старонак, якія Googlebot скануе і індэксуе ў межах бюджэту сканавання ў дзень.
- Распрацуйце карту сайта: Гэта адна з рэчаў, якія можна зрабіць, каб дапамагчы Googlebot хутчэй сканаваць сайт. Карту сайта можна ўсталяваць, стварыць з генератара карты сайта або стварыць з нуля.
- Інвестуйце ў арганізацыю сайта: Гэта звязана са структурай вэб -сайта і класіфікацыяй старонак на сайце. Калі сайт пабудаваны так, што наведвальнікі могуць лёгка зразумець і арыентавацца на сваім шляху, існуе вялікая верагоднасць, што Googlebot будзе лёгка пралезці.
- Аптымізацыя сайта: Гэта падсумоўвае ўсе пункты, згаданыя вышэй. Калі вэб -сайт пастаянна аптымізуецца (правільны шлях), інтэрфейс вэб -сайта будзе правільна структураваны і створана карта сайта. Іншыя рэчы ўключаюць кантроль над фактарамі, якія блакуюць сканаванне (напрыклад, robots.txt), аптымізацыю загалоўкаў, чытальнасць зместу, каштоўнасць зместу і многае іншае. Правільная аптымізацыя вэб -сайта дапаможа Googlebot хутчэй сканаваць старонкі такога сайта.
Выснова
Googlebot можна разглядаць як маленькага інтэрнэт -робата, які працуе ў Google. Ён ідзе вакол атрымання старонак з вэб -сервера праз спасылкі на вэб -сайты. Затым ён праглядае кожную старонку і дадае яе ў калекцыю індэксаванай інфармацыі. Аднак з -за некалькіх фактараў і зменных бот не можа сканаваць усе старонкі кожнага сайта (на самай справе часам гэтага недастаткова). І з усіх згаданых фактараў і рашэнняў самае простае рашэнне - наняць прафесійную кампанію Семальт што можа зрабіць усё неабходнае правільным чынам і ў патрэбны час, каб гарантаваць, што важныя старонкі вашага вэб -сайта будуць прасканаваныя і індэксаваны - калі не ўсе старонкі.