بودجه خزش سایت چیست و چگونه آن را افزایش دهیم؟
بودجه خزش یا کرال باجت یعنی تعداد صفحاتی که در یک بازه زمانی مشخص توسط ربات های گوگل خزیده و ایندکس میشود. بودجه خزش از جمله مواردی است که برخی از سئوکاران تازه کار درباره آن اطلاعاتی ندارند و برخی ها نیز نمیدانند که باید نگران آن باشند یا نباشند. اکثر سئوکاران حرفه ای میدانند که کرال کردن یک صفحه ممکن است روزها یا هفته ها طول بکشد، که این اتفاق میتواند بر روی سئو سایت تاثیر منفی بگذارد.
شاید برای شما هم پیش آمده است که یک مقاله را منتشر یا بروزرسانی کرده باشید، ولی هر چقدر منتظر می مانید، خبری از ایندکس شدن آن صفحه نیست. در این مواقع باید به فکر بهینه کردن بودجه خزش سایت خود باشید. ما در این مقاله سئو موشک ابتدا توضیح خواهیم داد که کرال باجت چیست؟ چه تاثیری در سئو سایت دارد و چگونه میتوانید، بودجه خزش سایت را افزایش دهید.
بودجه خزش (Crawl Budget) چیست؟
به تعداد صفحاتی که خزنده های گوگل در یک بازه زمانی مشخص ( مثلا در یک روز) آنها را کرال یا ایندکس میکند، بودجه خزش میگویند. تعداد این صفحات میتواند در روزهای مختلف تغییر کند. گاهی ممکن است ربات ها 30 صفحه را کرال کنند و روز بعد 50 صفحه یا حتی روزی به 1000 صفحه هم برسد.
گوگل هر چقدر قوی و بزرگ باشد، باز هم منابع محدودی دارد، روزانه میلیون ها صفحه ایجاد یا بروزرسانی میشوند و همچنین هزاران سایت جدید راه اندازی میشوند که سایت های جدید نیز، روزانه چندین صفحه منتشر یا بروز میکنند.
گوگل تمام تلاش خود را میکند که این صفحات را کرال کند، ولی واقعا زورش نمیرسد. بنابراین برای هر کدام از سایت ها با توجه به فاکتورهای خود، یک بودجه خزش در نظر میگیرد و با توجه به این بودجه صفحات یک سایت «مثلا در یک روز» خزیده میشود. هر چقدر یک سایت معیارهای مد نظر گوگل را رعایت کرده باشد، میتواند بودجه خزش خوبی داشته باشد.
نکته: میزان نرخ خزش یک سایت به وسعت یا بزرگ بودن آن، تعداد لینک ها، هاست میزبان، با کیفیت بودن محتوا، بهینه بودن سایت و تعداد خطاهایی که گوگل را با مشکل روبرو میکند، بستگی دارد.
نظر گوگل در مورد Crawl Budget
با توجه به نظریه خود گوگل، موتورهای جستجو به تمام صفحات وب سایت ها دسترسی دارند و برای بدست آوردن نتایج مناسب آنها را میخزند و محتوای هر صفحه را تجزیه و تحلیل کرده و ذخیره میکنند، تا وقتی که کاربر عبارتی را جستجو میکند، بتواند از صفحات که ایندکس کرده، بهترین نتیجه را به آنها نمایش دهد.
گوگل اعلام کرده مدیران وب سایت ها یا سئو کارها نباید بابت بودجه خزش سایت خود نگران باشند، چرا که خود گوگل آن را مدیریت میکند و تعیین میزان بودجه در اختیار آنها نیست. در هر صورت هر فردی دوست دارد صفحاتی که بروزرسانی یا منتشر میکند، سریعا کرال و ایندکس شده تا در نتایج دیده شود.
معمولا سایت هایی گه زیاد بزرگ نیستند، مشکلی با بودجه خزش ندارند، به خصوص وب سایت هایی که زیر 10 هزار صفحه هستند، اصلا لازم نیست بابت این موضوع نگران باشند. اما در وب سایت های بزرگ مثل فروشگاهی، برای ربات های گوگل اولویت بندی صفحات برای اینکه چه محتوایی در چه بازه زمانی کرال شود، اهمیت دارد.
اهمیت بودجه خزش یا کرال باجت در سئو
اصل و اساس سئو سایت بر ایندکس شدن صفحات در گوگل استوار است. اگر صفحات یک سایت توسط ربات های گوگل کرال و ایندکس نشود، نمیتواند در نتایج گوگل دیده شود که در نتیجه، سئو سایت بی فایده خواهد بود. برای همین بودجه خزش سایت اهمیت پیدا میکند و گوگل تعداد صفحاتی که قرار است در یک بازه زمانی بخزد را مشخص میکند.
بنابراین اگر هر سایتی نتواند کرال باجت سایت را با توجه به مقیاسی که دارد، بدست بیاورد، ممکن است تعدادی از صفحات برای مدتی کرال و ایندکس نشوند، که در این مواقع دچار کاهش بودجه خزش سایت میشود.
البته برای اکثر سایت ها جای نگرانی بابت بودجه خزش نیست، چرا که خود گوگل به خوبی میتواند صفحات بروزرسانی شده و جدید را تشخیص داده و ایندکس کند. معمولا گوگل سایت های زیر 10 هزار صفحه را به خوبی کرال و ایندکس میکند، ولی در شرایط زیر باید نگران نرخ خزش سایت خود باشید:
- اگر سایت شما بزرگ است: اگر سایتی دارید که بیش از 10 هزار صفحه دارد، ممکن است گوگل در پیدا و کرال کردن صفحات آن با مشکل روبرو شود.
- بخش جدیدی با صدها صفحه اظافه کرده اید: اگر اخیرا قسمت جدیدی با صفحات بسیار زیادی به سایت خود اظافه کرده اید، ممکن است کرال باجت فعلی سایت شما جوابگو نباشد و با کاهش بودجه مواجه شوید.
- صفحات ریدایرکت شده زیادی دارید: صفحات ریدایرکت شده زیاد میتواند مثل خوره بودجه خزش را بخورد و آن را هدر دهد.
بودجه خزش چگونه مشخص میشود؟
برای هر سایت کرال باجت متفاوت است و به صورت خودکار توسط گوگل تعیین میشود. برای تعیین بودجه خزش، موتورهای جستجو عوامل مختلفی را در نظر میگیرند. در ادامه به مهترین عواملی که گوگل برای تعیین کرال باجت یک سایت در نظر میگیرد، میپردازیم.
- وسعت سایت: هر چقدر سایت بزرگ تر باشد، بودجه بیشتری برای خزیدن نیاز دارد.
- سرعت سایت: هر چقدر سرعت سایت بیشتر باشد و سریعتر بتواند به درخواست های ربات گوگل پاسخ دهد، بودجه خزش بیشتری خواهد داشت.
- به روز بودن صفحات: گوگل صفحاتی را که به روز میشوند، بیشتر میخزد و در مقابل صفحاتی که محتوای قدیمی و بی کیفیت دارند از خزیدن آنها صرف نظر میکند.
- لینک ها: لینک سازی اصولی و ارزشمند میتواند در تعیین کرال باجت تاثیر گذار باشد.
- نداشتن باگ یا خطا: اگر یک سایت هر گونه باگ یا تعداد خطاهای زیادی داشته باشد، باعث هدر رفتن نرخ خزش میشود.
روش های افزایش (بهینه سازی) بودجه خزش سایت
بهینه سازی بودجه خزش یعنی اقداماتی انجام دهیم که هیچ بودجه ای، بی خودی هدر نرود. معمولا سایت فروشگاهی که بزرگ هستند، باید نگران این موضوع باشند. اگر شما هم با کسری نرخ خزش مواجه هستید، میتوانید با انجام دادن نکاتی که در ادامه بیان میکنیم، از هدر رفتن بودجه خزش سایت خود جلوگیری کنید تا صفحات ارزشمند شما سریعتر کرال و ایندکس شوند.
1- افزایش سرعت سایت:
بالا بودن سرعت سایت نه تنها باعث افزایش تجربه کاربری میشود، بلکه کرال باجت سایت را هم بالا میبرد. هر چقدر سرعت صفحات وبسایت پایین باشد، زمان خزیدن ربات های گوگل به هدر میرود، بنابراین صفحات کمتری را میخزد.
2- لینک سازی داخلی و خارجی:
صفحاتی که لینک های داخلی و خارجی بیشتر و ارزشمندی دارند در اولویت خزنده های گوگل هستند. صفحاتی که هیچ لینک داخلی ندارند یتیم هستند و خزنده های گوگل زمان زیادی صرف می کنند تا این صفحات را پیدا کند.
اگر میخواهید بوجه خزش سایت خود را بالا ببرید، نباید صفحه یتیم داشته باشد. سعی کنید، حداقل هر صفحه یک لینک داخلی و خارجی داشته باشد تا ربات گوگل بتواند توسط آن به صفحه وارد شود.
3- ساختار مناسب سایت:
هنگامی که ساختار صفحات سایت به صورت اصولی ایجاد شود و به هم مرتبط باشند، اگر یک صفحه ای نزد گوگل به اعتبار و شهرت برسد به سایر صفحات منتقل میکند، که در نتیجه کرال باجت را افزایش میدهد.
4- محتوای تکراری:
گوگل محتوای تکراری را نمیپسندد و دوست ندارد منابع خود را در صفحاتی که محتوای بی کیفیت دارند به هدر بدهد. بنابراین سعی کنید به هیچ عنوان محتوای تکراری در سایت قرار ندهید و اگر هم دارید آنها را اصلاح یا حذف کنید.
5- لینک های شکسته:
لینک دادن به صفحاتی که وجود ندارند یا به هر دلیلی الان آن صفحات نیستند، لینک های شکسته میگویند. لینک های شکسته باعث میشود که ربات های گوگل به بن بست برسند و زمان بودجه خزش هدر برود، بنابراین سعی کنید تا حد امکان لینک های شکسته را کاهش دهید.
6- قرار دادن urlهای اشتباه در سایت مپ:
گوگل به کمک سایت مپ به وبسایت شما دسترسی دارد. اگر نقشه سایت پر از url های ریدایرکت شده یا شکسته باشد، گوگل بودجه سایت را صرف خزیدن آنها میکند. بهتر است صفحات بی ارزش و ریدایرکت های 5xx ،3xx و 4xx را در سایت مپ قرار ندهید.
7- صفحات غیر قابل ایندکس:
معمولا هر وب سایتی صفحاتی دارد که قابل ایندکس شدن نیست. اگر صفحاتی بی ارزش و غیر قابل ایندکس دارید و در دسترس گوگل هستند، باعث میشود که بودجه سایت صرف صفحات بی ارزش شود و کرال باجت شما از بین برود. صفحاتی که دستور العمل noindex دارند یا صفحاتی که با خطاهای سرور مانند: 5xx ،3xx و 4xx مواجه شده اند، غیر قابل ایندکس هستند.
اگر میخواهید سرعت ایندکس شدن صفحات سایت خود را افزایش دهید، پیشنهاد میکنیم مقاله ایندکس گوگل چیست را مطالعه فرمایید.
8- ساختار مناسب فیلتر محصولات در url:
معمولا در سایتهای فروشگاهی از پارامترهایی مثل:
https://www.example.com/toys/cars?color=green
برای فیلتر کردن محصولات استفاده میشود. مثلا برای یک نوع گوشی با رنگ های متفاوت از این فیلترها (Url) استفاده میشود که خیلی هم خوب هستند، ولی باید این URL ها را از دسترس گوگل خارج کنید، تا ربات ها بیخودی آنها را نخزند.
با کمک فایل robots.txt میتوانید به گوگل بگویید که این صفحات را کرال نکنند. همچنین میتوانید ویژگی نوفالو به این گونه لینک های فیلتر شده اظافه کنید.
8- انتشار رپورتاژآگهی:
سایت های قدرتمند مخصوصا وبسایت های خبری، روزانه بازدیدهای بسیار زیادی دارند و ربات های گوگل اکثرا در این نوع از سایت ها وجود دارد. با منتشر کردن رپورتاژ و ایجاد بک لینک میتوانید خزنده های گوگل را از طریق لینک ها به سمت صفحات سایت خود هدایت کنید.
نتیجه گیری:
بودجه خزش یعنی تعداد صفحاتی که در یک بازه زمانی مشخص شده، توسط خزنده های گوگل خزیده و ایندکس میشود. گوگل با توجه به پارامترهای خود مانند: بزرگی سایت، سرعت بالا، بهینه بودن سایت، نداشتن خطاها و موارد دیگر، به یک سایت بودجه تخصیص میدهد. اگر به هر دلیلی که در بالا بیان کردیم، یک سایت با کاهش بودجه مواجه شود، در سئو تاثیر منفی خواهد گذاشت.
با نداشتن محتوای تکراری، لینک سازی های اصولی و ارزشمند، ساختار مناسب سایت، نداشتن خطا، نداشتن لینک های شکسته، ایجاد نقشه سایت، حذف صفحات بی ارزش و موارد دیگر میتوانید کرال باجت را افزایش دهید.
دیدگاهتان را بنویسید