Crawlability و Indexability وب سایت چیست؟
اولین چیزی که در مورد سئو و رتبه بندی یک وب سایت در گوگل به ذهنتان می رسد چیست؟
محتوا ؟ یا بک لینک؟
قبول دارم، هر دو، عوامل مهمی برای تاثیرگذاری بر موقعیت وب سایت در نتایج جستجو هستند. اما آنها تنها عوامل تاثیرگذار نیستند!
در حقیقت، دو عامل دیگر نقش قابل توجهی در سئو بازی می کنند:
قابلیت خزیدن یا crawlability و قابلیت ایندکس شدن یا Indexability. با این حال، برخی از صاحبان وب سایت هرگز آنها را نشنیده اند!
در عین حال، حتی مشکلاتی کوچک در indexability یا crawlability می تواند رتبه بندی های سایت شما را پایین بیاورد و این مسئله به اینکه چقدر محتوایی عالی دارید و یا چه تعداد backlinks داشته باشید، ربطی ندارد.
Crawlability و Indexability یعنی چه؟
برای درک این عبارات، ابتدا بیایید نگاهی به نحوه ای که موتورهای جستجو یک صفحه را کشف و ایندکس می کنند، بیاندازیم. برای شناختن هر صفحه جدید (یا به روزرسانی)، آنها از چیزی تحت عنوان خزنده وب یا crawlers استفاده می کنند، که هدف آنها از دنبال کردن لینک ها در وب تنها یک چیز است:
برای پیدا کردن و ایندکس کردن یا فهرست کردن محتوای وب جدید.
به توضیح گوگل:
“خزنده ها به صفحات وب نگاه کرده و پیوندهای آن صفحات را دنبال می کنند، دقیقاً همان کاری که شما هنگام مرور یک محتوا انجام می دهید. آنها از یک لینک به لینک دیگر رفته و اطلاعاتی مربوط به آن صفحات وب به سرورهای گوگل می دهند. ”
به طور خلاصه، هر دوی این اصطلاحات به توانایی یک موتور جستجو برای دسترسی و فهرست کردن صفحات یک وب سایت مربوط شده تا آنها را به فهرست خود اضافه کند.
Crawlability توانایی یک موتور جستجو را برای دسترسی و خزیدن یک محتوا در یک صفحه توصیف می کند.
اگر یک سایت هیچ مشکلی در زمینه خزیدن نداشته باشد ، خزنده های وب می توانند به راحتی از طریق پیوندهای بین صفحات به تمام محتوای آن سایت دسترسی پیدا کنند.
با این حال، لینک های شکسته یا خراب یا بم بست ها می توانند منجر به مشکلات Crawlability شوند – یعنی ناتوانی موتور جستجو در دسترسی به محتوای خاص درون یک سایت.
از سوی دیگر، Indexability به توانایی موتور جستجو در تجزیه و تحلیل و اضافه کردن یک صفحه به لیست خود، اشاره دارد.
حتی اگر گوگل بتواند یک سایت را crawl کند، ممکن است لزوما قادر به ایندکس کردن تمام صفحات آن نباشد، به طور معمول به علت مشکلاتِ Indexability چنین موضوعی پیش خواهد آمد.
چه چیزی روی Crawlability و Indexability تاثیر می گذارد؟
- ساختار سایت
ساختار اطلاعاتی یک وبسایت نقش مهمی در قابلیت خزیده شدن آن دارد.
به عنوان مثال، اگر سایت شما صفحاتی دارد که از هیچ جای دیگری به آنها لینک نشده، خزانه های وب ممکن است در دسترسی به آنها به دردسر افتند.
مطمئنا، آنها باز هم می توانند از طریق لینک های خارجی آن صفحات را پیدا کنند، شاید به طریقی مثل زمانی که فردی به مطالب آنها به عنوان رفرنس اشاره کند. اما در کل، یک ساختار ضعیف می تواند باعث مشکلات مربوط به crawlability شود.
- ساختار پیوندهای داخلی
یک خزنده وب از طریق فالوو کردن لینک ها، همانطوری که شما در شرایط مشابه رفتار می کردید، درون سایت می چرخد و در نتیجه، تنها می تواند صفحاتی را پیدا کند که شما از طریق سایر محتواهای خود پیوند(لینک) می دهید.
بنابراین، یک ساختار پیوندهای داخلی خوب ، به خزنده این امکان را می دهد تا به سرعت به صفحاتی که در اعماق سایت شما وجود دارند نیز، دسترسی پیدا کند. ساختار ضعیف، با این حال، ممکن است خزنده را به یک بم بست هدایت کند، در نتیجه خزنده برخی از محتواهای شما را از دست خواهد داد.
- ریدایرکت های پیچیده
تغییر مسیرهای صفحات شکسته، یک خزنده وب را در مسیرش متوقف می کنند و منجر به مشکلات crawlability می شوند.
- خطاهای سرور
به طور مشابه، ریدایرکت های سرور خراب(broken server redirects) و سایر مشکلات مربوط به سرور ممکن است مانع دسترسی خزنده های وب به تمام محتوای شما شوند.
- اسکریپت های پشتیبانی نشده و سایر عوامل فناوری
مشکلات خزیده شدن، همچنین ممکن است، نتیجه ی استفاده از یک فناوری خاصی که در سایت استفاده می کنید بوجود آمده باشد. به عنوان مثال، از آنجایی که خزنده ها نمی توانند فرمها را فالوو یا دنبال کنند، قرار دادن محتوا در پشت یک فرم(درون یک فرم)، منجر به مسائل crawlability خواهد شد.
اسکریپت های مختلف مانند JavaScript یا Ajax نیز می توانند خزیده شدن محتوا را مسدود کنند.
- مسدود کردن دسترسی خزنده وب سایت
در نهایت، شما می توانید عمداً از خزنده سایت را مسدود کنید تا صفحات شما را crawl نکند.
و دلایل خوبی هم می تواند برای انجام این کار وجود داشته باشد.
به عنوان مثال، ممکن است شما یک صفحه ای ایجاد کرده باشید که بخواهید دسترسی عمومی به آن را محدود کنید. و به عنوان بخشی از این ممانعت، شما باید آن را برای موتورهای جستجو نیز مسدود کنید.
با این وجود، ممکن است به اشتباه، دیگر صفحات را نیز مسدود کنید. به عنوان مثال، یک اشتباه ساده در کدها، می تواند تمام بخش های سایت را مسدود کند.
چگونه می توان فرایند خزیدن و رتبه بندی یک وب سایت را ساده تر کرد؟
کمی قبل تر عواملی در سایت شما را که می توانند باعث مشکلات crawlability یا Indexability شوند، ذکر کردیم. بنابراین، به عنوان اولین قدم، باید اطمینان حاصل کنید که آنها اتفاق نمی افتند.
اما موارد دیگری نیز وجود دارند که می توانید انجام دهید تا مطمئن شوید که خزنده های وب به راحتی می توانند صفحات شما را فهرست کرده و به آن دسترسی داشته باشند.
- ارسال نقشه سایت به گوگل
نقشه سایت(Sitemap) فایل کوچکی است که در پوشه روت دامنه ی شما قرار دارد و دارای پیوندی مستقیم به هر صفحه ای درون سایت شما است و آنها را از طریق گوگل کنسول به موتور جستجو تحویل می دهد.
Sitemap به گوگل در مورد محتوایتان اطلاع داده و به آن هنگام هر گونه آپدیتی هشدار می دهد.
- تقویت لینک های داخلی
ما قبلا در مورد چگونگی تاثیرگذاری پیوند دادن داخلی بر قابلیت crawlability صحبت کردیم. به همان شکل، برای افزایش احتمال اینکه خزنده گوگل تمام محتوای سایت شما را پیدا کند، ارتباط بین صفحات را بهبود بخشیده تا اطمینان حاصل کنید که تمام محتوای سایتتان درگیر شده است.
- به طور منظم محتوایتان را به روزرسانی کرده و مطالب جدید اضافه کنید.
تولید محتوا مهمترین بخش سایت شماست. باعث جذب بازدید کنندگان می شود، از این طریق می توانید کسب و کار خود را به آنها معرفی کنید و آنها را به مشتری تبدیل کنید.
اما محتوا به شما کمک می کند تا قابلیت خزیده شدن سایت خود را نیز بهبود بخشید. برای نمونه، خزنده ها از سایت هایی بازدید می کنند که بیشتر محتوایشان را به روز می کنند. و این بدان معنا است که فرایند خزیدن و ایندکس شدن صفحه شما خیلی سریعتر انجام خواهد شد.
- از تکرار یا کپی کردن هر گونه مطلب دوری کنید.
داشتن محتوای تکراری یا duplicate، صفحاتی که دارای محتوای مشابه یا بسیار مشابه هستند، می توانند رتبه خود را از دست بدهند.
اما محتوای تکراری می تواند مدت زمان خزیده شدن سایت شما را نیز کاهش دهد.
بنابراین، هر گونه محتوای تکراری را در سایت تان بررسی و رفع کنید.
- زمان بارگذاری صفحه خود را افزایش دهید.
خزنده های وب به طور معمول فقط دارای یک مدت زمان محدودی هستند که می توانند عمل خزیدن و ایندکس کردن سایت شما را انجام دهند. این به عنوان “بودجه خزیدن” شناخته شده است. و اساساً، زمانی که این مدت بیشتر باشد سایت شما را ترک خواهند کرد.
بنابراین، هرچه صفحات شما سریعتر بارگذاری شوند، تعداد بیشتری از آنها توسط یک خزنده می توانند بازدید شوند.
ابزارهای مدیریت crawlability و Indexability
اگر تمام موارد فوق ترسناک به نظر می رسند، نگران نباشید. ابزارهایی وجود دارند که می توانند به شما در شناسایی و رفع مشکلات crawlability و indexability کمک کنند.
Log File Analyzer
Log File Analyzer به شما نشان می دهد که ربات های دسکتاپ و تلفن همراه گوگل چگونه سایت شما را می خزند، و هر گونه خطایی برای تعمیر و بودجه ای برای صرفه جویی را به شما نشان می دهد. همه کاری که باید انجام دهید این است که فایل access.log وبسایت خود را آپلود کنید و اجازه دهید این ابزار کارش را انجام دهد.
یک access.log لیستی از تمام درخواست هایی است که افراد یا رباتها به سایت شما ارسال کرده اند تحلیل یک فایل access.log به اجازه می دهد تا رفتار ربات خزنده را ردیابی و درک کنید.
Site Audit
Site Audit بخشی از مجموعه SEMrush است که سلامت وب سایت شما را بررسی می کند. سایت خود را برای خطاها و مسائل مختلف، از جمله مواردی که بر قابلیت crawlability و Indexability وب سایتتان تاثیر می گذارند، اسکن کنید.
ابزارهای گوگل
کنسول جستجوی گوگل به شما در نظارت و نگهداری سایت تان در گوگل کمک می کند. این ابزار فضایی است برای ارائه نقشه سایت تان(sitemap) و به علاوه میزان پوشش دهی وب سایت را برای موتور های جستجو نشان می دهد.
PageSpeed گوگل نیز به شما اجازه می دهد تا فوراًسرعت بارگذاری صفحه وب سایت را بررسی کنید.
نتیجه
اکثر وب مسترها می دانند که برای کسب رتبه بندیِ یک سایت، حداقل نیاز به محتوای باکیفیت و لینک هایی قوی و مرتبط دارند که قدرت وب سایت آنها را افزایش دهد.
چیزی که آنها نمی دانند این است که اگر خزنده های موتورهای جستجو قادر به خزیدن و ایندکس کردن سایت شان نباشند، تلاش های آنها بیهوده بوده است.
به همین دلیل، جدا از تمرکز بر اضافه کردن و بهینه سازی صفحات برای کلمات کلیدی مرتبط و ایجاد بک لینک، باید به طور مداوم نظارت کنید که آیا خزنده های وب می توانند به سایت شما دسترسی پیدا کرده و آنچه را که پیدا کردند به موتور جستجو برسانند یا خیر.
اگر بدنبال یادگیری و آموزش سئو سایت هستید بهترین کار مرجعه به وب سایت ویرلن virlan.co است.
