crawl errors چیست؟ آموزش کامل

crawl errors چیست؟ آموزش کامل

crawl errors یا خطاهای خزنده هنگامی رخ می دهد که یک موتور جستجو تلاش می کند تا به یک صفحه در وب سایت شما دسترسی پیدا کند اما با شکست مواجه می شود. بگذارید ابتدا به این بحث بپردازیم که اصلا crawling چیست. Crawling به پروسه ای گفته می شود که یک موتور جستجو سعی می کند توسط یک ربات از وب سایت شما بازدید و آن را بررسی کند. این ربات های تمامی صفحات سایت شما را کرال می کنند (یا به اصطلاح در آن ها می خزند) و محتوای صفحات را برای استفاده ایندکس کنند، به علاوه، تمام پیوندهای موجود در این صفحات را به صفحاتی که هنوز هم برای خزیدن وجود دارند، اضافه می کند. هدف اصلی شما به عنوان مدیر سایت این است که مطمئن شوید ربات موتور جستجو میتواند به تمام صفحات سایت دسترسی پیدا کند. با شکستن این فرایند، آنچه crawl error یا خطاهای خزنده می نامیم اتفاق می افتد.

وظیفه شما این است که مطمئن شوید تمامی لینک های موجود در صفحات وب سایت تان به یک صفحه واقعی هدایت شوند. حتی اگر از ریدایرکت 301 استفاده کرده باشید، صفحه ی آخر باید به صفحه ای واقعی هدایت شود.

با ما در این سری از مقالات آموزش سئو ، مطلب crawl errors چیست همراه باشید.

گوگل خطاهای خزنده را به دو نوع تقسیم می کند:

  • خطاهای سایت یا Site errors: هیچ کسی نمیخواهد این نوع خطا را درمورد سایت خود مشاهده کند، چون به معنی این است که سایت شما به صورت کامل قابل خزیدن توسط ربات ها نیست.
  • خطاهای آدرس های اینترنتی یا URL errors: حتی این مدل را هم کسی تمایل به مشاهده آن ندارد، اما از آنجایی که تنها مربوط به یک آدرس اینترنتی خاص هستند، رفع آن ها آسان تر است.

خب بیاید درمورد این دو مدل بیشتر توضیح بدیم.

Site errors یا خطاهای سایت

خطاهای سایت شامل تمامی خطاهایی است که باعث جلوگیری از دسترسی ربات های خزنده موتور جستجو به سایت شما می شود. این میتواند دلایل متفاوتی داشته باشد، که به رایج ترین آن ها می پردازیم:

  • خطاهای دی ان اس یا DNS Errors: این بدین معناست که موتور جستجو نمیتواند با سرور شما ارتباط برقرار کند. ممکن است غیرفعال باشد، به عنوان مثال، به این معناست که سایت شما قابل بازدید کردن نیست. این مشکل معمولا دائمی نیست. گوگل بعدتر به سایت شما برگشته و بهرحال دوباره در آن میخزد و ایندکس می کند. اگر شما چنین خطایی را در کنسول جستجوی گوگل خود مشاهده کردید، به این معناست که گوگل چند باری سایت شما را چک کرده و موفق به بازدید از آن نشده است.
  • خطاهای سرور یا Server errors: اگر کنسول جستجوی شما خطاهای سرور را به شما نمایش داد، به این معناست که ربات توانایی دسترسی به سایت شما را نداشته است. موتور جستجو سعی کرده است که از سایت شما بازدید کند، اما زمان بسیار طولانی سپری شده به همین خاطر گوگل این خطا را به شما نمایش داده است. هم چنین ممکن است به دلیل وجود خطاهایی در کدنویسی صفحات سایت تان، باعث جلوگیری از بارگذاری سایت تان شود. یا شاید به دلیل بازدید بالای سایت تان سرور نتوانسته است تمامی درخواست ها را قبول کند.
  • شکست روبات ها یا Robots failure: قبل از خزیدن، ربات های گوگل ابتدا فایل robots.txt را نیز بررسی می کند، که شاید قسمت هایی از سایت تان باشد که شما تمایلی به ایندکس شدن شان نداشته باشید. اگر ربات نتواند به این فایل دسترسی داشته باشد، گوگل خزیدن و ایندکس صفحات شما را به بعد موکول می کند، پس مطمئن شوید که این فایل همیشه در دسترس است.

این ها توضیحات خلاصه ای در رابطه با خطاهای سایت بودند. حالا بیاید به بررسی دلایل خطاهای صفحات مشخص بپردازیم.

خطاهای آدرس های اینترنتی یا URL errors

همان طور که بالاتر گفتیم، خطاهای آدرس های اینترنتی یا URL errors زمانی مشاهده می شود که ربات های گوگل در دسترسی به یک صفحه خاص از سایت شما ناتوان باشند. ما خطاهای آدرس های اینترنتی را به صفحات 404 مثال میزنیم. باید از طریق کنسول جستجوی سایت تان در گوگل یا بینگ یا یاندکس پیگیر این صفحات و خطاها باشید و آن ها را برطرف کنید. اگر محتوای مشابه در صفحه ای دیگر دارید از ریدایرکت 301 استفاده کنید. مطمئن شوید که نقشه سایت تان نیز بروز باشند.

متوجه شدیم بسیاری از این خطاهای آدرس در کنسول وبمسترز در اثر لینک های داخلی بوجود آمده اند. بنابراین بسیاری از این خطاها تقصیر شما هستند. اگر یکی از صفحات و یا محتوای سایت تان را حذف می کنید، تمامی لینک هایی که به آن داده شده است را نیز حذف کنید، این لینک ها دیگر استفاده ای ندارند. اگر این لینک ها به همان شکل باقی بمانند، ربات های خزنده آن ها را پیدا کرده و فالو میکنند، و سپس با یک صفحه 404 مواجه می شوند. باید هر چه زودتر به این لینک های داخلی برسید.

هم چنین در بین این خطاها نیز ممکن است خطای سرور و یا خطای DNS نیز برای آن آدرس مورد نظر وجود داشته باشد. بعدتر دوباره این صفحات را چک کنید و مطمئن شوید که این خطاها برطرف شده باشند. حتما از fetch as Google برای مارک کردن خطاها به عنوان برطرف شده استفاده کنید (اگر طرز کار کردن با این ابزار را یاد ندارید روی لینک آن کلیک کنید).

خطاهای خاص آدرس های اینترنتی

برخی از خطاهای آدرس های اینترنتی هستند که فقط برای سایت های خاص استفاده می شوند وجود دارد. به همین دلیل مایلم این موارد را به طور جداگانه فهرست کنم:

  • خطاهای مخصوص موبایل یا Mobile-specific URL errors. این مدل خطا مربوط به خطاهایی است که برای خزنده بر روی یک گوشی هوشمند استفاق می افتد. اگر سایت شما ریسپانسیو باشد، احتمال دیدن چنین خطایی بسیار کم است.
  • خطاهای ویروس یا Malware errors. اگر در کنسول سایت تان در گوگل یا… خطای ویروس (Malware errors) مواجه شدید به این معناست که موتور جستجوی مورد نظر در این صفحه یک مورد مشکوک پیدا کرده است. باید این صفحه را بررسی کنید و مورد مشکوک به ویروس را از بین ببرید.

خطاهای خزنده سایت تان را رفع کنید

اگر با خطایی در کنسول سایت تان مواجه شدید حتما آن ها را برطرف کنید. از حالا یکی از عادت های شما باید چک کردن برای خطاهای موجود در سایت تان و برطرف کردن آن ها باشد. اگر افزونه Yoast SEO premium را بر روی سایت تان نصب کرده باشید، میتوانید به راحتی این موارد را بطرف کنید.

به این مطلب رای بدید
[تعداد آرا : 1 میانگین : 5]

شما اینجا هستید : خانه » بلاگ » crawl errors چیست؟ آموزش کامل

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *