چگونه ارور های وب مستر گوگل را از بین ببریم؟

نوشته های مشابه

پکیج کامل و جامع آموزش طراحی وب

طراحی سایت روان چیست؟

Responsive Design در طراحی سایت

شاید برای شما هم اتفاق افتاده باشد که در گوگل وبمستر تولز (Google webmaster Tools) که سایتتان را ثبت کردید در قسمت یو آر ال ارورز (URL Errors) با ارورهایی روبه رو شوید. ما در این بخش سعی داریم به شما آموزش دهیم که چگونه این ارورها را برطرف کنید و مشکلاتی که سایتتان را تهدید می کند از بین ببرید. پس از بررسی امکان جدید بخش خطا یاب ( Crawl error ) ابزار وبمستر گوگل در تورتک بسیاری از کاربران درخواست نوشتن آموزشی برای رفع خطای سایت خود در ابزار وبمستر گوگل را ارسال کردند که در این آموزش سعی می‌کنیم با چگونگی رفع خطای نمایش داده شده در این ابزار آشنا شویم. توجه داشته باشید با رفع خطا سایت خود در بخش Crawl Error سرویس Google Webmaster سئو سایت شما تا حد زیادی بهبود می‌یابد به این دلیل که تقریباً تمامی مشکلات موجود در راه خزنده گوگل بر طرف شده و دیگر بازدید کنندگان سایت شما با صفحات خطا در سایت شما روبرو نخواهند شد.آشنایی با Crawl Errors در ابزار وبمستر گوگلبرای تصحیح خطا شناسایی شده توسط ربات خزنده گوگل در سایت خود باید با بخش مختلف ابزار Crawl Errors که به تازگی دست خوش تغییراتی شده است آشنا شویم تا با مشاهده خطا در دسته بندی موجود در این ابزار بهترین راه کار رفع آن را تشخیص دهیم و از این طریق سایت خود را برای موتور جستجوگر گوگل بهینه سازی و سئو کنیم. برای دسترسی به این بخش پس از مراجعه به Google Webmaster Tools و انتخاب سایت خود از لیست سایت‌هایی که به این سرویس اضافه کرده‌ایم از کافی است از منوی سمت چپ تصویر گزینه Health و سپس Crawl Errors را انتخاب کنیم.در تصویر بالا نیز مشاهده می‌کنید این قسمت از ابزار وبمستر گوگل به دو بخش Site Errors و URL Errors تقسیم شده است که هر یک از آن‌ها نیز زبانه های متفاوتی را در خود دارند. در چند هفته گذشته گوگل رویداد این بخش را به ایمیل وبمسترهای عضو Google Webmaster Tools ارسال می‌کند.همان‌طور که مشاهده می‌کنید دلیل خطا (در این نمونه فایل Robots.txt) و درصد تعداد دفعات روبرو شدن با آن نسبت به کل مرور انجام شده در این نامه درج شده است و راهنمایی‌های خوبی هم برای رفع مشکل ارائه شده است. اما در هر صورت اگر نمی‌دانید مشکل از کجا است و چگونه آن را حل کنید بهتر است به ادامه این آموزش دقت کنید.بررسی زبانه موجود در بخش Site Errorsقسمت خطاهای سایت (Site Errors) نمایش دهنده مشکلات دسترسی به سایت شما توسط خزنده گوگل و یا کاربران در بازه زمانی متفاوت است. با توجه به این موضوع وجود هر گونه خطایی در این بخش می‌تواند نشان دهنده در دسترس نبودن سایت شما در روزهای گذشته باشد و در صورت تکرار این مشکلات به احتمال زیاد سایت شما از طرف الگوریتم رتبه بندی گوگل جریمه شده و ممکن است رتبه سایت شما به مقدار قابل توجهی برای کلمات کلیدی هدف سایت کاهش یابد. در قسمت Site Errors سه زبانه مختلف نمایش داده می‌شود که در زیر با هر یک از آن‌ها و چگونگی رفع مشکل در صورت نمایش خطا در این زبانه‌ها آشنا می‌شویم.

Server error

Access denied

Not found

۱٫  DNS Error:

هنگامی که ربات خزنده گوگل با استفاده از آدرس دامنه سایت شما (مانند harimeyas.com) توانایی مسیر یابی و دسترسی به سرور سایت شما را نداشته باشد خطا DNS رخ می‌دهد. دلایل متفاوتی ممکن است باعث به وجود آمدن این مشکل شود اما در صورتی که هاست سایت خود را تغییر دهید معمولاً در آن روز خواست چند خطایی در این قسمت به دلیل تغییر DNS نمایش داده می‌شود که البته مشکلی را در سئو سایت شما به وجود نمی‌آورد. اما اگر به صورت متوالی این خطاها در چارت نمایش داده شده تکرار شده‌اند احتمال وجود مشکل در تنظیمات سرور سایت شما و یا ضعف سرور سایت شما وجود دارد و باید با قسمت پشتیبانی هاست سایت خود تماس گرفته و خواستار رفع این مشکل شوید. در صورتی که مشکل با این عملیات در روزهای آینده حل نشد بهتر است برای جلوگیری از کاهش رتبه سایت خود در موتور جستجوگر به هاست دیگری سایت یا وبلاگ خود را انتقال دهید.
۲٫ Server Connectivity:

خطا موجود در این بخش معمولاً به علت وجود مشکل در سرور سایت شما مانند مسدود شدن دسترسی IP ربات خزنده موتور جستجوگر در دیواره آتش سرور سایت رخ می‌دهند و نشانگر این موضوع هستند که گوگل در بازه های زمانی نمایش داده شده توانایی مشاهده محتوای صفحات سایت شما را نداشته است. در این صورت در زبانه Server Connectivity به شما خطاهای مربوطه با عنوان Connection refused نمایش داده خواهند شد که با تماس با مسئولین هاست می‌توانید این مشکل را حل کنید. همچنین در بسیاری از موارد دلیل اصلی خطا به وجود آمده در این بخش زمان زیاد تراکنش سمت سرور (اجرای کدها، زمان بالای پاسخگویی پایگاه داده‌ها و …) است و به این دلیل رخ می‌دهد که زمان بین درخواست گوگل به سرور شما (Crawl Rate) خیلی سریع است. برای رفع این مشکل بهتر است بهتر است سایت خود را به هاست قدرتمندتری انتقال دهید. اما اگر هم اکنون از هاست نیمه اختصاصی VPS و یا اختصاصی استفاده می‌کنید نیاز است که از افزونه و کد مربوط به Cache داده‌ها استفاده کنید و در نهایت با افزایش Crawl Rate گوگل می‌توانید مشکل را حل کنید. برای کاهش Crawl Rate و یا همان زمان بین دو درخواست گوگل به سایت شما می‌توانید در Google Webmaster Tools از بخش Configuration گزینه Settings را انتخاب کنید و در صفحه ظاهر شده در قسمت Crawl Rate با انتخاب Limit Google’s maximum crawl rate این مقدار را تغییر دهید. توجه داشته باشید هر بار تنظیم این گزینه تنها تا ۹۰ روز معتبر خواهد بود و پس از این دوره نیاز است دوباره تنظیمات مربوطه را در Google Webmaster Tools تکرار کنید.

 

۳٫ Robots. txt Fetch :

قبل از این که ربات خزنده گوگل شروع به مرور صفحات سایت شما کنند فایل Robots. txt را در سایت شما می‌خوانند تا صفحاتی را که شما معین کرده‌اید در سایت شما توسط خزنده‌های این موتور جستجوگر مرور نشود. در صورتی که این فایل در سایت شما موجود نباشد و گوگل با خطای ۴۰۴ در هنگام مشاهده این فایل روبرو شود هیچ مشکلی وجود ندارد و تمامی صفحات سایت شما طبق روال خاصی مرور و دنبال می‌شوند. اما در صورتی که این فایل وجود داشته باشد و در آن خطاهای نحوی وجود داشته باشد و یا در هنگام خواندن این فایل از سرور شما مشکلی پیش آید و گوگل موفق به خواندن کامل این فایل نشود برای اینکه صفحه هایی که شما مشخص کرده‌اید مرور نشوند به اشتباه توسط ربات خزنده گوگل مرور شوند این کار به زمان دیگری واگذار می‌شود و تا زمانی که این مشکل حل نشود گوگل هیچ کدام از صفحات سایت شما را مرور نمی‌کند و در نتیجه محتوای سایت شما نیز در پایگاه داده های گوگل ثبت (Index) نمی‌شوند. به همین خاطر نیز به خطا نمایش داده شده در زبانه Robots.txt Fetch باید توجه ویژه ای داشته باشید و در کوتاه‌ترین زمان ممکن سعی کنید آن‌ها را برطرف کنید. در صورت نمایش موردی در این زبانه به این فایل در سایت خود مراجعه کنید (مانند http://www.hidoctor.ir/robots.txt) و مطمئن شوید که هیچ خطای نحوی و دستوری در آن وجود ندارد.

در صورتی که همه چیز درست بود احتمال دارد به دو دلیلی که بالا بررسی کردیم دسترسی به فایل Robots.txt توسط گوگل محدود شده باشد که می‌توانید آن‌ها را نیز با راهنمایی ذکر شده برطرف کنید.پس از بررسی سه زبانه موجود در قسمت Site Errors بهتر است بدانید بسیاری از خطا موجود در این بخش به صورت موقتی هستند و با دیدن چارت نمایش داده شده در زیر هر یک از آن‌ها می‌توانید تاریخ به وجود آمدن خطا و تاریخ رفع آن را مشاهده کنید. در صورتی که خطایی به صورت متوالی تکرار شده بود پس از تصحیح آن در روزهای آینده به این بخش از Google Webmaster سر بزنید تا از رفع شدن آن مطمئن شوید تا مشکلی برای سئو سایت شما و بازدید کنندگان ایجاد نشود.خطا نمایش داده شده در بخش URL Errorsبخش URL Errors نیز که در پایین ابزار Crawl Errors ابزار وبمستر تولز گوگل نمایش داده می‌شود نمایش دهنده خطاهایی است که در حین مرور صفحات سایت شما خزنده گوگل شناسایی کرده است. در این بخش دو زبانه اصلی Web و Mobile نمایش داده می‌شود که در صورتی که برای سایت خود نسخه موبایل جداگانه ای نساخته‌اید به دلیل پر کار بودن خزنده های وب گوگل با رفع خطاهای نمایش داده شده در بخش Web مشکلات موجود در زبانه Mobile نیز حل می‌شوند البته باید گزینه Mark as Fixed موجود در زبانه Mobile را نیز پس از رفع مشکلات کلیک کنید تا به خزنده های موبایل گوگل نیز رفع مشکلات را خبر دهید. در زیر با پنج دسته بندی رایج بخش URL Errors و چگونگی رفع مشکلات نمایش داده شده در آن‌ها آشنا می‌شویم.

۱٫ Server error :

آدرس نمایش داده شده در این بخش همانطور که از نام آن پیداست به دلیل مشکل در تنظیمات سرور و یا اشتباهات کاربری وبمسترها رخ می دهد که با مراجعه به هر یک از این آدرس‌ها می‌توانید دلیل اصلی آن را پیدا کنید. در صورتی که ربات گوگل به هر یک از صفحات سایت شما مراجعه کند و در پاسخ با خطاهای سرور مانند کد ۵۰۰ روبرو شود آن URL در این بخش ثبت می‌شوند و معمولاً به خاطر ویرایش فایل .htaccess با ویرایشگر نامناسب و یا استفاده از دستورات غیر مجاز در هاست شما در این فایل به وجود می‌آیند که برای مشاهده دقیق دلیل آن می‌توانید به بخش Error Logs در CPanel سایت خود مراجعه کنید. بهتر است در هنگام روبرو شدن با این گونه از خطا با پشتیبانی هاست خود تماس بگیرید و پس از رفع مشکل با استفاده از دکمه Mark as fixed در این بخش ابزار وبمستر گوگل رفع خطا را به ربات خزنده گوگل اطلاع دهید.

 

۲٫ Soft 404 :

در اکثر سیستم مدیریت محتوا و سیستم ساخت و انتشار سایت مانند وردپرس امکان تعیین پیغام و یا محتوایی برای نمایش به کاربرانی که می‌خواهند به یک صفحه غیر موجود به سایت ما دسترسی داشته باشند وجود دارد که به آن Soft 404 می‌گویند. این روند مطمئناً از نمایش صفحات ۴۰۴ ساخته شده توسط سرور سایت شما گزینه بهتری خواهد بود اما مشکل اینجاست که معمولاً در هنگام نمایش این صفحه توسط اسکریپت مختلف در اطلاعات Header صفحه مربوطه کد ۴۰۴ و یا ۴۱۰ ارسال نمی‌شوند. موتورهای جستجوگر نیز به این ترتیب متوجه وجود نداشتن آن URL خواست در سایت شما نشده و اقدام به ثبت (Index) محتوا آن صفحه در پایگاه داده های خود می‌کنند. این موضوع دو مشکل برای سایت ما ایجاد می‌کند که عبارتند از مرور دوباره این صفحات در مراجعه بعدی ربات خزنده موتور جستجوگر که باعث مصرف پهنای باند و منابع اضافی در سایت ما می‌شود و البته مقداری از زمانی که این ربات‌ها به سایت ما اختصاص می‌دهند نیز برای مرور این صفحات از بین می‌رود. همچنین هیچ وبمستری دوست ندارد سایت خود توسط صفحاتی در موتور جستجوگر رتبه گیرد که وجود خارجی ندارند.به همین خاطر نیز پیشنهاد می‌شود در کنار نمایش محتوای مورد نظر به جای پیغام پیش فرض ۴۰۴ Page not found در Header کد ۴۰۴ و یا ۴۱۰ را در این صفحات ارسال کنیم تا موتور جستجوگر نیز متوجه این رویداد شوند. در کنار این برای این که بهترین پیشنهاد برای کاربران وارد شده به صفحات غیر موجود برای ادامه مرور سایت ما نمایش داده شود پیشنهاد می‌کنیم ازCustom 404 widget گوگل در محتوای این صفحات استفاده کنید تا به همراه یک کادر جستجو اختصاصی در سایت شما آدرس‌های موجود مشابه نیز به کاربران نمایش داده شود.

 

۳٫ Access denied :

خطاهای نمایش داده شده در این دسته بندی مربوط به صفحاتی می‌شوند که ربات خزنده گوگل توانایی مشاهده آن‌ها را به دلایل مختلف نداشته است. ممکن است تنظیمات موجود در فایل Robots.txt سایت شما این اجازه را به خزنده گوگل و یا به طور کلی به تمامی ربات وب نداده باشد که با مشاهده محتوای آن می‌توانید از این امر با خبر شوید. توجه داشته باشید برای جلوگیری از ثبت محتوای یک صفحه خاص در پایگاه داده های گوگل بهتر است از متا تگ noindex برای این امر بهره برید چون مرور صفحات توسط گوگل با ثبت محتوای سایت شما در این موتور جستجوگر دو امر کاملاً متفاوت هستند.البته ممکن است دلیل نمایش آدرس صفحات در بخش Access denied ارسال کد ۴۰۳ توسط سرور سایت شما در بخش Header آن صفحه باشد که در این صورت محتوای صفحه مربوطه برای نمایش نیاز به ورود کاربر از طریق فرم ورود را داشته است. در صورتی که نمی‌خواهید به صورت کلی محتوای صفحه مورد نظر توسط گوگل مرور شود بهتر است از طریق nofollow کردن لینک ورودی به آن صفحه در سایت خود (با کلیک بر روی هر آدرس نمایش داده شده در این بخش و رفتن به زبانه Linked from توانایی مشاهده صفحات لینک دهنده را خواهید داشت) از این امر جلوگیری کنید و با انتخاب URL نمایش داده شده و کلیک بر روی دکمه Mark as fixed مشکل را حل کنید که البته باید با استفاده از ابزار پاک کننده صفحه در پایگاه داده های گوگل (از طریق ابزار وبمستر تولز گوگل منوی Optimization گزینه Remove URLs قابل دسترس است) این آدرس‌ها را حذف کنید.در صورتی هم که می‌خواهید گوگل مانند یک کاربر عضو در سایت شما توانایی مشاهده محتوای مربوطه را داشته باشد می‌توانید در کدهای سایت خود توانایی دسترسی به محتوای مربوطه را به user-agent Googlebot بدهید که نمونه های آماده این کد در اینترنت به سادگی پیدا می‌شوند.۴٫ Not found: دلیل نمایش URL در این بخش نبود آن‌ها در سایت شما و روبرو شدن ربات گوگل با پیغام ۴۰۴ در هنگام مرور صفحات سایت شما است. درست است که در بالاتر گفتیم در صورتی که ربات خزنده گوگل با پیغام Page not found 404 روبرو شوند محتوای صفحه مربوطه را index نمی‌کند و آن آدرس را از آدرس ثبت شده در سایت شما حذف می‌کند اما باید توجه داشته باشید که باید تمامی لینک ورودی به آن صفحه را در سایت خود حذف کرده و از طریق ابزار وبمستر گوگل منوی Optimization گزینه Remove URLs به صورت کلی آن آدرس قدیمی و یا صفحه ای که در سایت ما وجود ندارد را حذف کنیم. برای پیدا کردن صفحاتی که به صفحه ۴۰۴ ما لینک داده‌اند کافی است بر روی آن آدرس خطا نمایش داده شده در بخش Not found کلیک کنید و به زبانه Linked from از صفحه ظاهر شده بروید. البته در صورتی که لینک از سایت دیگر نیز به آن صفحه ۴۰۴ داده شده است چون معمولاً مکاتبه با سایت دیگر برای پاک کردن آن لینک از سایت آن‌ها بی فایده است معمولاً ما به طوری کلی آن آدرس URL را به صفحه اصلی و یا صفحات مرتبط دیگری Redirect 301 می‌کنیم. در هر دو صورت پس از انجام مراحل رفع مشکل به یاد داشته باشید با انتخاب آن آدرس و کلیک بر روی دکمه Mark as fixed حل مشکل را به ربات گوگل نیز خبر دهید.۵٫ Other: خطاهای نمایش داده شده در این بخش معمولاً خطاهایی نیستند که باعث کاهش رتبه سایت شما شوند مانند ارسال کد ۴۰۰ در جواب به ربات خزنده گوگل که به دلیل درخواست آدرس غیر استاندارد رخ می‌دهند و برخورد ربات گوگل در هنگام مواجه با این خطاها نادیده گرفتن آدرس مورد نظر و ادامه دادن به مرور سایت شما است. در صورتی که صدها خطا در این بخش مشاهده می‌کنید به احتمال زیاد در هنگام انتقال سایت خود به‌هاست دیگر و یا عملیات مشابه مانند بازگرداندن نسخه پشتیبان سایت برای آدرس موجود در کدهای سایت و دیگر محتوا روند تغییر کد انجام شده است که به دلیل غیر قابل بازگشت بودن آن در اکثر موارد بهتر است دوباره کار انتقال اطلاعات را انجام دهید. اگر مشکل باز هم ادامه داشت بهتر است خود دست به کار شوید و با مطالعه دقیق آدرس نمایش داده شده در بخش Other ابزار Crawl error وبمستر تولز گوگل و Response Code ارسال شده توسط سرور مشکل را شناسایی و برطرف کنید.همیشه به خاطر داشته باشید با استفاده از ابزار Fetch as Google در قسمت Health ابزار وبمستر گوگل توانایی مشاهده دید ربات گوگل از هر یک از صفحات سایت خود را خواهید داشت و خیلی سریع تر از این طریق توانایی تشخیص خطاهای به وجود آمده و رفع آن‌ها برای موتور جستجوگر گوگل را دارید.امیدواریم آموزش رفع خطا سایت توسط Google Webmaster Tools به اندازه کافی جامع باشد و به شما در حل مشکلات سایت خود توسط این ابزار کمک کند. در هر صورت با ارسال خطا نمایش داده شده برای سایت خود در قسمت نظرات همین نوشته می‌توانید پیشنهاد دوستان را در رابطه با حل آن‌ها جویا شوید و از این طریق برای بهینه سازی و سئو سایت خود قدم مثبتی را بردارید.

============================