سئو: بهبود کارایی خزیدن یا Crawl

مهم نیست که محتوای انجمن شما چقدر خوب هستند یا کلمات کلیدی شما چقدر دقیق هستند یا ریز داده های شما چقدر هستش، خزیدن یا crawling ناکارآمد، تعداد صفحاتی را که Google از سایت شما می خواند و ذخیره می کند را به شدت کاهش می دهد.

موتورهای جستجو باید تا آنجا که ممکن است صفحات موجود در اینترنت را بررسی و ذخیره کنند. در حال حاضر حدود 4.5 میلیارد صفحه وب فعال وجود دارد. و Crawl کردن همه این صفحات کار زیادی برای گوگل به حساب می آید.

موتورهای جستجو نمی توانند همه صفحات را Crawl کرده و ذخیره کند، بنابراین باید تصمیم بگیرندکه چه چیزهایی را نگه دارند و چه مدتی برای ایندکس کردن صفحات انجمن شما صرف کنند.

در حال حاضر، IPS برای کمک به موتورهای جستجو درباره نحوه ذخیره و crawl کردن انجمن خوب عمل نمیکند. در این مقاله قراره درباره این ویژگی که در ماه November در نسخه 4.6.8 به انجمن اضافه میشه توضیحاتی ارائه بدیم.

نسخه کوتاه:

منظور از نسخه کوتاه این است که ما بسیاری از صفحات را از نظر Google که ناکارآمد هستند حذف می کنیم، از جمله نمایه های کاربر و فیلترهایی که صفحات وارده ایجاد می کنند و لینکهای تغییر مسیر، تا عمق خزیدن کاهش یابد در عوض، ما می خواهیم Google کاملاً بر موضوعات، پست ها و سایر محتوای کلیدی ایجاد شده توسط کاربر تمرکز کند.

فعلا ما باید بدونیم که بودجه خزش چیست، مشکل فعلی چیا هستند، راه حل چیه و در نهایت به تجزیه و تحلیل قبل و بعد نگاه کنیم. توجه داشته باشید که از واژه های "Google" و "موتورهای جستجو" به جای یکدیگر استفاده می شود. می دانیم که موتورهای جستجوی فوق العاده زیادی در دسترس هستند، اما اکثر آنها می دونند که گوگل چیه و چکار می کنه.

عمق خزش و بودجه خزش:

از نظر کارآیی خزیدن، باید دو معیار را در نظر گرفت: عمق خزیدن و بودجه خزیدن.

بودجه خزش تعداد لینکهایی است که گوگل (و دیگر موتورهای جستجو) در روز به آنها می پردازد. زمان صرف شده در انجمن شما و تعداد لینکهای بررسی شده بستگی به عوامل متعددی از جمله سن سایت، تازه بودن سایت و موارد دیگر دارد. به عنوان مثال، ممکن است گوگل روزانه کمتر از 100 لینک را از سایت شما جستجو کند، در حالی که توییتر ممکن است روزانه صدها هزار لینک ایندکس شده را مشاهده کند.

عمق خزش اساساً تعداد لینکهایی است که Google برای ایندکس کردن صفحه باید دنبال کند. هرچه لینکهایی کمتری برای دسترسی به یک صفحه وجود داشته باشد، گوگل بهتر عمل میکند. به طور کلی، گوگل ایندکس لینکها را در عمق بیش از 5 تا 6 کلیک کاهش می دهد.

مشکل فعلی شماره 1: عمق خزش

یک انجمن لینکهای زیادی تولید می کند. بسیاری از این لینکها، مانند لینکهای ثابت به پست های خاص و هدایت مجدد برای حرکت به سمت پست های جدید در یک موضوع، برای کاربران بسیار مفید است، اما برای اسپایدرها اهمیتش کمتر است.

مشکل فعلی شماره 2: بودجه خزش و محتواهای جانبی

بودجه خزش روی سئو سایت و رتبه آن و در نتیجه میزان بازدید وب سایت اثر مستقیم می گذارد. اگر بودجه سایت را هدر بدهید، راندمان کراول کردن و ایندکس شدن صفحات سایت پایین خواهد آمد. یعنی صفحاتی ایندکس خواهند شد که ارزش زیادی ندارند مانند پروفایل کاربران. و زمانی که انتظار داشته باشید محتواهای ارزشمند و جدیدتان کراول شوند، بودجه سایت تمام شده است. لذا در چنین حالتی در صفحه نتایج سرچ کاربران نشان داده نخواهید شد و بازدید وب سایت افت شدیدی خواهد کرد.

فیلترها یک ابزار ارزشمند برای مرتب سازی لیست داده ها به روش های خاص هستند. به عنوان مثال، هنگام مشاهده لیستی از موضوعات، می توانید تعداد پاسخ ها یا زمان ایجاد موضوع را فیلتر کنید. متأسفانه، این فیلترها برای موتورهای جستجو مشکل ایجاد می کنند زیرا با ایجاد ناوبری صفحات تکراری را ایجاد می کنند.

راه حل:

یک راه حل ساده برای حل همه مشکلات ذکر شده در بالا وجود دارد. ما می توانیم از Google بخواهیم که از ایندکس کردن برخی صفحات خودداری کند. ما می‌توانیم با استفاده از ترکیبی از نکات و دستورالعمل ها به گوگل کمک کنیم. ما در گذشته از "noindex" استفاده کرده بودیم، اما این بودجه همچنان خزنده است، زیرا Google مجبور است صفحه را خزیده تا بداند که ما نمی خواهیم فلان صفحه در ایندکس ذخیره شود.

خوشبختانه، گوگل دستورالعملی به نام "nofollow" دارد که می توانید آن را در تگ <a> قرار دهید. این نشان می دهد که این لینک به هیچ وجه نباید خوانده شود. با این حال، Google ممکن است بخواهد آن را به هر نحوی دنبال کند، پس ما باید از فایل خاصی استفاده کنیم که حاوی دستورالعمل های محکمی برای Google درباره مواردی است که باید دنبال و ایندکس کند.

این فایل robots.txt نام دارد. ما می توانیم از این فایل برای نوشتن قوانین استفاده کنیم تا مطمئن شویم موتورهای جستجو وقت ارزشمند خود را با مشاهده لینکهایی که محتوای ارزشمندی ندارند هدر ندهند.

IPS اکنون یک فایل robots.txt پویا با قوانین بهینه شده برای انجمن شما ایجاد می کند، که در صورت تمایل می توانید قوانین سفارشی ایجاد کنید.

ویژگی ها و تغییرات ذکر شده در این مقاله در نسخه 4.6.8 در ماه نوامبر در دسترس خواهد بود.