بهینه سازی فایل Robots.txt برای سئو

در این مقاله میخواهیم نکاتی در مورد نحوه بهینه سازی فایل robots.txt برای بهبود سئو را به شما آموزش دهیم پس تا ادامه ی مقاله با ما همراه باشید.

فایل Robots.txt به موتورهای جستجو می گوید که چگونه  در وب سایت شما بخزند و با این کار آن را به یک ابزار سئو فوق العاده قدرتمند تبدیل می کند.

در ادامه به شما نشان خواهیم داد که چگونه یک فایل robots.txt عالی برای سئو ایجاد کنید.

فایل robots.txt چیست؟

Robots.txt یک فایل متنی است که صاحبان وب سایت می توانند با ایجاد و بهینه سازی robot.txt به ربات های موتور جستجو نحوه خزیدن و فهرست بندی صفحات را در سایت خود بگویند.

این فایل معمولاً در پوشه اصلی وب سایت شما ذخیره می شود. فرمت اصلی یک فایل robots.txt به شکل زیر است:

User-agent: [user-agent name]

Disallow: [URL string not to be crawled]

User-agent: [user-agent name]

Allow: [URL string to be crawled]

Sitemap: [URL of your XML Sitemap]

می توانید چندین خط دستورالعمل برای مجاز یا غیرمجاز کردن URL های خاص داشته باشید و چندین نقشه سایت اضافه کنید. اگر بعضی از URL ها را غیر مجاز نمی‌دانید، ربات‌های موتور جستجو فرض می‌کنند که مجاز به خزیدن در آن هستند.

در اینجا یک فایل نمونه robots.txt می تواند آورده شده است:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml

در مثال robots.txt بالا، ما به موتورهای جستجو اجازه داده‌ایم در پوشه آپلود وردپرس بخزند و فایل‌ها را فهرست کنند.

پس از آن، ما ربات‌های جستجو را از خزیدن وایندکس کردن افزونه‌ها و پوشه‌های مدیریت وردپرس منع کرده‌ایم.

در نهایت، ما URL نقشه سایت XML خود را ارائه کرده ایم.

آیا برای سایت وردپرس خود به فایل Robots.txt نیاز دارید؟

اگر فایل robots.txt ندارید، موتورهای جستجو همچنان وب سایت شما را می خزند و فهرست می کنند. با این حال، شما نمی توانید به موتورهای جستجو بگویید که کدام صفحات یا پوشه ها را نباید بخزند.

هنگامی که برای اولین بار وبلاگی را راه اندازی می کنید و محتوای زیادی ندارید، این تأثیر چندانی نخواهد داشت.

اما زمانی که وب سایت شما رشد می کند و محتوای زیادی به سایتتان اضافه می شود، احتمالاً می خواهید کنترل بهتری بر نحوه خزیدن و ایندکس شدن وب سایت خود داشته باشید.

ربات های جستجو دارای سهمیه خزیدن برای هر وب سایت هستند.

این به این معنی است که آنها تعداد مشخصی از صفحات را در طول یک جلسه می‌خزند. اگر خزیدن تمام صفحات سایت شما را به پایان نرسانند، در جلسه بعدی باز می گردند و خزیدن را از سر می گیرند.

این می تواند نرخ ایندکس سازی وب سایت شما را کاهش دهد.

می‌توانید این مشکل را با جلوگیری از تلاش ربات‌های جستجو برای خزیدن در صفحات غیرضروری مانند صفحات مدیریت وردپرس، فایل‌های افزونه و پوشه تم‌ها برطرف کنید.

می توانید با غیر مجاز کردن صفحات غیر ضروری، سهمیه خزیدن خود را ذخیره می کنید. این به موتورهای جستجو کمک می کند تا صفحات بیشتری را در سایت شما بخزند و آنها را در سریع ترین زمان ممکن فهرست کنند.

یکی دیگر از دلایل خوب برای استفاده از فایل robots.txt زمانی است که می خواهید موتورهای جستجو را از ایندکس کردن یک پست یا صفحه در وب سایت خود منع کنید.

این امن ترین راه برای مخفی کردن محتوا از عموم مردم نیست، اما به شما کمک می کند تا از نمایش آنها در نتایج جستجو جلوگیری کنید.

یک فایل Robots.txt ایده آل چگونه است؟

بسیاری از وبلاگ های محبوب از یک فایل robots.txt بسیار ساده استفاده می کنند. محتوای آنها ممکن است بسته به نیازهای سایت خاص متفاوت باشد:

User-agent: *

Disallow:

Sitemap: http://www.example.com/post-sitemap.xml

Sitemap: http://www.example.com/page-sitemap.xml

این فایل robots.txt به همه ربات‌ها اجازه می‌دهد تا همه محتوا را فهرست‌بندی کنند و پیوندی به نقشه‌های سایت XML وب‌سایت در اختیارشان قرار می‌دهد.

برای سایت های وردپرسی، قوانین زیر را در فایل robots.txt توصیه می کنیم:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Disallow: /readme.html

Disallow: /refer/

Sitemap: http://www.example.com/post-sitemap.xml

Sitemap: http://www.example.com/page-sitemap.xml

این به ربات‌های جستجوگر می‌گوید که همه تصاویر و فایل‌های وردپرس را فهرست کنند. ربات‌های جستجو را از فهرست‌بندی فایل‌های افزونه وردپرس، ناحیه مدیریت وردپرس، فایل readme وردپرس و لینک های affiliate ممنوع می‌کند.

با افزودن نقشه سایت به robots.txt، یافتن تمامی صفحات سایت را برای ربات های گوگل آسان می کنید.

در بخش بعدی می توانید نحوه ی ایجاد فایل robots.txt را مطالعه کنید