ایجاد فایل Robots.txt

در لینک زیر می توانید بخش قبلی را مطالعه کنید تا یاد بگیرید که یک فایل robots.txt ایده آل چگونه است، اکنون بیایید نگاهی به نحوه ایجاد فایل robots.txt در وردپرس بیندازیم.

بهینه سازی فایل Robots.txt برای سئو

چگونه یک فایل Robots.txt در وردپرس ایجاد کنیم؟

دو راه برای ایجاد فایل robots.txt در وردپرس وجود دارد. شما می توانید روشی را انتخاب کنید که بهترین کارایی را برای شما دارد.

 

روش 1: ویرایش و ایجاد فایل Robots.txt با استفاده از All in One SEO

 

All in One SEO که با نام AIOSEO نیز شناخته می شود، بهترین افزونه سئو وردپرس در بازار است که توسط بیش از 2 میلیون وب سایت استفاده می شود.

 

استفاده از آن آسان است و با یک تولید کننده فایل robots.txt همراه است.

 

اگر قبلاً افزونه AIOSEO را نصب نکرده اید، می توانید راهنمای گام به گام ما را در مورد نحوه نصب افزونه وردپرس مشاهده کنید.

نصب افزونه در وردپرس

 

توجه: نسخه رایگان AIOSEO نیز موجود است .

پس از نصب و فعال سازی افزونه، می توانید از آن برای ایجاد و ویرایش فایل robots.txt خود مستقیماً از قسمت مدیریت وردپرس خود استفاده کنید.

 

برای ویرایش فایل robots.txt به سادگی به All in One SEO » Tools بروید.

 

ابتدا باید گزینه تاگل  Enable Custom Robots.txt را فعال کنید.

 

با فعال کردن این کلید، می توانید یک فایل robots.txt سفارشی در وردپرس ایجاد کنید.

 

All in One SEO فایل robots.txt فعلی شما را در بخش « Robots.txt Preview » در پایین صفحه نمایش شما نشان می‌دهد.

 

این نسخه قوانین پیش فرض اضافه شده توسط وردپرس را نشان می دهد.

 

این قوانین پیش‌فرض به موتورهای جستجو می‌گوید که فایل‌های اصلی وردپرس شما را نخوانند، به ربات‌ها اجازه می‌دهد تمام محتوا را فهرست‌بندی کنند و لینکی به نقشه‌های سایت XML سایت شما در اختیار آنها قرار می‌دهد.

 

اکنون، می توانید قوانین سفارشی خود را برای بهینه سازی robots.txt برای SEO اضافه کنید.

 

برای افزودن یک قانون، یک کاربر را در قسمت « User Agent» وارد کنید.

سپس، گرینه های «Allow» یا «Disallow» را برای اجازه ی خریدن موتورهای جستجو در صفخات مختلف سایت خود انتخاب کنید.

 

بعد، نام فایل یا مسیر دایرکتوری را در قسمت «مسیر فهرست» وارد کنید.

 

این قانون به طور خودکار روی robots.txt شما اعمال خواهد شد. برای افزودن یک قانون دیگر روی دکمه «Add Rule» کلیک کنید.

 

توصیه می‌کنیم تا زمانی که فرمت ایده‌آل robots.txt را که در بالا به اشتراک گذاشتیم ایجاد نکردید، rule اضافه کنید.

 

قوانین سفارشی شما به این شکل خواهد بود.

پس از اتمام کار، فراموش نکنید که روی دکمه “ذخیره تغییرات” کلیک کنید تا تغییرات خود را ذخیره کنید.

 

روش 2. ویرایش دستی فایل Robots.txt با استفاده از FTP

 

برای این روش، باید از یک سرویس گیرنده FTP برای ویرایش فایل robots.txt استفاده کنید.

 

به سادگی با استفاده از یک سرویس گیرنده FTP به حساب میزبانی خود متصل شوید.

 

پس از ورود، می توانید فایل robots.txt را در پوشه ریشه وب سایت خود مشاهده کنید.

 

 

اگر آن را نمی بینید، احتمالاً فایل robots.txt ندارید.

 

در آن صورت، شما می بایست یکی را ایجاد کنید.

 

 

 

Robots.txt یک فایل متنی ساده است، به این معنی که می توانید آن را در رایانه خود دانلود کرده و با استفاده از هر ویرایشگر متن ساده مانند Notepad یا TextEdit آن را ویرایش کنید.

 

پس از ذخیره تغییرات خود، می توانید آن را در پوشه اصلی وب سایت خود بارگذاری کنید.

چگونه فایل Robots.txt خود را تست کنیم؟

هنگامی که فایل robots.txt خود را ایجاد کردید، فکر خوبی است که آن را با استفاده از ابزار تست robots.txt آزمایش کنید.

 

ابزارهای آزمایش کننده robots.txt زیادی وجود دارد، اما توصیه می کنیم از ابزاری که در داخل کنسول جستجوی گوگل قرار دارد استفاده کنید.

 

ابتدا باید وب سایت خود را با کنسول جستجوی گوگل مرتبط کنید. اگر هنوز این کار را انجام نداده اید، راهنمای ما در مورد نحوه افزودن سایت وردپرس خود به کنسول جستجوی گوگل را ببینید.

ثبت سایت در گوگل سرچ کنسول جدید

سپس، می توانید از ابزار تست ربات کنسول جستجوی گوگل استفاده کنید.

به سادگی property خود را از لیست کشویی انتخاب کنید.

 

این ابزار به طور خودکار فایل robots.txt وب سایت شما را دریافت می کند و در صورت یافتن آن ، اگر خطایی وجود داشته باشد خطاها و هشدارها را برجسته و هایلایت می کند.

 

نتیجه گیری

هدف از بهینه سازی robots.txt جلوگیری از خزیدن موتورهای جستجو در صفحاتی است که به صورت عمومی در دسترس نیستند. به عنوان مثال، صفحاتی در پوشه wp-plugins یا صفحاتی در پوشه مدیریت وردپرس شما.

 

یک شایعه رایج در بین کارشناسان سئو این است که مسدود کردن دسته‌بندی، تگ‌ها و صفحات آرشیو وردپرس باعث بهبود نرخ خزیدن و در نتیجه نمایه‌سازی سریع‌تر و رتبه‌بندی بالاتر می‌شود.

 

این درست نیست. همچنین برخلاف دستورالعمل های وب مستر گوگل است.

 

توصیه می کنیم برای ایجاد فایل robots.txt برای وب سایت خود از فرمت robots.txt بالا پیروی کنید.

 

امیدواریم این مقاله به شما در یادگیری نحوه بهینه سازی robots.txt وردپرس برای سئو کمک کرده باشد.

اگر این مقاله را دوست داشتید، لطفا در اینستاگرام ما را دنبال کنید