ساخت نقشه سایت  ( Sitemap )
اکتبر 19, 2021
راه اندازی ابزار Google search console
اکتبر 20, 2021

ساخت و اضافه کردن فایل robots.txt به سایت

ساخت و اضافه کردن فایل robots.txt به سایت

ساخت و اضافه کردن فایل robots.txt به سایت یکی از نکاتی است که رعایت آن برای داشتن یک وب سایت حرفه ای بسیا اهمیت دارد. بهینه سازی robots.txt به شما کمک میکند تا بتوانید برای موتورهای جستجو یک دسترسی به دایرکتوری یا همان اطلاعات موجود در پوشه هاست را تعیین کنید. هدف مهم استفاده از این فایل ایجاد یک حریم خصوصی برای هاست است. وظیفه robots.txt کنترل دسترسی ربات های موتورهای جستجو گر است. شما میتوانید به راحتی تعیین کنید ک این ربات ها به چه قسمت هایی دسترسی داشته باشند. ربات ها بعد از ورود به سایت شما ابتدا این فایل را بررسی می کنند تا بدانند اجازه دسترسی به کدام فایل ها را دارند.

فایل robots.txt دو قانون کلی دارد

  • User-agent این دستور نشان دهنده اینه که میتونید تعیین کنید چه نوع رباتی قادر به دسترسی به دایرکتوری‌های تعیین شده در هاست شما خواهد بود. منظور از نوع ربات اینه که ربات کدوم سایت و یا موتور جستجو میتونه تا از این دستورات پیروی کنه
  • Disallow این دستور هم نشون دهنده اینه که ربات اجازه ورود به چه مسیرهایی در هاست شما را نخواهد داشت.

همانطور که می دانید یک لیست از تمام ربات ها موجود است. هرکدام از این ربات های وظیفه بررسی محتوای خاصی را دارند. استفاده از این فایل به راحتی این امکان را در اختیار ما قرارمی دهد که تعیین کنید، ربات ها فقط صفحات کامل شده شما را بررسی کنند. بعد از آشنایی با ساختار این فایل در مرحله بعد باید روش های بهینه سازی آن را مطالعه کنید. با استفاده از این روش ها می توانید سئو وردپرس خود را ارتقا دهید. اگر که شما قصد دارید تا صفحات خاصی را از دسترسی ربات‌های جستجوگر غیرفعال کنید کافی است تا با استفاده از افزونه‌هایی نظیر سئو وردپرس این کار را انجام دهید که قابلیت Noindex در اونها قرار دارد.

2 Comments

  1. Thitymott گفت:

    I had a little dizziness the first couple days while my body worked itself out. nolvadex d

  2. lexJegene گفت:

    Categories of Products. doxycycline alcohol Therefore, this study evaluates sclerotherapy outcomes of V LMs in children treated in a high volume center where different sclerosing agents are being used.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد.