ساخت نقشه سایت ( Sitemap )
فوریه 16, 2021
ساخت وبلاگ
فوریه 16, 2021

ساخت و اضافه کردن فایل robots.txt به سایت

ساخت و اضافه کردن فایل robots.txt به سایت

ساخت و اضافه کردن فایل robots.txt به سایت فایل robots.txt یک فایل متنی است. که در وب سایت قرار داده می شود. و به موتورهای جستجو گفته می شود. که کدام قسمت های وب سایت برای موتورهای جستجو قابل دسترس است. و کدام قسمت های وب سایت قابل دسترس نمی باشد.

 فایل robots.txt به معنای این نیست که موتورهای جستجو ملزم به رعایت قوانین موجود در آن هستند برخی اوقات موتورهای جستجو از این قوانین پیروی نمی کنند. ولی فایل robots.txt یکی از روشهایی است که می توان ورود موتورهای جستجو به سایت را کنترل نمود.

این مسئله برای وب سایت ها بسیار مهم است با توجه به اینکه موتورهای جستجو بارها و بارها به وب سایت مراجعه می کنند به کدام قسمت های سایت دسترسی داشته باشد و به کدام قسمت های سایت دسترسی نداشته باشند و در برخی اوقات اطلاعات حساسی در وب سایت ها وجود دارد که موتورهای جستجو نباید به آنها دسترسی داشته باشند که یکی از روشهای کنترل دسترسی استفاده از فایل robots.txt است.

ساختار فایل robots.txt

ساختار فایل robots.txt بسیار ساده و در عین حال منعطف پذیر است. فایل robots.txt از یکسری user agents و فایلها و دایرکتورهای disallowed تشکیل شده است. در واقع این فایل بصورت زیر است:

User-agent:

Disallow:

با User-agent می توان خزنده های موتورهای جستجو که می توانند به سایت دسترسی داشته باشند  را مشخص نمود.

با Disallow می توان لیست فایلها یا دایرکتوری هایی را که می خواهیم موتورهای جستجو به آنها دسترسی نداشته باشند را مشخص نمود.

اضافه کردن فایل robots.txt به گوگل وبمستر تولز

جهت اضافه کردن فایل robots.txt به گوگل وبمستر تولز می توانید به صورت زیر عمل نمایید:

ابتدا توسط اکانت خود وارد گوگل وبمستر تولز شوید و از منوی Crawl روی زیر منوی robots.txt Tester کلیک نمایید.

در ادیتوری که در سمت راست صفحه نمایش داده می شود می توانید محتوای فایل robots.txt را وارد نمایید و سپس دکمه submit را کلیک کنید.

بعد از ارسال شدن محتوای فایل robots.txt به گوگل وب مستر تولز بعد از چند دقیقه محتوای بروزرسانی شده نمایش داده خواهد شد.

حرف پایانی

اگر می خواهید SEO  سئو سایت خود را افزایش دهید، باید از قوانین گوگل که غول موتور جستجوی جهان است پیروی کنید و برای این کار باید به توصیه های آن عمل کنید تا در رتبه بندی شما تاثیر داشته باشد. با ابزار گوگل وبمستر تولز یا گوگل سرچ کنسول ، و عمل به توصیه های گوگل را شروع کنید. در راستای رعایت پیاده سازی تکنیک های سئو داخلی، از گوگل وبمستر استفاده کنید چون این ابزار دقیقا دید ربات های گوگل از سایت شما را نشان میدهد.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد.