מהו קובץ Robots.txt?
ובכן, ה- robots.txt הוא קובץ קטן מאוד אך חשוב שנמצא בספריית הבסיס של אתר האינטרנט שלך.
זה הקובץ שאומר לסורקי אינטרנט (רובוטים) אילו דפים או ספריות באתר ניתן או לא ניתן לסרוק.
ניתן להשתמש בקובץ robots.txt לחסימה מוחלטת של סורקי מנועי חיפוש, או פשוט להגביל את הגישה שלהם לאזורים מסוימים באתר שלך.
להלן דוגמא לקובץ robots.txt בסיסי מאוד של WordPress:
זה יכול להיראות קצת מבלבל בהתחלה, ובשביל זה אנחנו כאן! להלן הסבר לכמה מונחים בסיסיים:
User-agent: מתן הוראות לרובוט ספציפי. במקרה זה השתמשנו בסימון- "*" המתאים לכל הרובוטים.
disallow: מגדיר לרובוטים אילו קבצים ותיקיות הם לא צריכים לסרוק.
allow: מגדיר לרובוט שזה בסדר לסרוק קובץ בתיקיה שנאסרה.
Sitemap: משמש כדי לציין את המיקום של מפת האתר שלך.
ישנם מקרים נוספים בהם ניתן להשתמש בקובץ robots.txt, כגון Host ו- Crawl-delay: אך אלה אינם שכיחים ומשמשים רק במצבים ספציפיים.
לשם מה משמש קובץ Robots.txt?
לכל אתר שנסרק על ידי גוגל יש תקציב סריקה.
תקציב הסריקה הוא בעצם מספר מוגבל של עמודים שגוגל יכולה לסרוק בכל זמן נתון.
לא תרצו לבזבז את תקציב הסריקה שלכם בעמודים באיכות נמוכה, עמודי ספאם או עמודים לא חשובים.
כאן נכנס לתמונה קובץ robots.txt.
תוכלו להשתמש בקובץ robots.txt כדי לציין מאילו דפים, קבצים וספריות Google (ומנועי חיפוש אחרים) אפשר להתעלם בסריקה.
זה יאפשר לבוטים של מנועי חיפוש לשמור על עדיפות לסריקת התוכן האיכותי והחשוב באתר שלכם.
להלן כמה דברים חשובים שתרצו לשקול לחסום באתר הוורדפרס שלכם:
- מזהי ניווט והפעלות פנים
- תוכן משוכפל באתר
- דפי שגיאה
- דפים פרוצים
- מרחבים אינסופיים ודפי פרוקסי
- תוכן באיכות נמוכה וספאם
רשימה זו מגיעה ישירות מהבלוג המרכזי של מנהלי אתרים בגוגל.
בזבוז תקציב הסריקה בדפים כמו אלה המפורטים לעיל יפחית את פעילות הסריקה בדפים שיש להם ערך בפועל.
זה יכול לגרום לעיכוב משמעותי באינדקוס של התוכן החשוב באתר שלך.
מתי לא צריך להשתמש ב- Robots.txt?
אין להשתמש ב- robots.txt כדרך לשלוט באילו דפים מנועי החיפוש סורקים.
אם אתם מנסים למנוע הכללה של דפים מסוימים בתוצאות מנועי החיפוש, כדאי להשתמש בתגיות או הוראות ללא אינדקס, או להגן על הדף באמצעות סיסמה.
הסיבה לכך היא שקובץ robots.txt אינו אומר למנועי החיפוש לא להוסיף אינדקס לתוכן. הוא פשוט אומר להם לא לסרוק אותו.
גוגל אמנם לא תסרוק אזורים אסורים מתוך אתר האינטרנט שלך, אך היא מציינת שאם קיים קישור חיצוני לעמוד באתר שלא כללת, הוא עדיין עלול להיסרק.
האם נדרש קובץ Robots.txt בוורדפרס?
אין חובה שיהיה קובץ robots.txt לאתר הוורדפרס שלך. מנועי חיפוש עדיין יסרקו ויוסיפו אינדקס לאתר שלך כפי שהם היו עושים בדרך כלל.
עם זאת, ללא קובץ robots.txt, לא תוכלו להוציא מהגדרות הסריקה דפים, קבצים או תיקיות שמבזבזים את תקציב הסריקה ללא צורך.
כפי שהוסבר כאן, זה יכול להאריך מאוד את משך הזמן שלוקח לגוגל (ולמנועי חיפוש אחרים) לגלות תוכן חדש ומעודכן באתר שלך.
אז בסך הכל ניתן לומר שקובץ robots.txt אינו נדרש עבור וורדפרס, אך בהחלט מומלץ. השאלה האמיתית כאן צריכה להיות, "מדוע שלא תרצו אותו?".
כיצד ליצור קובץ WordPress Robots.txt
עכשיו שאתם יודעים מה זה robots.txt ולמה הוא משמש, נפרט כיצד תוכלו ליצור את הקובץ באתר שלכם. ישנן שלוש שיטות שונות, ונעבור על שלושתן:
1. שימוש בתוסף כדי ליצור את Robots.txt
לתוספי SEO, כמו למשל Yoast, יש אפשרות ליצור ולערוך את קובץ ה- robots.txt מתוך לוח המחוונים של וורדפרס. זו כנראה האפשרות הקלה ביותר.
2. להעלות את Robots.txt באמצעות FTP
אפשרות נוספת היא פשוט ליצור את קובץ ה- .txt במחשב באמצעות פנקס רשימות (או משהו דומה) ולתת לו את השם robots.txt.
לאחר מכן תוכלו להעלות את הקובץ לספריית הבסיס של אתר האינטרנט באמצעות FTP (File Transfer Protocol), כגון FileZilla.
3. יצירת ה- Robots.txt ב- cPanel
אם אף אחת מהאפשרויות שפורטו כאן לא מתאימה לך, תמיד אפשר להיכנס ל- cPanel שלכם וליצור את הקובץ באופן ידני.
הקפידו ליצור את הקובץ בספריית הבסיס של האתר.
כיצד לבצע אופטימיזציה של Robots.txt עבור וורדפרס
אז מה צריך להיות ב- robots.txt של אתר הוורדפרס שלך? זה יכול להפתיע אתכם, אבל לא צריך הרבה. נסביר מדוע:
גוגל (ומנועי חיפוש אחרים) מתפתחים ומשתפרים כל הזמן, כך ששיטות שעבדו בעבר, לא בהכרח עובדות עדיין באופן יעיל כיום.
כיום גוגל מציגה לא רק את ה- HTML באתר שלך, אלא גם את קבצי ה- CSS וה- JS.
זו הסיבה שהבוטים לא אוהבים את זה כשחוסמים קבצים או תיקיות הדרושים לעיבוד עמוד באתר.
בעבר זה היה בסדר לחסום דברים כמו תיקיות wp-includes ו-wp-content. כיום המצב השתנה.
דרך קלה לבדוק זאת היא על ידי כניסה לחשבון Google Webmaster שלך, ובדיקת כתובת ה-URL הפעילה של האתר.
אם יש משאבים כלשהם שחסומים בפני הרובוט של גוגל, הם יתלוננו על כך בכרטיסיית Page Resources.
להלן באופן מרוכז, קובץ robots.txt לדוגמא שיכול להוות נקודת התחלה מצוינת עבור כל מי שמשתמש בוורדפרס:
User-agent: *
# Block the entire wp-admin folder.
Disallow: /wp-admin/
# Blocks referral links for affiliate programs.
Disallow: /refer/
# Block any pages you think might be spammy.
Disallow: /spammy-page/
# Block any pages that are duplicate content.
Disallow: /duplicate-content-page/
# Block any low quality or unimportant pages.
Disallow: /low-quality-page/
# Prevent soft 404 errors by blocking search pages.
Disallow: /?s=
# Allow the admin-ajax.php inside wp-admin.
Allow: /wp-admin/admin-ajax.php
# A link to your WordPress sitemap.
Sitemap: https://example.com/sitemap_index.xml
חלק מהדברים שנכללו בקובץ זה הם רק דוגמאות.
אם אינכם מרגישים שאף אחד מהעמודים באתר הוא כפול, ספאם או באיכות נמוכה, אין צורך להוסיף חלק זה, זהו רק קו מנחה.
זכרו להיזהר בעת ביצוע שינויים ב-robots.txt באתר.
אמנם שינויים אלה יכולים לשפר את תנועת החיפוש, אך הם עלולים להזיק יותר מאשר להועיל אם נעשות בהם טעויות.
בדיקה לקובץ ה- robots.txt בוורדפרס
לאחר שיצרת והתאמת אישית את קובץ ה-robots.txt שלך, תמיד מומלץ לעשות עליו טסט. היכנסו לחשבון Google Webmaster, והשתמשו בכלי בדיקת הרובוטים הזה. כלי זה פועל כמו שהבוטים של גוגל יבדקו את קובץ ה- robots.txt באתר שלך, ומוודא שכתובות האתר נחסמו כראוי.
בדומה לתמונה שלמעלה, תראו תצוגה מקדימה של קובץ ה-robots.txt כפי שגוגל תראה אותו.
וודאו שהכל נראה תקין ושלא מופיעות אזהרות או שגיאות.
זהו זה! אחרי בדיקה אחרונה, אתם אמורים להיות מוכנים ומזומנים לצאת לדרך.
מחשבות אחרונות
כפי שתוכלו לראות, robots.txt הוא חלק חשוב באופטימיזציה של מנועי החיפוש בכל אתר.
אם משתמשים בו כראוי, זה יכול להאיץ את קצב הסריקה ולקבל את התוכן החדש והמעודכן שלך באינדקס הרבה יותר מהר.
עם זאת, שימוש לרעה בקובץ זה עלול לגרום נזק רב לדירוג מנועי החיפוש, לכן יש להיזהר בעת ביצוע שינויים כלשהם.
אני מקווה שמאמר זה עוזר לתת הבנה טובה יותר של קובץ ה- robots.txt, וכיצד לייעל אותו לצרכי הוורדפרס הספציפיים שלך.
בהצלחה! מוזמנים להשאיר תגובות ושאלות בתחתית המאמר.
