אופטימיזציה לשימוש בקובץ Robots.txt

ביצוע אופטימיזציה לקבצי robots.txt באתר שלך תעשה פלאים ליחסיך עם גוגל, ותאפשר לו לסרוק לאנדקס את התוכן שלך בצורה הטובה ביותר. להלן כמה דרכים לעשות זאת

תוכן עניינים

מהו קובץ Robots.txt?

ובכן, ה- robots.txt הוא קובץ קטן מאוד אך חשוב שנמצא בספריית הבסיס של אתר האינטרנט שלך.
זה הקובץ שאומר לסורקי אינטרנט (רובוטים) אילו דפים או ספריות באתר ניתן או לא ניתן לסרוק.

ניתן להשתמש בקובץ robots.txt לחסימה מוחלטת של סורקי מנועי חיפוש, או פשוט להגביל את הגישה שלהם לאזורים מסוימים באתר שלך.
להלן דוגמא לקובץ robots.txt בסיסי מאוד של WordPress:

דוגמא לקובץ רובוטס

זה יכול להיראות קצת מבלבל בהתחלה, ובשביל זה אנחנו כאן! להלן הסבר לכמה מונחים בסיסיים:

User-agent: מתן הוראות לרובוט ספציפי. במקרה זה השתמשנו בסימון- "*" המתאים לכל הרובוטים.

disallow: מגדיר לרובוטים אילו קבצים ותיקיות הם לא צריכים לסרוק.

allow: מגדיר לרובוט שזה בסדר לסרוק קובץ בתיקיה שנאסרה.

Sitemap: משמש כדי לציין את המיקום של מפת האתר שלך.

ישנם מקרים נוספים בהם ניתן להשתמש בקובץ robots.txt, כגון Host ו- Crawl-delay: אך אלה אינם שכיחים ומשמשים רק במצבים ספציפיים.

לשם מה משמש קובץ Robots.txt?

לכל אתר שנסרק על ידי גוגל יש תקציב סריקה.
תקציב הסריקה הוא בעצם מספר מוגבל של עמודים שגוגל יכולה לסרוק בכל זמן נתון.
לא תרצו לבזבז את תקציב הסריקה שלכם בעמודים באיכות נמוכה, עמודי ספאם או עמודים לא חשובים.
כאן נכנס לתמונה קובץ robots.txt.

תוכלו להשתמש בקובץ robots.txt כדי לציין מאילו דפים, קבצים וספריות Google (ומנועי חיפוש אחרים) אפשר להתעלם בסריקה.
זה יאפשר לבוטים של מנועי חיפוש לשמור על עדיפות לסריקת התוכן האיכותי והחשוב באתר שלכם.

להלן כמה דברים חשובים שתרצו לשקול לחסום באתר הוורדפרס שלכם:

  • מזהי ניווט והפעלות פנים
  • תוכן משוכפל באתר
  • דפי שגיאה
  • דפים פרוצים
  • מרחבים אינסופיים ודפי פרוקסי
  • תוכן באיכות נמוכה וספאם

רשימה זו מגיעה ישירות מהבלוג המרכזי של מנהלי אתרים בגוגל.
בזבוז תקציב הסריקה בדפים כמו אלה המפורטים לעיל יפחית את פעילות הסריקה בדפים שיש להם ערך בפועל.
זה יכול לגרום לעיכוב משמעותי באינדקוס של התוכן החשוב באתר שלך.

מתי לא צריך להשתמש ב- Robots.txt?

אין להשתמש ב- robots.txt כדרך לשלוט באילו דפים מנועי החיפוש סורקים.
אם אתם מנסים למנוע הכללה של דפים מסוימים בתוצאות מנועי החיפוש, כדאי להשתמש בתגיות או הוראות ללא אינדקס, או להגן על הדף באמצעות סיסמה.

הסיבה לכך היא שקובץ robots.txt אינו אומר למנועי החיפוש לא להוסיף אינדקס לתוכן. הוא פשוט אומר להם לא לסרוק אותו.
גוגל אמנם לא תסרוק אזורים אסורים מתוך אתר האינטרנט שלך, אך היא מציינת שאם קיים קישור חיצוני לעמוד באתר שלא כללת, הוא עדיין עלול להיסרק.

האם נדרש קובץ Robots.txt בוורדפרס?

אין חובה שיהיה קובץ robots.txt לאתר הוורדפרס שלך. מנועי חיפוש עדיין יסרקו ויוסיפו אינדקס לאתר שלך כפי שהם היו עושים בדרך כלל.

עם זאת, ללא קובץ robots.txt, לא תוכלו להוציא מהגדרות הסריקה דפים, קבצים או תיקיות שמבזבזים את תקציב הסריקה ללא צורך.
כפי שהוסבר כאן, זה יכול להאריך מאוד את משך הזמן שלוקח לגוגל (ולמנועי חיפוש אחרים) לגלות תוכן חדש ומעודכן באתר שלך.

אז בסך הכל ניתן לומר שקובץ robots.txt אינו נדרש עבור וורדפרס, אך בהחלט מומלץ. השאלה האמיתית כאן צריכה להיות, "מדוע שלא תרצו אותו?".

כיצד ליצור קובץ WordPress Robots.txt

עכשיו שאתם יודעים מה זה robots.txt ולמה הוא משמש, נפרט כיצד תוכלו ליצור את הקובץ באתר שלכם. ישנן שלוש שיטות שונות, ונעבור על שלושתן:

1. שימוש בתוסף כדי ליצור את Robots.txt

לתוספי SEO, כמו למשל Yoast, יש אפשרות ליצור ולערוך את קובץ ה- robots.txt מתוך לוח המחוונים של וורדפרס. זו כנראה האפשרות הקלה ביותר.

הסבר על תוסף יוסט

2. להעלות את Robots.txt באמצעות FTP

אפשרות נוספת היא פשוט ליצור את קובץ ה- .txt במחשב באמצעות פנקס רשימות (או משהו דומה) ולתת לו את השם robots.txt.
לאחר מכן תוכלו להעלות את הקובץ לספריית הבסיס של אתר האינטרנט באמצעות FTP (File Transfer Protocol), כגון FileZilla.

המסך הראשי של filezila

3. יצירת ה- Robots.txt ב- cPanel

אם אף אחת מהאפשרויות שפורטו כאן לא מתאימה לך, תמיד אפשר להיכנס ל- cPanel שלכם וליצור את הקובץ באופן ידני.
הקפידו ליצור את הקובץ בספריית הבסיס של האתר.

יצירת קובץ רובוטס דרך cpanel

כיצד לבצע אופטימיזציה של Robots.txt עבור וורדפרס

אז מה צריך להיות ב- robots.txt של אתר הוורדפרס שלך? זה יכול להפתיע אתכם, אבל לא צריך הרבה. נסביר מדוע:

גוגל (ומנועי חיפוש אחרים) מתפתחים ומשתפרים כל הזמן, כך ששיטות שעבדו בעבר, לא בהכרח עובדות עדיין באופן יעיל כיום.
כיום גוגל מציגה לא רק את ה- HTML באתר שלך, אלא גם את קבצי ה- CSS וה- JS.
זו הסיבה שהבוטים לא אוהבים את זה כשחוסמים קבצים או תיקיות הדרושים לעיבוד עמוד באתר.

בעבר זה היה בסדר לחסום דברים כמו תיקיות wp-includes ו-wp-content. כיום המצב השתנה.
דרך קלה לבדוק זאת היא על ידי כניסה לחשבון Google Webmaster שלך, ובדיקת כתובת ה-URL הפעילה של האתר.
אם יש משאבים כלשהם שחסומים בפני הרובוט של גוגל, הם יתלוננו על כך בכרטיסיית Page Resources.

להלן באופן מרוכז, קובץ robots.txt לדוגמא שיכול להוות נקודת התחלה מצוינת עבור כל מי שמשתמש בוורדפרס:

User-agent: *

# Block the entire wp-admin folder.

Disallow: /wp-admin/

# Blocks referral links for affiliate programs.

Disallow: /refer/

# Block any pages you think might be spammy.

Disallow: /spammy-page/

# Block any pages that are duplicate content.

Disallow: /duplicate-content-page/

# Block any low quality or unimportant pages.

Disallow: /low-quality-page/

# Prevent soft 404 errors by blocking search pages.

Disallow: /?s=

# Allow the admin-ajax.php inside wp-admin.

Allow: /wp-admin/admin-ajax.php

# A link to your WordPress sitemap.

Sitemap: https://example.com/sitemap_index.xml

חלק מהדברים שנכללו בקובץ זה הם רק דוגמאות.
אם אינכם מרגישים שאף אחד מהעמודים באתר הוא כפול, ספאם או באיכות נמוכה, אין צורך להוסיף חלק זה, זהו רק קו מנחה.

זכרו להיזהר בעת ביצוע שינויים ב-robots.txt באתר.
אמנם שינויים אלה יכולים לשפר את תנועת החיפוש, אך הם עלולים להזיק יותר מאשר להועיל אם נעשות בהם טעויות.

בדיקה לקובץ ה- robots.txt בוורדפרס

לאחר שיצרת והתאמת אישית את קובץ ה-robots.txt שלך, תמיד מומלץ לעשות עליו טסט. היכנסו לחשבון Google Webmaster, והשתמשו בכלי בדיקת הרובוטים הזה. כלי זה פועל כמו שהבוטים של גוגל יבדקו את קובץ ה- robots.txt באתר שלך, ומוודא שכתובות האתר נחסמו כראוי.

Robots.txt file test

בדומה לתמונה שלמעלה, תראו תצוגה מקדימה של קובץ ה-robots.txt כפי שגוגל תראה אותו.
וודאו שהכל נראה תקין ושלא מופיעות אזהרות או שגיאות.

זהו זה! אחרי בדיקה אחרונה, אתם אמורים להיות מוכנים ומזומנים לצאת לדרך.

מחשבות אחרונות

כפי שתוכלו לראות, robots.txt הוא חלק חשוב באופטימיזציה של מנועי החיפוש בכל אתר.
אם משתמשים בו כראוי, זה יכול להאיץ את קצב הסריקה ולקבל את התוכן החדש והמעודכן שלך באינדקס הרבה יותר מהר.
עם זאת, שימוש לרעה בקובץ זה עלול לגרום נזק רב לדירוג מנועי החיפוש, לכן יש להיזהר בעת ביצוע שינויים כלשהם.

אני מקווה שמאמר זה עוזר לתת הבנה טובה יותר של קובץ ה- robots.txt, וכיצד לייעל אותו לצרכי הוורדפרס הספציפיים שלך.
בהצלחה! מוזמנים להשאיר תגובות ושאלות בתחתית המאמר.

ידע הוא כוח.

כאן המקום ליהנות ממידע שימושי שיעזור לכם לעשות סדר בכל ה-do’s and don’ts הדינמיים של הג’ונגל הדיגיטלי, שמשתנה כל הזמן. הבלוג מלא במידע שימושי שהכינו לכם המומחים שלנו, קחו אותו

גוגל אנליטיקס 4 – המדריך המלא שיעשה לכם סדר.

בחודש אוקטובר 2020, חברת גוגל הכריזה באופן רשמי על השקת גוגל אנליטיקס 4 – הגרסה החדשה והמשופרת של יוניברסל אנליטיקס. גרסה זו מבוססת על מערכת App + Web property אותה חשפה גוגל באמצע שנת 2019, והיא משלבת בתוכה מגוון רחב של הרחבות ושיפורים בהשוואה לגרסה הקודמת. החל מיולי 2023, הגרסא ה"ישנה" של גוגל אנליטיקס (היוניברסל) תרד מהאוויר וגוגל אנליטיקס 4 יהיה ברירת המחדל. אז על מנת להבין מהם השיפורים והיכולות של גוגל אנליטיקס דור 4, "נצלול" לרגע למושגי יסוד בסיסיים וננסה להבין מה זה גוגל אנליטיקס בכלל.

קראו עוד

המדריך המלא על קידום פנים-וחוץ: כל מה שצריך לדעת על On-site SEO ו-Off-site SEO.

בעולם השיווק הדיגיטלי, SEO הוא הנשק הסודי שלך להצלחה באינטרנט. זוהי האומנות של אופטימיזציה של תוכן האינטרנט שלך כך שיוצג בגאון בתוצאות החיפוש ויכה הדים בדיוק איפה שהקהל שלך נמצא. אם נצלול לעומקה של תורת ה-SEO נמצא שכל אלמנט באתר שלנו, ממילות מפתח ועד חווית משתמש, מכילים את המפתח להעלאת ביצועי האתר שלך, וכדאי לנו להתעסק, להעמיק ולהחכים בתחום.

קראו עוד

המפתח לקידום: המדריך המקיף שלך לדירוג אתר טוב באמצעות מילות מפתח

בעוד ש-SEO מוצג לעתים קרובות כרשת מורכבת של פעולות טכניות ואלגוריתמים המשתנים ללא הרף, אנחנו כאן כדי לפשט זאת. במאמר זה ננווט במבוך של קידום מילות המפתח, ובסופו של דבר לא רק תהיה לכם הבנה ברורה של הנושא אלא גם ידע מעשי כדי לשפר את הנראות של האתר שלכם, ולהתחיל לטפס במדרגות הקידום והדירוג. 

קראו עוד

איך הרשת בנויה באמת? על קישורים נכנסים (Backlinks) והמשמעות שלהם

הרשת בנויה מאינספור דפים שמקושרים, לפעמים, אחד לשני ומובילים זה לזה. אבל מה שאנחנו לא תמיד מבינים הוא שהקישורים האלה הם הרבה יותר מסימני דרך, הם כלים שיכולים לסייע לכם לקדם את האתר שלכם בצורה שלא ניתנת לשיעור. איך בדיוק? תנו לנו להסביר לכם. 

קראו עוד

מי הפנה אתכם? על הפניות, קישורים וכל מה שנחוץ לדעת

פרופיל ההפניות, הקישורים החיצוניים או ה-backlinks שלכם (תלוי איך תרצו לקרוא לו) הוא אחד מהגורמים החשובים ביותר בדירוג ה-SEO של האתר שלכם. והדירוג הזה? לא משפיע רק על רמת האתר שלכם, אלא גם על התנועה שנכנסת עליו ועל כמות ההמרות. אז עכשיו אחרי שהבנו כמה פרופיל ההפניות הזה חשוב – איך מטפלים בו באמת?

קראו עוד

המהפיכה המשולבת – כשקידום אורגני פוגש קידום ממומן

בתוך המערכת האקולוגית של הדיגיטל, לכל ערוץ שיווק יש את היתרונות והחסרונות שלו – לצד הפוטנציאל והמגבלות של האחר.

קידום ממומן הינו הכביש המהיר לנראות מהירה, שבו מותגים ממנפים דולרים כדי לתפוס מקום בפינות הנחשקות של האינטרנט.

לעומת זאת קידום אורגני מביא איתו תנועה איכותית לאורך זמן ויותר המרות מלידים שצברו אמון במותג שלכם.

אבל לא מדובר על שיטה אחת כנגד השניה – אלא על תמהיל חכם של שתיהן כדי להצליח באמת.

במאמר הבא אכתוב בפירוט כיצד למנף אסטרטגיות ארוכות טווח לצד קצרות טווח – קידום ממומן שישלים את הקידום האורגני.

קראו עוד
כאן לכל שאלה
היי 👋
אנחנו פה לעזור