מהן תגיות מטא רובוט – Meta Robots Tag?

באמצעות שימוש בפונקציית Meta Robots אפשר לתקשר עם מנועי החיפוש ולהגדיר סריקה ואינדוקס מדויקים יותר לתוכן שלכם! כך תעשו זאת

תוכן עניינים

הנחיות מטא של רובוטים (מכונות לעיתים "מטא תגיות" או Meta Robots Tag) הינן קטעי קוד המספקים הוראות לבוטים כיצד לבחון או לאנדקס דף תוכן.
אם הנחיות קובץ robots.txt נותנות הצעות לבוטים כיצד לסרוק את דפי האתר, הנחיות מטא רובוטים מספקות הוראות ברורות ונחרצות יותר לסריקה ולאינדוקס של תוכן עמוד.

ישנם שני סוגים של הנחיות מטא רובוטים: אלה שהם חלק מדף ה-HTML (כמו ה-meta robots tag) וכאלה ששרת האינטרנט שולח ככותרות (header) של HTTP (כמו ה-x-robots-tag למשל).
ניתן להשתמש באותם פרמטרים (הוראות הסריקה או האינדוקס שמספק meta tag, כמו "noindex" ו- "nofollow" בדוגמה שלמטה) הן עם מטא-רובוטים והן עם x-robot-tags – ההבדל ביניהם יהיה בצורה שבה הפרמטרים הללו מועברים אל הבוטים.

הנחיות Meta Robots Tag

הנחיות מטא מסבירות לבוטים איך לסרוק ולאנדקס מידע שהם מוצאים בדף אינטרנט ספציפי.
אם הנחיות אלה מתגלות על ידי בוטים, הפרמטרים שלהם משמשים כהצעות חזקות להתנהגות אינדקס של הסורק.
אך כמו בקבצי ה-robots.txt הסורקים אינם חייבים לעקוב אחר הנחיות המטא שלכם. כך שזה בטוח כי חלק מרובוטי האינטרנט הזדוניים יתעלמו מההנחיות שלכם.

להלן הפרמטרים שסורקי מנועי החיפוש מבינים ועוקבים אחריהם כאשר הם משמשים בהנחיות המטא של רובוטים.
הפרמטרים אינם תלויי מקרה, אך יש לשים לב כי ייתכן שמנועי חיפוש עשויים לעקוב רק אחר קבוצה של פרמטרים אלה או להתייחס להנחיות מסוימות בצורה שונה.

פרמטרים לשליטה באינדקס:

  • No index: אומר למנוע חיפוש שלא להוסיף אינדקס לדף.
  • Index: מאפשר למנוע חיפוש לאנדקס עמוד. שימו לב שאין צורך להוסיף את התג-מטא הזה; זו ברירת המחדל.
  • Follow: גם אם הדף אינו באינדקס, הסורק צריך לעקוב אחר כל הקישורים בדף ולהעביר את ה-equit לדפים המקושרים.
  • Nofollow: אומר לסורק שלא לעקוב אחר קישורים בדף או העביר equity כלשהו.
  • Noimageindex: אומר לסורק שלא להוסיף אינדקס לתמונות בעמוד.
  • None: שווה ערך לשימוש בתגיות noindex וגם ב- nofollow בו זמנית.
  • Noarchive: על מנועי חיפוש לא להציג קישור במטמון (cached link) לדף ב-SERP.
  • Nocache: זהה ל-noarchive בעבור דפדפני האינטרנט: Internet Explorer ו-Firefox.
  • Nosnippet: אומר למנוע חיפוש שלא יציג קטע (snippet) של דף זה (כלומר meta description) של דף זה ב-SERP.
  • Noodyp/noydir [OBSOLETE]: מונע ממנועי חיפוש להשתמש בתיאור ה-DMOZ של הדף כקטע ה-SERP. חשוב לזכור אבל ש-DMOZ עצרו פעילות ב-2017 ולכן התג הזה מיושן ולא רלוונטי.
  • Unavailable_after: על מנועי חיפוש לא להוסיף עוד אינדקס לדף זה לאחר תאריך מסוים.

סוגי הנחיות מטא רובוטים

ישנם שני סוגים עיקריים של הנחיות מטא רובוטים: meta robots tag ו-x-robot-tag. כל פרמטר שניתן להשתמש בו בתגיות מטא שמיש גם בתגיות x-robots.

אדבר הן על הנחיות המטא-רובוט והן על הנחיות ה-x-robots למטה.

תגית מטא רובוטים – Meta Robots Tag

התגית הזו, ידועה בכינויה "מטא רובוטים" או באופן קולקטיבי כ"תג רובוטים", היא חלק מקוד ה-HTML של עמוד אינטרנט ומופיעה כאלמנטים של קוד בקטע <head> של הדף:

דוגמה לקוד:

<pre> <meta name = "robots" content = "[PARAMETER]"> </pre>

בעוד התג הכללי <meta name = "robots" content = "[PARAMETER]"> הוא סטנדרטי,
ניתן גם לספק הנחיות לסורקים ספציפיים על ידי החלפת הפרמטר robots בשם של סוכן משתמש ספציפי.
לדוגמה, כדי למקד הוראה ספציפית ל-Googlebot, השתמשו בקוד הבא:

<meta name = "googlebot" content = "[DIRECTIVE]">

רוצים להשתמש ביותר מהנחיה אחת בעמוד? כל עוד הם מכוונים לאותו "רובוט" (משתמש-סוכן), ניתן לכלול הנחיות מרובות בשורת קוד אחת – פשוט הפרידו אותן באמצעות פסיקים. הנה דוגמה:

<meta name = "robots" content = "noimageindex, nofollow, nosnippet">

תגית זו תאמר לרובוטים לא להוסיף אינדקס לאף אחת מהתמונות בעמוד, לעקוב אחר אחד מהקישורים או להציג קטע של הדף כאשר הוא מופיע ב-SERP.

אם אתם משתמשים בהנחיות שונות של תגי מטא-רובוטים עבור סוכני משתמש שונים של חיפוש, תצטרכו להשתמש בתגים נפרדים עבור כל בוט.

תג x-robots

בעוד שתגית מטא-רובוטים מאפשרת לך לשלוט בהתנהגות האינדקס ברמת האלמנטים בתוך העמוד כולו בלבד,
ניתן לכלול את תג ה- x-robots כחלק מכותרת ה-HTTP כדי לשלוט באינדקס של העמוד בכללותו, כמו גם אלמנטים מאוד ספציפיים שלו.

אמנם ניתן להשתמש בתג ה-x-robots כדי לבצע את כל אותן הנחיות לאינדקס כמו תג מטא-רובוטים, ההנחיות שניתנות על ידי x-robots  מציעות יותר גמישות ופונקציונאליות באופן משמעותי ממה שתג המטא-רובוטים מספק. באופן ספציפי, x-robotsמאפשרים להשתמש בביטויים רגילים, ביצוע הוראות סריקה על קבצי שאינם HTML, ויישום פרמטרים ברמה גלובאלית וכוללת.

כדי להשתמש בתג ה-x-robots עליכם לגשת לכותרת הראשית (Header), ל-.php, ל-htaccess או לקובץ הגישה לשרת.
משם ניתן להוסיף את סימון התג x-robots של תצורת השרת הספציפית שלכם, כולל הפרמטרים שתבחרו.
במאמר הזה השתדלתי לספק לכם כמה מהדוגמאות הטובות ביותר כדי להציג איך נראה סימון תגי x-robots אם משתמשים באחת משלוש התצורות הללו.

בואו נראה כמה מקרים שבהם יהיה עדיף להשתמש בתג x-robots:

  • שליטה באינדקס של תוכן שלא כתוב ב-HTML (כמו סרטונים או קבצי פלאש).
  • חסימה של אינדקס של אלמנט מסוים בדף (כמו תמונה או וידאו), אך לא של כל הדף עצמו.
  • שליטת אינדקס אם אין גישה ל-HTML של דף (ספציפית לקטע <head>) או אם האתר שלך משתמש בכותרת (header) גלובלית שלא ניתן לשנותה.
  • הוספת כללים לשאלה האם יש להוסיף לאינדקס עמוד (לדוגמה, אם משתמש הגיב כבר 20 פעמים, ציין את עמוד הפרופיל שלו באינדקס).

שיטות עבודה מומלצות ל-SEO עם הנחיות מטא רובוטים

  • כל הוראות המטא (רובוטים או אחרות) מתגלות כאשר מתבצעת סריקה של כתובת אתר.
    פירוש הדבר שאם קובץ txt מונע מ-URL להיסרק כליל, כל הנחיית מטא בעמוד (ב-HTML או בכותרת ה-HTTP) לא תיסרק ולא תתבצע.
  • ברוב המקרים, יש להשתמש בפרמטרים של מטא רובוטים עם "noindex, follow" כפרמטרים שמגבילים סריקה או אינדוקס במקום להשתמש בקבצי txt.
  • חשוב לציין כי הסורקים הזדוניים עשויים להתעלם לחלוטין מהוראות המטא ובמקרה כזה פרוטוקול זה אינו מהווה מנגנון אבטחה טוב.
    אם יש לכם מידע פרטי שאתם לא רוצים להפוך לנגיש בחיפוש באופן ציבורי, בחרו גישה בטוחה יותר כגון הגנת סיסמאות כדי למנוע ביקורים בדפים חסויים.
  • אין צורך להשתמש גם בתגיות מטא רובוטים וגם ב-x-robots באותו עמוד – פעולה זו תהיה מיותרת, אל תעבדו כפול לחינם.

ידע הוא כוח.

כאן המקום ליהנות ממידע שימושי שיעזור לכם לעשות סדר בכל ה-do’s and don’ts הדינמיים של הג’ונגל הדיגיטלי, שמשתנה כל הזמן. הבלוג מלא במידע שימושי שהכינו לכם המומחים שלנו, קחו אותו

גוגל אנליטיקס 4 – המדריך המלא שיעשה לכם סדר.

בחודש אוקטובר 2020, חברת גוגל הכריזה באופן רשמי על השקת גוגל אנליטיקס 4 – הגרסה החדשה והמשופרת של יוניברסל אנליטיקס. גרסה זו מבוססת על מערכת App + Web property אותה חשפה גוגל באמצע שנת 2019, והיא משלבת בתוכה מגוון רחב של הרחבות ושיפורים בהשוואה לגרסה הקודמת. החל מיולי 2023, הגרסא ה"ישנה" של גוגל אנליטיקס (היוניברסל) תרד מהאוויר וגוגל אנליטיקס 4 יהיה ברירת המחדל. אז על מנת להבין מהם השיפורים והיכולות של גוגל אנליטיקס דור 4, "נצלול" לרגע למושגי יסוד בסיסיים וננסה להבין מה זה גוגל אנליטיקס בכלל.

קראו עוד

המדריך המלא על קידום פנים-וחוץ: כל מה שצריך לדעת על On-site SEO ו-Off-site SEO.

בעולם השיווק הדיגיטלי, SEO הוא הנשק הסודי שלך להצלחה באינטרנט. זוהי האומנות של אופטימיזציה של תוכן האינטרנט שלך כך שיוצג בגאון בתוצאות החיפוש ויכה הדים בדיוק איפה שהקהל שלך נמצא. אם נצלול לעומקה של תורת ה-SEO נמצא שכל אלמנט באתר שלנו, ממילות מפתח ועד חווית משתמש, מכילים את המפתח להעלאת ביצועי האתר שלך, וכדאי לנו להתעסק, להעמיק ולהחכים בתחום.

קראו עוד

המפתח לקידום: המדריך המקיף שלך לדירוג אתר טוב באמצעות מילות מפתח

בעוד ש-SEO מוצג לעתים קרובות כרשת מורכבת של פעולות טכניות ואלגוריתמים המשתנים ללא הרף, אנחנו כאן כדי לפשט זאת. במאמר זה ננווט במבוך של קידום מילות המפתח, ובסופו של דבר לא רק תהיה לכם הבנה ברורה של הנושא אלא גם ידע מעשי כדי לשפר את הנראות של האתר שלכם, ולהתחיל לטפס במדרגות הקידום והדירוג. 

קראו עוד

איך הרשת בנויה באמת? על קישורים נכנסים (Backlinks) והמשמעות שלהם

הרשת בנויה מאינספור דפים שמקושרים, לפעמים, אחד לשני ומובילים זה לזה. אבל מה שאנחנו לא תמיד מבינים הוא שהקישורים האלה הם הרבה יותר מסימני דרך, הם כלים שיכולים לסייע לכם לקדם את האתר שלכם בצורה שלא ניתנת לשיעור. איך בדיוק? תנו לנו להסביר לכם. 

קראו עוד

מי הפנה אתכם? על הפניות, קישורים וכל מה שנחוץ לדעת

פרופיל ההפניות, הקישורים החיצוניים או ה-backlinks שלכם (תלוי איך תרצו לקרוא לו) הוא אחד מהגורמים החשובים ביותר בדירוג ה-SEO של האתר שלכם. והדירוג הזה? לא משפיע רק על רמת האתר שלכם, אלא גם על התנועה שנכנסת עליו ועל כמות ההמרות. אז עכשיו אחרי שהבנו כמה פרופיל ההפניות הזה חשוב – איך מטפלים בו באמת?

קראו עוד

המהפיכה המשולבת – כשקידום אורגני פוגש קידום ממומן

בתוך המערכת האקולוגית של הדיגיטל, לכל ערוץ שיווק יש את היתרונות והחסרונות שלו – לצד הפוטנציאל והמגבלות של האחר.

קידום ממומן הינו הכביש המהיר לנראות מהירה, שבו מותגים ממנפים דולרים כדי לתפוס מקום בפינות הנחשקות של האינטרנט.

לעומת זאת קידום אורגני מביא איתו תנועה איכותית לאורך זמן ויותר המרות מלידים שצברו אמון במותג שלכם.

אבל לא מדובר על שיטה אחת כנגד השניה – אלא על תמהיל חכם של שתיהן כדי להצליח באמת.

במאמר הבא אכתוב בפירוט כיצד למנף אסטרטגיות ארוכות טווח לצד קצרות טווח – קידום ממומן שישלים את הקידום האורגני.

קראו עוד
כאן לכל שאלה
היי 👋
אנחנו פה לעזור