מהי ההגדרה של תקציב סריקה ב- SEO?
תקציב סריקה הוא מונח שהומצא על ידי תעשיית ה- SEO כדי לציין מספר מושגים ומערכות קשורים שמשתמשים בהם מנועי חיפוש כאשר הם מחליטים בכמה עמודים ובאיזה עמודים לסרוק. זה בעצם תשומת הלב שמנועי החיפוש יתנו לאתר שלך.
מדוע מנועי חיפוש מקצים את תקציב הסריקה לאתרים?
מכיוון שאין להם משאבים בלתי מוגבלים, והם מחלקים את תשומת ליבם בין מיליוני אתרים. אז הם צריכים דרך לתעדף את מאמץ הזחילה שלהם. הקצאת תקציב סריקה לכל אתר עוזרת להם לעשות זאת.
כיצד מנועי החיפוש מקצים את תקציב הסריקה לאתרים?
זה מבוסס על שני גורמים, מגבלת סריקה וביקוש לסריקה:
- מגבלת סריקה / עומס מארח: כמה סריקה אתר יכול להתמודד ומהן העדפות הבעלים שלו?
- דרישת סריקה / תזמון סריקה: אילו כתובות אתרים הכי שווה (לסרוק), בהתבסס על הפופולריות שלה ובאיזו תדירות היא מתעדכנת.
תקציב סריקה הוא מונח נפוץ בתוך התחום של קידום אתרים. תקציב הסריקה מכונה לפעמים גם שטח סריקה או זמן סריקה .
האם תקציב הסריקה הוא רק דפים?
לא, למען הפשטות, אנחנו מדברים על דפים, אבל במציאות מדובר על כל מסמך שמנועי חיפוש סורקים. כמה דוגמאות למסמכים אחרים: קבצי JavaScript ו- CSS, גרסאות עמוד לנייד, גרסאות hreflang
וקבצי PDF.
כיצד פועלת מגבלת סריקה / עומס על האחסון בפועל?
מגבלת סריקה, או אם תרצו לטעון עומס על אחסון האתר, היא חלק חשוב בתקציב הסריקה. סורקי מנועי חיפוש נועדו למנוע העמסת יתר של שרתי אינטרנט בבקשות ולכן הם נזהרים בנושא זה. כיצד מנועי חיפוש קובעים את מגבלת הסריקה של אתר? ישנם מגוון גורמים המשפיעים על מגבלת הזחילה. להזכיר כמה:
- סימני פלטפורמה במצב לא טוב: באיזו תדירות יש TIMEOUT של כתובות האתרים מבוקשים או האם הכתובות מחזירות שגיאות שרת.
- כמות אתרים פועלים בשרת האחסון: אם האתר שלך פועל בשרת אחסון משותף עם מאות אתרים אחרים, ויש לך אתר גדול למדי מגבלת הסריקה לאתר שלך מוגבלת מאוד מכיוון שמגבלת הסריקה נקבעת ברמת האחסון. מה שקורה בפועל זה שהאתר שלך מקבל את מגבלת הסריקה של האחסון יחד עם כל האתרים האחרים הפועלים בו. במקרה זה יהיה לך הרבה יותר טוב לאחסן בשרת ייעודי משלך, מה שככל הנראה גם יקטין באופן משמעותי את זמני הטעינה באתר שלך.
דבר נוסף שיש לקחת בחשבון הוא שיש אתרים נפרדים לניידים ולשולחן עבודה הפועלים באותו אחסון. יש להם גם מגבלת סריקה משותפת. אז זכור זאת.
כיצד פועלת בפועל בקשת / תזמון סריקה?
בקשת סריקה, או תזמון סריקה, נועדה לקבוע את השווי של כתובות אתרים לסריקה מחדש. שוב, גורמים רבים משפיעים על ביקוש הזחילה, ביניהם:
- פופולריות: כמה קישורים חיצוניים פנימיים ונכנסים נכנסים יש לכתובת אתר, אך גם את כמות השאילתות אליה היא מדורגת.
- רעננות: באיזו תדירות כתובת האתר מתעדכנת.
- סוג העמוד: הוא סוג העמוד שעשוי להשתנות. קחו לדוגמא דף קטגוריית מוצרים, ודף תנאים והגבלות – איזה מהם לדעתכם משתנה בתדירות הגבוהה ביותר ומגיע לו להסרק בתדירות גבוהה יותר?
אל תשכח: יכולת הזחילה של המערכת עצמה
בעוד שמערכות סריקה של מנועי חיפוש הן בעלות יכולת זחילה עצומה, בסופו של יום היא מוגבלת. אז בתרחיש בלהות שבו 80% ממרכזי הנתונים של גוגל נופלים בו זמנית, יכולת הסריקה שלהם פוחתת בצורה מסיבית ובתורו כל תקציב הסריקה של האתרים.
מדוע צריך להיות לך אכפת מתקציב הסריקה?
אתה רוצה שמנועי חיפוש ימצאו ויבינו כמה שיותר דפים הניתנים לאינדקס, ואתה רוצה שהם יעשו זאת במהירות האפשרית. כאשר אתה מוסיף דפים חדשים ומעדכן דפים קיימים, אתה רוצה שמנועי חיפוש יסרקו ויציגו אותם בתוצאות החיפוש בהקדם האפשרי. ככל שמאנדקסים את העמודים מוקדם יותר, כך תוכלו להרוויח מהם מוקדם יותר.
אם אתם מבזבזים את תקציב הסריקה, מנועי החיפוש לא יוכלו לסרוק את האתר שלכם ביעילות. הם יבזבזו זמן בחלקים באתר שלכם שהם לא חשובים, מה שעלול לגרום לחלקים חשובים באתר להישאר נסתרים ממנוע החיפוש. אם הם לא יודעים על דפים, הם לא יסרקו ויצרפו אותם לאינדקס, ולא יוכלו להכניס אליהם מבקרים דרך מנועי חיפוש.
אתם יכולים לראות לאן זה מוביל: בזבוז תקציב הסריקה פוגע בביצועי SEO שלך.
שימו לב שתקציב סריקה הוא בדרך כלל רק משהו שחשוב לדאוג לו אם יש לכם אתר גדול, נניח 10,000 עמודים ומעלה.
כיצד מייעלים את תקציב הסריקה שלך?
אופטימיזציה של תקציב הסריקה שלך מסתכמת בוודאות שלא מבוזבז תקציב סריקה. בעיקרו של דבר, תיקון הסיבות לתקציב סריקה מבוזבז. אנו עוקבים אחר אלפי אתרים; אם היית בודק בכל אחד מהם בעיות תקציב לסריקה, היית רואה דפוס מהיר: רוב האתרים סובלים מאותו סוג של בעיות.
סיבות נפוצות לתקציב סריקה מבוזבז שאנו נתקלים בו:
- כתובות אתרים עם פרמטרים: דוגמה לכתובת אתר עם פרמטר היא
https://www.example.co.il/toys/cars?color=black
. במקרה זה, הפרמטר משמש לאחסון בחירת הגולש במסנן מוצרים. - תוכן כפול : אנו מכנים דפים דומים מאוד, או זהים לחלוטין, "תוכן כפול". דוגמאות לכך הן: דפים שהועתקו, דפי תוצאות של חיפוש פנימי ודפי תגים.
- תוכן באיכות נמוכה: דפים עם מעט מאוד תוכן, או דפים שאינם מוסיפים ערך כלשהו.
- קישורים שבורים ומנותבים מחדש: קישורים שבורים הם קישורים המתייחסים לדפים שאינם קיימים יותר, וקישורים מנותבים הם קישורים לכתובות אתרים המפנות מחדש לכתובות אתרים אחרות.
- הכללת כתובות אתרים שגויות בקובצי Sitemap של XML: דפים שאינם ניתנים לאינדקס ועמודים שאינם דפים כגון 3xx, 4XX ו- 5xx כתובות אתרים לא צריכים להיכלל במפת ה- XML שלך.
- דפים עם זמן טעינה גבוה: לדפים שלוקח להם זמן רב לטעון, או שאינם נטענים כלל, יש השפעה שלילית על תקציב הסריקה שלך, מכיוון שזה סימן למנועי חיפוש שהאתר שלך לא יכול להתמודד איתם וכך הם עשויים להתאים את מגבלת הסריקה שלך.
- מספר רב של עמודים שאינם ניתנים לאינדקס: האתר מכיל הרבה עמודים שאינם ניתנים לאינדקס.
- מבנה קישורים פנימי גרוע: אם מבנה הקישורים הפנימי שלך אינו מוגדר כהלכה, ייתכן שמנועי החיפוש לא יתייחסו לחלק מהדפים שלך מספיק.
כתובות אתרים עם פרמטרים
ברוב המקרים, כתובות אתרים עם פרמטרים לא צריכות להיות נגישות עבור מנועי חיפוש, מכיוון שהן יכולות ליצור כמות אינסופית כמעט של כתובות אתרים. כתבנו רבות על סוגיה זו במאמר שלנו על מלכודות סורקים .
בדרך כלל משתמשים בכתובות אתרים עם פרמטרים בעת הטמעת מסנני מוצרים באתרי מסחר אלקטרוני . זה בסדר להשתמש בהם ,; רק וודא שהם אינם נגישים למנועי חיפוש.
איך אתה יכול להפוך אותם לנגישים למנוע החיפוש?
- השתמש בקובץ ה- robots.txt שלך כדי להורות למנועי החיפוש לא לגשת לכתובות כאלה. אם זה לא אפשרי מסיבה כלשהי, השתמש בהגדרות הטיפול בפרמטרים של כתובות אתרים ב- Google Search Console וב- Bing Webmaster Tools כדי להנחות את Google ו- Bing בנוגע לאילו דפים לא לסרוק.
- הוסף את ערך המאפיין nofollow לקישורים בקישורי סינון. החל ממרץ 2020, גוגל עשויה לבחור להתעלם מה- nofollow. לכן שלב 1 חשוב עוד יותר.
תוכן משוכפל
אינך מעוניין שמנוע החיפוש יבזבז את זמנו בדפי תוכן כפולים , לכן חשוב למנוע, או לכל הפחות למזער את התוכן הכפול באתר שלך.
איך אתה עושה את זה? על ידי…
- הגדרת הפניות לאתר עבור כל גרסות התחום (
HTTP
,HTTPS
,non-WWW
, וWWW
). - הפיכת דפי תוצאות חיפוש פנימיים לנגישים למנועי חיפוש באמצעות robots.txt שלך. הנה דוגמה של robots.txt לאתר WordPress .
- השבתת עמודים ייעודיים לתמונות (לדוגמא: עמודי הקובץ המצורפים לתמונות בוורדפרס).
- היזהר מהשימוש שלך בטקסונומיות כגון קטגוריות ותגים.
סיבות טכניות נוספות לתוכן כפול וכיצד לתקן אותם:
תוכן באיכות נמוכה
דפים עם מעט מאוד תוכן אינם מעניינים את מנועי החיפוש. הימנע מהם לחלוטין במידת האפשר. דוגמה אחת לתוכן באיכות נמוכה היא קטע שאלות נפוצות עם קישורים המציגים את השאלות והתשובות, כאשר כל שאלה ותשובה מוגשת דרך כתובת URL נפרדת.
קישורים שבורים ומנותבים מחדש
קישורים שבורים ושרשראות ארוכות של הפניות מחדש הם מבוי סתום עבור מנועי החיפוש. בדומה לדפדפנים, נראה כי גוגל עוקבת אחר מקסימום חמש הפניות מקושרות בסריקה אחת (הם עשויים לחדש את הסריקה בהמשך). לא ברור עד כמה מנועי חיפוש אחרים מתמודדים עם הפניות בהמשך, אך אנו ממליצים בחום להימנע לחלוטין מהפניות מקושרות מחדש ולשמור על שימוש בהפניות מחדש למינימום.
ברור שעל ידי תיקון קישורים שבורים והפניית קישורים תוכל לשחזר במהירות את תקציב הסריקה המבוזבז. מלבד התאוששות תקציב הסריקה, אתה משפר משמעותית את חוויית המשתמש של המבקר. הפניות מחדש ושרשראות של הפניות מחדש במיוחד גורמות לזמן טעינה ארוך יותר של הדף ובכך פוגעות בחוויית המשתמש.
כדי להקל על מציאת קישורים שבורים ומנתבים מחדש, הקדשנו לכך נושאים מיוחדים בתוך ContentKing.
עבור אל Issues
> Links
כדי לברר אם אתה מבזבז תקציבי סריקה בגלל קישורים פגומים. עדכן כל קישור כך שהוא יקשר לדף הניתן לאינדקס, או הסר את הקישור אם אין בו עוד צורך.
כתובות אתרים שגויות בקובצי Sitemap של XML
כל כתובות ה- URL הכלולות בקובצי ה- Sitemap של XML צריכות להיות עבור דפים הניתנים לאינדקס. במיוחד באתרים גדולים, מנועי החיפוש מסתמכים במידה רבה על קובצי Sitemap של XML כדי למצוא את כל הדפים שלך. אם קובצי ה- Sitemap של ה- XML שלך עמוסים בדפים, למשל, כבר לא קיימים או מפנים מחדש, אתה מבזבז תקציב סריקה. בדוק באופן קבוע את מפת ה- XML שלך לגבי כתובות אתרים שאינן ניתנות לאינדקס שאינן שייכות לשם. בדוק גם את ההפך: חפש דפים שאינם כלולים באופן שגוי ממפת ה- XML. מפת ה- XML היא דרך נהדרת לעזור למנועי חיפוש לבזבז את תקציב הסריקה בצורה חכמה.
אחת השיטות הטובות ביותר לאופטימיזציה של תקציב הסריקה היא לפצל את מפת ה- XML שלך ל- Sitemaps קטנים יותר. תוכל למשל ליצור קובצי Sitemap של XML עבור כל אחד מדורי האתר שלך. אם עשית זאת, תוכל לקבוע במהירות אם מתרחשות בעיות בחלקים מסוימים באתר שלך.
נניח ש- Sitemap ה- XML שלך לקטע A מכיל 500 קישורים, ו -480 הם באינדקס: אז אתה עושה די טוב. אבל אם מפת ה- XML שלך עבור קטע B מכילה 500 קישורים ורק 120 מקושרים לאינדקס, זה משהו לבחון. יתכן שהוספתם הרבה כתובות אתרים שאינן ניתנות לאינדקס במפת ה- XML עבור קטע ב '.
דפים עם זמני טעינה / פסק זמן גבוהים
כאשר לדפים יש זמני טעינה גבוהים או שהם פוסקים זמן קצוב, מנועי חיפוש יכולים לבקר בפחות עמודים במסגרת תקציב הסריקה המוקצב שלהם לאתר שלך. מלבד החיסרון הזה, זמני טעינה ופסקי זמן גבוהים של עמודים פוגעים משמעותית בחוויית המשתמש של האורח שלך, וכתוצאה מכך יחס המרה נמוך יותר.
זמני טעינת הדפים מעל שתי שניות הם בעיה. באופן אידיאלי, העמוד שלך יוטען תוך פחות משנייה אחת. בדוק באופן קבוע את זמני טעינת הדף שלך בעזרת כלים כגון Pingdom , WebPagetest או GTmetrix .
גוגל מדווחת על זמן טעינת הדפים גם ב- Google Analytics (תחת Behavior
> Site Speed
) וגם ב- Google Search Console תחת Crawl
> Crawl Stats
.
מסוף החיפוש של Google וכלי מנהלי האתרים של בינג מדווחים שניהם על פסק זמן לדפים. במסוף החיפוש של Google ניתן למצוא זאת תחת Crawl
> Crawl Errors
ובכלי בינג-מאסטר של בינג זה תחת Reports & Data
> Crawl Information
.
בדוק באופן קבוע אם הדפים שלך נטענים מספיק מהר, ונקוט בפעולה באופן מיידי אם הם לא. טעינה מהירה של דפים חיונית להצלחה המקוונת שלך.
מספר רב של עמודים שאינם ניתנים לאינדקס
אם האתר שלך מכיל מספר רב של עמודים שאינם ניתנים לאינדקס ונגישים למנועי חיפוש, אתה בעצם מעסיק מנועי חיפוש בחיפוי דפים לא רלוונטיים.
אנו רואים בסוגים הבאים דפים שאינם ניתנים לאינדקס:
- הפניות מחדש (3xx)
- דפים שלא ניתן למצוא (4xx)
- דפים עם שגיאות שרת (5xx)
- דפים שאינם ניתנים לאינדקס (דפים המכילים את הוראת ה- noindex של הרובוטים או את כתובת האתר הקנונית)
על מנת לברר אם יש לך מספר גבוה של עמודים שאינם ניתנים לאינדקס, חפש את המספר הכולל של עמודים שהסורקים מצאו באתר שלך.
מבנה קישורים פנימי גרוע
האופן שבו דפים באתר שלך מקשרים זה לזה ממלאים תפקיד גדול באופטימיזציה של תקציב הסריקה. אנו מכנים זאת מבנה הקישורים הפנימי של האתר שלך. מלבד קישורים נכנסים בצד, דפים שיש בהם מעט קישורים פנימיים מקבלים הרבה פחות תשומת לב ממנועי החיפוש מאשר דפים שמקושרים אליהם על ידי הרבה דפים.
הימנע ממבנה קישורים היררכי מאוד, כאשר עמודים באמצע מכילים מעט קישורים. במקרים רבים דפים אלה לא ייסרקו לעתים קרובות. זה גרוע עוד יותר עבור דפים הנמצאים בתחתית ההיררכיה: בגלל כמות הקישורים המוגבלת שלהם, ייתכן מאוד שהם נזנחים על ידי מנועי החיפוש.
וודא שבדפים החשובים ביותר שלך יש הרבה קישורים פנימיים. דפים שנסרקו לאחרונה בדרך כלל מדורגים טוב יותר במנועי החיפוש. זכור זאת והתאם לכך את מבנה הקישורים הפנימי שלך.
לדוגמא, אם יש לכם מאמר בבלוג משנת 2011 שמניע תנועה אורגנית רבה, דאגו להמשיך ולקשר אליו מתוכן אחר. מכיוון שהפקת מאמרים רבים אחרים בבלוג במהלך השנים, מאמר זה משנת 2011 נדחק אוטומטית למטה במבנה הקישורים הפנימי של האתר שלך.
איך להגדיל את תקציב הסריקה של האתר שלך?
במהלך ראיון שנערך בין אריק אנז'ה לבין ראש צוות ספאם האינטרנט של גוגל לשעבר מאט קאטס, הועלה הקשר בין סמכות לתקציב סריקה:
למרות שגוגל זנחה עדכון ערכי PageRank של דפים באופן ציבורי, אנו חושבים (סוג של) PageRank עדיין משמש באלגוריתמים שלהם. מכיוון ש- PageRank הוא מונח לא מובן ומבלבל, בואו נקרא לזה סמכות דף . הטייק-אוויי כאן הוא שמאט קאטס בעצם אומר: יש קשר די חזק בין סמכות הדף לתקציב הסריקה .
לכן, כדי להגדיל את תקציב הסריקה של האתר שלך, עליך להגדיל את הסמכות של האתר שלך. חלק גדול מזה נעשה על ידי צבירת קישורים נוספים מאתרים חיצוניים.
שאלות נפוצות על תקציב סריקה
1. מהו תקציב סריקה?
המונח תקציב סריקה משקף את כל המושגים והמערכות הקשורים בהם משתמשים מנועי החיפוש כדי להבין באילו וכמה דפים באתר עליהם לסרוק.
2. כיצד אוכל להגדיל את תקציב הסריקה שלי?
גוגל ציינה שיש קשר חזק בין סמכות הדף לתקציב הסריקה. ככל שיש לדף יותר סמכות, כך יש לו יותר תקציב סריקה. במילים פשוטות, כדי להגדיל את תקציב הסריקה שלך, בנה את סמכות הדף שלך.
3. מה יכול להגביל את תקציב הסריקה שלי?
מגבלת הסריקה מבוססת על גורמים רבים, כגון מצב האתר ויכולות האירוח. סורקי מנועי חיפוש מוגדרים למנוע עומס יתר על שרת אינטרנט. אם האתר שלך מחזיר שגיאות שרת או אם כתובות האתרים המבוקשות פסקות לעתים קרובות, תקציב הסריקה יהיה מוגבל יותר. באופן דומה, אם האתר שלך פועל על פלטפורמת אירוח משותפת, מגבלת הסריקה תהיה גבוהה יותר מכיוון שאתה צריך לשתף את תקציב הסריקה שלך עם אתרים אחרים הפועלים באחסון.
4. האם עלי בכלל להשתמש בכתובות URL קנוניקל ובמטא-טאגים?
כן, וחשוב להבין את ההבדלים בין בעיות אינדקס לבעיות סריקה.
תגי קנוניקל ומטה טאגים אמורים לשלוח איתות ברורה למנוע חיפוש מה דף הם צריכים להראות באינדקס שלהם.
אתה יכול להשתמש בקובץ robots.txt וביחס הקישור nofollow לטיפול בבעיות סריקה.