תכנון אסטרטגיית אחסון אופטימלית לעומס העבודה בענן

המדריך הזה יעזור לכם להעריך את דרישות האחסון של עומס העבודה בענן, להבין את אפשרויות האחסון שזמינות ב- Google Cloudולתכנן אסטרטגיית אחסון שתספק ערך טכני ועסקי אופטימלי.

למידע על בחירת שירותי אחסון לעומסי עבודה של AI ו-ML, קראו את המאמר סקירה כללית על שירותי אחסון לעומסי עבודה של AI ו-ML ב-AI Hypercomputer.

סקירה כללית של תהליך העיצוב

כ-Cloud Architect, כשמתכננים אחסון לעומס עבודה בענן, צריך קודם כל להביא בחשבון את המאפיינים הפונקציונליים של עומס העבודה, את מגבלות האבטחה, את דרישות העמידות, את הציפיות לגבי הביצועים ואת יעדי העלות. אחר כך צריך לבדוק את שירותי האחסון והתכונות שזמינים ב-Google Cloud. לאחר מכן, בהתאם לדרישות שלכם ולאפשרויות הזמינות, אתם בוחרים את שירותי האחסון והתכונות שאתם צריכים. בתרשים הבא מוצג תהליך התכנון בשלושת השלבים:

הגדרת הדרישות

השאלונים שבקטע הזה יעזרו לכם להגדיר את דרישות האחסון העיקריות של עומס העבודה שאתם רוצים לפרוס ב- Google Cloud.

הנחיות להגדרת דרישות האחסון

כשעונים על השאלונים, חשוב לפעול לפי ההנחיות הבאות:

• הגדרת דרישות ברמת פירוט גבוהה

  לדוגמה, אם האפליקציה שלכם צריכה אחסון קבצים שמבוסס על מערכת קובצי רשת (NFS), צריך לזהות את גרסת ה-NFS הנדרשת.

• התחשבות בדרישות עתידיות

  לדוגמה, יכול להיות שהפריסה הנוכחית שלכם משרתת משתמשים במדינות באסיה, אבל אתם מתכננים להרחיב את העסק ליבשות אחרות. במקרה כזה, כדאי להביא בחשבון את כל הדרישות הרגולטוריות שקשורות לאחסון באזורים העסקיים החדשים.

• הזדמנויות ודרישות ספציפיות לענן

  • לנצל הזדמנויות ספציפיות לענן.

    לדוגמה, כדי לייעל את עלות האחסון של נתונים ב-Cloud Storage, אתם יכולים לשלוט במשך האחסון באמצעות מדיניות שמירת נתונים והגדרות של מחזור החיים.

  • כדאי להביא בחשבון דרישות ספציפיות לענן.

    לדוגמה, יכול להיות שהנתונים המקומיים נמצאים במרכז נתונים אחד, ואתם צריכים לשכפל את הנתונים שהועברו בשני מיקומים שלGoogle Cloud כדי ליצור יתירות.

שאלונים

השאלונים הבאים הם לא רשימות מקיפות של משימות לתכנון. השתמשו בהן כנקודת התחלה לניתוח שיטתי של כל דרישות האחסון של עומס העבודה שאתם רוצים לפרוס ב- Google Cloud.

הערכת המאפיינים של עומס העבודה

• איזה סוג של נתונים אתם צריכים לאחסן?

  דוגמאות

  • תוכן סטטי של אתר
  • גיבויים וארכיונים לתוכנית התאוששות מאסון (DR)
  • יומני ביקורת לצורכי תאימות
  • אובייקטים גדולים של נתונים שהמשתמשים מורידים ישירות
  • נתוני עסקאות
  • נתונים לא מובנים והטרוגניים

• כמה נפח אחסון דרוש לך? חשבו על הדרישות הנוכחיות והעתידיות שלכם.

• האם הקיבולת צריכה להשתנות באופן אוטומטי בהתאם לשימוש?

• מהן דרישות הגישה? לדוגמה, האם צריכה להיות גישה לנתונים מחוץ ל- Google Cloud?

• מהן תבניות הקריאה והכתיבה הצפויות?

  דוגמאות

  • כתיבה וקריאה תכופות
  • כתיבה תכופה, אבל קריאה מדי פעם
  • כתיבה וקריאה מדי פעם
  • כתיבה מדי פעם, אבל קריאה לעיתים קרובות

• האם עומס העבודה צריך גישה מבוססת-קובץ, למשל באמצעות NFS?

• האם כמה לקוחות צריכים להיות מסוגלים לקרוא או לכתוב נתונים בו-זמנית?

זיהוי אילוצי אבטחה

• מהן הדרישות שלכם להצפנת נתונים? לדוגמה, האם אתם צריכים להשתמש במפתחות שבשליטתכם?

• האם יש דרישות לגבי מיקום אחסון הנתונים?

הגדרת דרישות לעמידות הנתונים

• האם עומס העבודה שלכם דורש שמירה במטמון עם זמן אחזור קצר או שטח זמני?
• האם צריך לשכפל את הנתונים בענן לצורך יתירות?
• האם אתם צריכים עקביות קפדנית של קריאה וכתיבה בקבוצות נתונים משוכפלות?

הגדרת ציפיות לגבי הביצועים

• מה קצב הקלט/פלט הנדרש?

• מהן רמות הקצב של הקריאה והכתיבה שהאפליקציה צריכה?

• לאילו סביבות דרוש לך אחסון? לעומס עבודה מסוים, יכול להיות שתצטרכו אחסון עם ביצועים גבוהים לסביבת הייצור, אבל תוכלו לבחור אפשרות עם ביצועים נמוכים יותר לסביבות ללא ייצור.

אפשרויות האחסון

ב-Google Cloud יש שירותי אחסון לכל הפורמטים העיקריים של אחסון: בלוק, קובץ ואובייקט. בודקים ומעריכים את התכונות, אפשרויות העיצוב והיתרונות היחסיים של השירותים שזמינים לכל פורמט אחסון.

סקירה כללית

ניתוח השוואתי

בטבלה הבאה מפורטות היכולות העיקריות של שירותי האחסון ב-Google Cloud.

	Persistent Disk	Hyperdisk	אחסון SSD מקומי	Filestore	Managed Lustre	NetApp Volumes	Cloud Storage
מגבלת קיבולת fullscreen	‫64TiB לכל דיסק ו-257TiB לכל מכונה וירטואלית. המפרטים העדכניים: מסמכי התיעוד של Persistent Disk	‫64TiB לכל דיסק, 512TiB לכל VM ו-5PiB לכל מאגר אחסון. ‫Google Cloud Hyperdisk Exapools הם מאגרי Hyperdisk עם קיבולת גדולה יותר. המפרטים העדכניים: מסמכי התיעוד של Hyperdisk	‫375GiB לכל דיסק ו-12,000GiB לכל VM. דיסקים מסוג Titanium SSD תומכים בנפח של עד 6TiB לדיסק ו-84,000GiB לכל מכונה וירטואלית. המפרטים העדכניים: מסמכי התיעוד של SSD מקומי	‫100TiB לכל מכונה, בהתאם לרמת השירות.	‫80.1PiB לכל מכונה, בהתאם לרמת הביצועים.	‫20PiB לכל Storage Pool ו-20PiB לכל נפח. המפרטים העדכניים: מסמכי התיעוד של NetApp Volumes	‫5TiB לכל אובייקט, ללא הגבלה לכל קטגוריה (חוץ מ-Rapid Bucket). המפרטים העדכניים: מסמכי התיעוד של Cloud Storage
התאמה לעומס aspect_ratio	הגדלה הוספה והסרה של דיסקים התאמה אוטומטית לעומס	הגדלת הקיבולת הגדלה והקטנה של הביצועים הוספה והסרה של דיסקים	לא ניתן להתאמה	הגדלה והקטנה של נפח האחסון (רמות אזוריות ושל תחום מוגדר)	הגדלה	הגדלה והקטנה של התצוגה	התאמה אוטומטית לעומס (scaling) על סמך השימוש
שיתוף share	יש תמיכה	יש תמיכה	אי אפשר לשתף	אפשר לטעון אותו בכמה מכונות וירטואליות של Compute Engine, לקוחות מרוחקים ואשכולות GKE.	אפשר לטעון אותו בכמה מכונות וירטואליות של Compute Engine ואשכולות GKE.	אפשר לטעון אותו בכמה מכונות וירטואליות של Compute Engine, לקוחות מרוחקים ואשכולות GKE.	קריאה/כתיבה מכל מקום משתלב עם Cloud CDN ועם רשתות CDN של צד שלישי
אפשרויות למפתח הצפנה enhanced_encryption	Google-owned and Google-managed encryption keys בניהול הלקוח	Google-owned and Google-managed encryption keys בניהול הלקוח	Google-owned and Google-managed encryption keys	Google-owned and Google-managed encryption keys בניהול הלקוח	Google-owned and Google-managed encryption keys בניהול הלקוח	Google-owned and Google-managed encryption keys בניהול הלקוח	Google-owned and Google-managed encryption keys בניהול הלקוח שסופקו על ידי הלקוח
עקביות save	משך החיים של הדיסק	משך החיים של הדיסק	זמני (הנתונים נמחקים כשהמכונה הווירטואלית נעצרת או נמחקת)	משך החיים של מכונת Filestore	משך החיים של המכונה ב-Managed Lustre	משך החיים של הנפח	משך החיים של הקטגוריה
זמינות content_copy	אזורי רפליקציה סינכרונית בין אזורים רפליקציה אסינכרונית בין אזורים תמונות מצב (ידניות או מתוזמנות) שכפול דיסק	אזורי רפליקציה סינכרונית בין אזורים רפליקציה אסינכרונית בין אזורים תמונות מצב (ידניות או מתוזמנות) שכפול דיסק	אזורי	אזורי או תחום, בהתאם לרמה תמונות מצב (רמות אזוריות ושל תחום מוגדר) גיבויים רפליקציה (רמות אזוריות ושל תחום מוגדר)	אזורי	אזורי (Flex Unified) או של תחום מוגדר (כל הרמות) גיבויים תמונות מצב רפליקציה בין מיקומים	הנתונים מאוחסנים ביתירות באזורים שונים (חוץ מ-Rapid Bucket) אפשרויות ליתירות בין אזורים מחיקה רכה וניהול גרסאות של אובייקטים
ביצועים speed	שינוי קנה מידה לינארי בהתאם לגודל הדיסק ולמספר המעבדים	אחסון מתמיד עם התאמה דינמית לעומס	אחסון זמני בביצועים גבוהים	אזוריים ושל תחום מוגדר: ביצועים בהתאמה אישית	התאמה לעומס (scaling) על סמך רמת הביצועים שנבחרה.	ביצועים ניתנים להתאמה הציפיות תלויות ברמת השירות.	התאמה אוטומטית לעומס של קצבי קריאה וכתיבה וחלוקה מחדש דינמית של העומס Rapid Bucket Rapid Cache
ניהול construction	הגדרה ידנית של הפורמט והטעינה	הגדרה ידנית של הפורמט והטעינה	פרמוט, חלוקה לפסים וטעינה באופן ידני	מנוהל באופן מלא	מנוהל באופן מלא	מנוהל באופן מלא	מנוהל באופן מלא

בטבלה הבאה מפורטים סוגי עומסי העבודה שמתאימים לכל אחת מאפשרויות האחסון ב- Google Cloud:

אפשרות אחסון	סוגי עומסי עבודה
Hyperdisk או Persistent Disk	אפליקציות שדורשות הרבה פעולות קלט/פלט לשנייה או שרגישות לזמן אחזור מסדי נתונים אחסון משותף לקריאה בלבד גיבויים מהירים ועמידים של מכונות וירטואליות ניתוח נתונים בהרחבה אופקית (scale out)
אחסון SSD מקומי	מסדי נתונים שעברו אופטימיזציה ל-Flash שמירה במטמון חם לניתוח נתונים דיסק אחסון נדיף (scratch disk)
Filestore	העברה של מערכות קבצים מקומיות ללא שינוי (lift-and-shift) קובצי תצורה משותפים כלים ושירותים נפוצים יומנים מרכזיים
Managed Lustre	עומסי עבודה של AI ו-ML HPC
NetApp Volumes	העברה של מערכות קבצים מקומיות (on-premises) בשיטת lift-and-shift קובצי תצורה משותפים כלים ושירותים נפוצים יומנים מרכזיים עומסי עבודה ב-Windows עומסי עבודה של אוטומציה לתכנון אלקטרוני (EDA)
Cloud Storage	עומסי עבודה של AI ו-ML סרטונים בסטרימינג ספריות של נכסי מדיה אגמי נתונים (data lakes) עם תפוקה גבוהה גיבויים וארכיונים תוכן "זנב ארוך"

בחירת אפשרות אחסון

בחירת אפשרות אחסון מורכבת משני חלקים:

• החלטה אילו שירותי אחסון נדרשים לכם.
• בחירת התכונות ואפשרויות העיצוב הנדרשות בשירות מסוים.

  דוגמאות לתכונות ולאפשרויות עיצוב ספציפיות לשירות

  Persistent Disk

  • אזור ותחום (zone) לפריסה
  • רפליקציה אזורית
  • סוג הדיסק, הגודל ו-IOPS (ל-Extreme Persistent Disk)
  • מפתחות הצפנה: Google-owned and Google-managed encryption keysאו בניהול הלקוח
  • לוח זמנים של תמונות מצב

  Hyperdisk

  • אזור ותחום (zone) לפריסה
  • סוג הדיסק, הגודל שלו, וה-IOPS או קצב הנתונים שהוקצו לו
  • מפתחות הצפנה: Google-owned and Google-managed encryption keysאו בניהול הלקוח
  • שכפול: סינכרוני או אסינכרוני
  • לוח זמנים של תמונות מצב

  Filestore

  • אזור ותחום (zone) לפריסה
  • רמת המכונה
  • קיבולת
  • טווח כתובות IP: הקצאה אוטומטית או בהתאמה אישית
  • בקרת גישה

  Managed Lustre

  • אזור הפריסה
  • רמת הקיבולת והביצועים
  • מפתחות הצפנה: Google-owned and Google-managed encryption keysאו בניהול הלקוח

  NetApp Volumes

  • אזור הפריסה
  • רמת השירות של מאגר האחסון
  • קיבולת המאגר והנפח
  • פרוטוקול עוצמת הקול
  • כללי ייצוא של אמצעי אחסון

  Cloud Storage

  • מיקום: מספר אזורים, שני אזורים, אזור יחיד, תחום יחיד
  • סוג האחסון: Standard,‏ Nearline,‏ Coldline,‏ Archive או Rapid
  • בקרת גישה: אחידה או פרטנית
  • מפתחות הצפנה: Google-owned and Google-managed encryption keys, בניהול הלקוח או באספקת הלקוח
  • מדיניות שמירת נתונים

המלצות לאחסון

ההמלצות הבאות יכולות לשמש כנקודת התחלה לבחירת שירותי האחסון והתכונות שעונים על הדרישות שלכם. במאמר סקירה כללית של שירותי אחסון לעומסי עבודה של AI ו-ML ב-AI Hypercomputer מוסבר איך לבחור שירות אחסון לעומסי עבודה של AI ו-ML.

• לאפליקציות של AI,‏ ML ו-HPC שצריכות מערכת קבצים מקבילה, השתמשו ב-Managed Lustre.

• לאפליקציות שצריכות גישה מבוססת-קובץ, בחרו שירות אחסון קבצים מתאים על סמך הדרישות שלכם לפרוטוקול גישה, זמינות וביצועים.

  פרוטוקול גישה	המלצה
  NFS	אם אתם צריכים זמינות אזורית וביצועים גבוהים שניתנים להגדרה, השתמשו ב-Filestore Regional או ב-NetApp Volumes Flex Unified. אם הזמינות באזור מספיקה: כדי להגדיר את הביצועים בנפרד מהקיבולת, צריך להשתמש ב-Filestore Zonal או ב-NetApp Volumes Flex Unified. כדי שהביצועים יותאמו לקיבולת, צריך להשתמש ב-Filestore Zonal או ב-NetApp Volumes Standard,‏ Premium או Extreme. מידע נוסף זמין במאמרים רמות השירות של Filestore ו רמות השירות של NetApp Volumes.
  SMB	שימוש ב-NetApp Volumes.

• לעומסי עבודה שדורשים אחסון ראשי עם ביצועים גבוהים, השתמשו ב-Hyperdisk, ב-Local SSD או ב-Persistent Disk, בהתאם לדרישות שלכם.

  דרישה	המלצה
  דיסק אחסון נדיף (scratch disk) או מטמון מהיר	שימוש בדיסקים של SSD מקומי (זמני).
  אחסון בלוקים עם ביצועים וקיבולת שניתן להתאים לעומס באופן עצמאי	להשתמש ב-Hyperdisk, שהוא אחסון הבלוקים העמיד שמומלץ על ידי Google ונדרש לסדרות המכונות העדכניות ביותר. בוחרים את סוג הדיסק המתאים בהתאם לדרישות: עומסי עבודה למטרות כלליות: hyperdisk-balanced עומסי עבודה גבוהים של קלט/פלט, כמו מסדי נתונים עם ביצועים גבוהים: hyperdisk-extreme ניתוח נתונים בהרחבה אופקית, כונני נתונים לאפליקציות שרגישות לעלויות ואחסון נתונים בשימוש נדיר (cold storage): hyperdisk-throughput עומסי עבודה של ML שדורשים תפוקה גבוהה לכמה מכונות וירטואליות במצב קריאה בלבד: hyperdisk-ml במצב קריאה בלבד כמה מכונות וירטואליות עם גישת כתיבה בו-זמנית לאותו דיסק: hyperdisk-balanced-high-availability (בשני אזורים באותו מחוז) או hyperdisk-balanced או hyperdisk-extreme (באזור אחד) במצב כתיבה מרובה מידע נוסף זמין במאמר מידע על Hyperdisk.
  אחסון בלוקים (block storage) עם קיבולת ניתנת להתאמה למכונות וירטואליות מהדור הקודם	שימוש בדיסק אחסון מתמיד (persistent disk). בוחרים את סוג הדיסק המתאים לפי הדרישות: ‫IOPS רציף: pd-standard עומסי עבודה שדורשים הרבה פעולות קלט/פלט לשנייה: pd-extreme או pd-ssd איזון בין ביצועים לעלות: pd-balanced מידע נוסף זמין במאמר מידע על Persistent Disk.

  • בהתאם לדרישות היתירות, בוחרים בין דיסקים אזוריים לדיסקים של אזור נתון.

    דרישה	המלצה
    יתירות בתחום אחד באזור מסוים	משתמשים ב-Hyperdisk או בדיסק לאחסון מתמיד של תחום.
    יתירות במספר אזורים בתוך אזור	משתמשים ב-Google Cloud Hyperdisk Balanced High Availability או ב-Persistent Disk אזורי.

• לאחסון בקנה מידה גדול וזמין באופן גלובלי, השתמשו ב-Cloud Storage.

  בהתאם לתדירות הגישה לנתונים ולמשך האחסון, בוחרים סוג אחסון מתאים ב-Cloud Storage.

  דרישה	המלצה
  תדירות הגישה משתנה, או שתקופת שמירת הנתונים לא ידועה או לא צפויה.	אפשר להשתמש בתכונה סיווג אוטומטי כדי להעביר באופן אוטומטי את האובייקטים שבקטגוריה לסוגי אחסון מתאימים, בהתאם לתדירות הגישה לכל אובייקט.
  אחסון אזורי לעומסי עבודה שדורשים זמן אחזור של פחות מאלפית השנייה וקצב נתונים גבוה, כמו אימון AI ו-ML, נקודות ביקורת, הסקת מסקנות וניתוח נתונים.	משתמשים ב-Rapid Bucket עם סוג האחסון Rapid.
  אחסון לנתונים שניגשים אליהם לעיתים קרובות, כולל ניתוח נתונים עם תפוקה גבוהה, אגמי נתונים, אתרים, סרטוני וידאו בסטרימינג ואפליקציות לנייד.	משתמשים בסוג האחסון Standard. כדי לשמור במטמון נתונים שניגשים אליהם לעיתים קרובות ולספק אותם ממיקומים שקרובים ללקוחות, משתמשים ב-Cloud CDN. בעומסי עבודה שכוללים הרבה קריאות, עם שינויים לא תכופים בנתונים וקריאות תכופות (כמו אימון ML, היקש וניתוח נתונים), אתם יכולים לשפר את ביצועי הקריאה ולהפחית את עלויות העברת הנתונים באמצעות Rapid Cache.
  אחסון בעלות נמוכה לנתונים שניגשים אליהם לעיתים רחוקות, שאפשר לאחסן למשך 30 ימים לפחות (לדוגמה, גיבויים ותוכן מולטימדיה "זנב ארוך").	משתמשים בסוג האחסון Nearline.
  אחסון בעלות נמוכה לנתונים שניגשים אליהם לעיתים רחוקות, שאפשר לאחסן למשך 90 ימים לפחות (לדוגמה, תוכנית התאוששות מאסון).	משתמשים בסוג האחסון Coldline.
  ‫Archive Storage: האחסון הזול ביותר לנתונים שניגשים אליהם לעיתים רחוקות, שאפשר לאחסן למשך 365 ימים לפחות, כולל ארכיונים רגולטוריים.	משתמשים בסוג האחסון Archive.

  לניתוח השוואתי מפורט, ראו סוגי אחסון ב-Cloud Storage.

אפשרויות להעברת נתונים

אחרי שבוחרים את שירותי האחסון המתאימים של Google Cloud , כדי לפרוס ולהריץ עומסי עבודה צריך להעביר את הנתונים אל Google Cloud. יכול להיות שהנתונים שאתם צריכים להעביר נמצאים במקום או בפלטפורמות אחרות בענן.

אפשר להשתמש בשיטות הבאות כדי להעביר נתונים אל Google Cloud:

• העברת נתונים אונליין באמצעות Storage Transfer Service: אוטומציה של העברת כמויות גדולות של נתונים בין מערכות לאחסון אובייקטים וקבצים, כולל Cloud Storage,‏ Amazon S3, שירותי אחסון של Azure ומקורות נתונים מקומיים.
• העברת נתונים אופליין באמצעות Transfer Appliance: העברה וטעינה של כמויות גדולות של נתונים אופליין ל- Google Cloud במצבים שבהם הקישוריות לרשת ורוחב הפס לא זמינים, מוגבלים או יקרים.
• העלאת נתונים ל-Cloud Storage: העלאת נתונים אונליין לקטגוריות של Cloud Storage באמצעות מסוף Google Cloud ,‏ Google Cloud CLI,‏ Cloud Storage API או ספריות לקוח.

כשבוחרים שיטה להעברת נתונים, צריך להביא בחשבון גורמים כמו גודל הנתונים, מגבלות זמן, זמינות רוחב הפס, יעדי עלות ודרישות אבטחה ותאימות. למידע על תכנון והטמעה של העברות נתונים אל Google Cloud, קראו את המאמר אפשרויות להעברת נתונים.

המאמרים הבאים

• הערכת עלות האחסון באמצעות מחשבון התמחור שלGoogle Cloud .
• מידע ולמידה על שיטות מומלצות לבניית טופולוגיית ענן שמותאמת לאבטחה, לעמידות, לעלות ולביצועים.
• לדוגמאות נוספות של ארכיטקטורות, תרשימים ושיטות מומלצות, עיינו במאמר Cloud Architecture Center.

שותפים ביצירת התוכן

מחבר: Kumar Dhanagopal | מפתח פתרונות חוצי-מוצרים

תורמים אחרים:

• Brennan Doyle | Solutions Architect
• דין הילדברנד | מנהל טכני, משרד ה-CTO
• ג'פרי נור | מנהל קבוצת מוצרים
• ג'ק ז'ו | כותב טכני
• ג'ייסון וו | מנהל, ניהול מוצר
• ג'ף אלן | אדריכל פתרונות
• סמנתה הי | כותבת טכנית
• שון דרינגטון | מנהל קבוצת מוצרים, אחסון