סקירה כללית על חילוץ אוטומטי

נתמך ב:

במסמך הזה מוסבר איך המערכת מחלצת נתונים באופן אוטומטי כדי לשפר את היכולת להטמיע, לעבד ולנתח נתונים.

‫Google Security Operations משתמשת בכלי ניתוח מובנים כדי לחלץ נתוני יומן ולבנות אותם לפי סכימת Unified Data Model‏ (UDM). ניהול המנתחים האלה ותחזוקה שלהם יכולים להיות מאתגרים בגלל כמה מגבלות: חילוץ נתונים לא מלא, מספר המנתחים שצריך לנהל גדל, ונדרשים עדכונים תכופים ככל שפורמטים של יומנים מתפתחים.

כדי להתמודד עם האתגרים האלה, אפשר להשתמש בתכונת החילוץ האוטומטי. התכונה הזו מחלצת באופן אוטומטי צמדי מפתח-ערך מיומנים בפורמט JSON ופורמט XML שמוזנים ל-Google SecOps. הוא תומך גם ביומנים בפורמט Syslog שכוללים הודעת JSON. הנתונים שחולצו מאוחסנים ב-UDM, בשדה מסוג מפה שנקרא extracted. אחר כך אפשר להשתמש בנתונים האלה בשאילתות חיפוש ב-UDM, בלוחות בקרה מקוריים ובכללי YARA-L.

כדי לשפר את הביצועים של שאילתות חיפוש, מומלץ שחיפושים ב-UDM באמצעות שדות שחולצו יכללו את metadata.log_type בשאילתה.

היתרון של חילוץ אוטומטי הוא הפחתת ההסתמכות על מנתחים, מה שמבטיח שהנתונים יישארו זמינים, גם כשאין מנתח או כשהוא לא מצליח לנתח יומן.

ניתוח וחילוץ נתונים מיומן הגולמי

  1. ניתוח (Parsing): מערכת Google SecOps מנסה לנתח יומנים באמצעות כלי ניתוח (parser) שספציפי לסוג היומן, אם הוא זמין. אם אין מנתח ספציפי או אם הניתוח נכשל, Google SecOps משתמש במנתח כללי כדי לחלץ מידע בסיסי כמו חותמת הזמן של ההטמעה, סוג היומן ותוויות המטא-נתונים.

  2. חילוץ נתונים: חילוץ אוטומטי לא מופעל כברירת מחדל. מביעים הסכמה ובוחרים את השדות הספציפיים (נקודות הנתונים) שרוצים לחלץ מהיומנים.

  3. העשרת אירועים: מערכת Google SecOps משלבת את הנתונים המנותחים ואת כל השדות המותאמים אישית כדי ליצור אירועים מועשרים, וכך מספקת יותר הקשר ופרטים.

  4. העברת נתונים במורד הזרם: האירועים המועשרים האלה נשלחים למערכות אחרות לצורך ניתוח ועיבוד נוספים.

  • אם יש מנתח: לא מתבצעת חילוץ אוטומטי של ברירת המחדל. צריך להביע הסכמה מפורשת לשימוש בשדות הספציפיים שנדרשים, כמו שמוסבר בקטע עבודה עם כלי חילוץ.
  • אם אין מנתח: מתבצעת חילוץ אוטומטי של 100 השדות הראשונים.

עבודה עם מחלצים

בעזרת מחלצים אפשר לחלץ שדות מכל מקורות היומן הנתמכים, והם מיועדים לאופטימיזציה של ניהול היומנים. שימוש בכלי החילוץ מאפשר לצמצם את גודל האירוע, לשפר את יעילות הניתוח ולקבל שליטה טובה יותר על חילוץ הנתונים. האפשרות הזו שימושית במיוחד לניהול סוגים חדשים של יומנים או לקיצור זמן העיבוד.

אפשר ליצור מחלצים באמצעות התפריט SIEM Settings או על ידי ביצוע חיפוש ביומן גולמי.

יצירת מחלצים

  1. עוברים לחלונית Extract Additional Fields (שליפת שדות נוספים) באחת מהשיטות הבאות:

    • לוחצים על SIEM Settings (הגדרות SIEM) > Parsers (מנתחי נתונים) ומבצעים את הפעולות הבאות:
      1. בטבלה PARSERS שמופיעה, מזהים מנתח (מקור יומן) ולוחצים על תפריט > Extend Parser > Extract Additional Fields.
    • משתמשים ב-Raw Log Scan ומבצעים את הפעולות הבאות:
      1. בתפריט מקורות יומנים, בוחרים את מקורות היומנים (מנתחי הנתונים) הנדרשים.
      2. בתוצאות של היומן הגולמי, בוחרים מקור יומן כדי לפתוח את החלונית נתוני אירועים.
      3. בחלונית EVENT DATA (נתוני אירועים), לוחצים על Manage Parser (ניהול כלי הניתוח) > Extend Parser (הרחבת כלי הניתוח) > Extract Additional Fields (חילוץ שדות נוספים).
    • משתמשים בחיפוש UDM ומבצעים את הפעולות הבאות:
      1. בכרטיסייה אירועים בתוצאות החיפוש של UDM, בוחרים מקור יומן כדי להציג את החלונית Event Viewer.
      2. בכרטיסייה Raw Log (יומן גולמי), לוחצים על Manage Parser (ניהול כלי הניתוח) > Extend Parser (הרחבת כלי הניתוח) > Extract Additional Fields (חילוץ שדות נוספים).

  2. בכרטיסייה Select Extractors בחלונית Extract Additional fields, בוחרים את השדות הנדרשים ביומן הגולמי. כברירת מחדל, אפשר לבחור עד 100 שדות. אם אין שדות נוספים שאפשר לחלץ, תוצג אזהרה.

    לוחצים על הכרטיסייה Reference Raw Log כדי לראות את נתוני היומן הגולמי ואת התצוגה המקדימה של הפלט של UDM.

  3. לוחצים על Save.

הכלי החדש לחילוץ נתונים מסומן בתווית EXTRACTOR. שדות שחולצו מוצגים בפלט של UDM כextracted.field{"fieldName"}.

הצגת פרטי המחלץ

  1. עוברים לשורה של הכלי לחילוץ בטבלה PARSERS ולוחצים על Menu > Extend Parser > View Extension.
  2. בדף VIEW CUSTOM PARSERS (הצגת מנתחי נתונים מותאמים אישית), לוחצים על הכרטיסייה Extensions and Extracted Fields (תוספים ושדות שחולצו).

בכרטיסייה הזו מוצג מידע על תוספי ניתוח ועל שדות חילוץ. בדף VIEW CUSTOM PARSERS אפשר לשנות או להסיר שדות ולצפות בתצוגה מקדימה של פלט מנתח התוכן.

מגבלות

  • אם הגודל של אירוע UDM בקבוצה חורג מ-8.2 MB, היומנים הגולמיים וכל השדות שחולצו מושמטים.
  • אם אירוע יחיד במודל UDM חורג מ-500 KB, השדות שחולצו מושמטים.

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.