איסוף יומני פעילות של Rippling
במאמר הזה מוסבר איך להטמיע יומני פעילות של Rippling ב-Google Security Operations באמצעות Google Cloud Storage. Rippling היא פלטפורמה לניהול כוח אדם שמספקת פתרונות למשאבי אנוש, ל-IT ולכספים, כולל שכר, הטבות, צירוף עובדים, ניהול מכשירים והקצאת הרשאות לאפליקציות. ה-Company Activity API מספק יומני ביקורת של פעולות אדמיניסטרטיביות ופעולות משתמשים בפלטפורמת Rippling.
לפני שמתחילים
חשוב לוודא שמתקיימות דרישות הסף הבאות:
- מופע של Google SecOps
- פרויקט ב-GCP עם Cloud Storage API מופעל
- הרשאות ליצירה ולניהול של מאגרי GCS
- הרשאות לניהול מדיניות IAM בקטגוריות GCS
- הרשאות ליצירת שירותי Cloud Run, נושאי Pub/Sub ומשימות Cloud Scheduler
- גישת אדמין ל-Rippling (טוקן API עם גישה ל-Company Activity)
יצירת קטגוריה של Google Cloud Storage
- נכנסים אל מסוף Google Cloud.
- בוחרים פרויקט או יוצרים פרויקט חדש.
- בתפריט הניווט, עוברים אל Cloud Storage > Buckets.
- לוחצים על Create bucket.
מספקים את פרטי ההגדרה הבאים:
הגדרה ערך Name your bucket (שם הקטגוריה) מזינים שם ייחודי גלובלית (לדוגמה, rippling-activity-logs)סוג המיקום בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים) Location בוחרים את המיקום (לדוגמה, us-central1).סוג אחסון (storage class) רגיל (מומלץ ליומנים שמתבצעת אליהם גישה לעיתים קרובות) בקרת גישה אחיד (מומלץ) כלים להגנה אופציונלי: הפעלת ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים לוחצים על יצירה.
איסוף פרטי הכניסה ל-Rippling API
- נכנסים אל Rippling Admin.
- עוברים אל Search > API Tokens (חיפוש > טוקנים של API).
- דרך חלופית: הגדרות > הגדרות החברה > טוקנים של API.
- לוחצים על Create API token (יצירת טוקן API).
- מספקים את פרטי ההגדרה הבאים:
- שם: מזינים שם ייחודי ומשמעותי (לדוגמה,
Google SecOps GCS Export). - גרסת ה-API: בוחרים באפשרות Base API (v1).
- היקפים/הרשאות: מפעילים את company:activity:read (נדרש ל'פעילות החברה').
- שם: מזינים שם ייחודי ומשמעותי (לדוגמה,
- לוחצים על יצירה.
מעתיקים את ערך האסימון ושומרים אותו במקום מאובטח. תשתמשו בו כטוקן מסוג bearer.
יצירת חשבון שירות לפונקציית Cloud Run
פונקציית Cloud Run צריכה חשבון שירות עם הרשאות כתיבה לקטגוריה של GCS.
יצירת חשבון שירות
- במסוף GCP, עוברים אל IAM & Admin > Service Accounts.
- לוחצים על יצירת חשבון שירות.
- מספקים את פרטי ההגדרה הבאים:
- שם חשבון השירות: מזינים
rippling-logs-collector-sa. - תיאור חשבון השירות: מזינים
Service account for Cloud Run function to collect Rippling activity logs.
- שם חשבון השירות: מזינים
- לוחצים על יצירה והמשך.
- בקטע Grant this service account access to project (מתן גישה של חשבון השירות הזה לפרויקט):
- לוחצים על בחירת תפקיד.
- מחפשים את Storage Object Admin ולוחצים עליו.
- לוחצים על + הוספת תפקיד נוסף.
- מחפשים את האפשרות Cloud Run Invoker (הפעלת שירותים ב-Cloud Run) ולוחצים עליה.
- לוחצים על + הוספת תפקיד נוסף.
- מחפשים את האפשרות Cloud Functions Invoker (הפעלת פונקציות של Cloud Functions) ולוחצים עליה.
- לוחצים על Continue.
- לוחצים על סיום.
התפקידים האלה נדרשים כדי:
- אדמין של אובייקט אחסון: כתיבת יומנים לקטגוריית GCS וניהול קבצי מצב
- Cloud Run Invoker: מתן הרשאה ל-Pub/Sub להפעיל את הפונקציה
- Cloud Functions Invoker: מאפשר הפעלה של פונקציות
מתן הרשאות IAM בקטגוריית GCS
נותנים לחשבון השירות הרשאות כתיבה בקטגוריית GCS:
- עוברים אל Cloud Storage > Buckets (קטגוריות).
- לוחצים על שם הקטגוריה.
- עוברים לכרטיסייה Permissions.
- לוחצים על הענקת גישה.
- מספקים את פרטי ההגדרה הבאים:
- Add principals (הוספת ישויות מורשות): מזינים את כתובת האימייל בחשבון השירות (לדוגמה,
rippling-logs-collector-sa@your-project.iam.gserviceaccount.com). - הקצאת תפקידים: בוחרים באפשרות אדמין של אובייקטים באחסון.
- Add principals (הוספת ישויות מורשות): מזינים את כתובת האימייל בחשבון השירות (לדוגמה,
- לוחצים על Save.
יצירת נושא Pub/Sub
יוצרים נושא Pub/Sub ש-Cloud Scheduler יפרסם בו ופונקציית Cloud Run תירשם אליו.
- במסוף GCP, עוברים אל Pub/Sub > Topics.
- לוחצים על יצירת נושא.
- מספקים את פרטי ההגדרה הבאים:
- מזהה הנושא: מזינים
rippling-activity-trigger. - משאירים את שאר ההגדרות כברירת מחדל.
- מזהה הנושא: מזינים
- לוחצים על יצירה.
יצירת פונקציית Cloud Run לאיסוף יומנים
הפונקציה Cloud Run מופעלת על ידי הודעות Pub/Sub מ-Cloud Scheduler כדי לאחזר יומנים מ-Rippling Company Activity API ולכתוב אותם ב-GCS.
- במסוף GCP, עוברים אל Cloud Run.
- לוחצים על יצירת שירות.
- בוחרים באפשרות Function (שימוש בעורך ישיר ליצירת פונקציה).
בקטע Configure (הגדרה), מזינים את פרטי ההגדרה הבאים:
הגדרה ערך שם השירות rippling-activity-collectorאזור בוחרים אזור שתואם ל-GCS Bucket (לדוגמה, us-central1)זמן ריצה בוחרים באפשרות Python 3.12 ואילך. בקטע טריגר (אופציונלי):
- לוחצים על + הוספת טריגר.
- בוחרים באפשרות Cloud Pub/Sub.
- בקטע Select a Cloud Pub/Sub topic, בוחרים את הנושא
rippling-activity-trigger. - לוחצים על Save.
בקטע Authentication:
- בוחרים באפשרות דרישת אימות.
- בודקים את ניהול זהויות והרשאות גישה (IAM).
גוללים למטה ומרחיבים את Containers, Networking, Security (מאגרי תגים, רשתות, אבטחה).
עוברים לכרטיסייה אבטחה:
- חשבון שירות: בוחרים את חשבון השירות
rippling-logs-collector-sa.
- חשבון שירות: בוחרים את חשבון השירות
עוברים לכרטיסייה מאגרי תגים:
- לוחצים על Variables & Secrets (משתנים וסודות).
- לוחצים על + הוספת משתנה לכל משתנה סביבתי:
שם המשתנה ערך לדוגמה GCS_BUCKETrippling-activity-logsGCS_PREFIXrippling/activity/STATE_KEYrippling/activity/state.jsonRIPPLING_API_TOKENyour-api-tokenRIPPLING_ACTIVITY_URLhttps://api.rippling.com/platform/api/company_activityLIMIT1000MAX_PAGES10LOOKBACK_MINUTES60END_LAG_SECONDS120בכרטיסייה Variables & Secrets, גוללים למטה אל Requests:
- זמן קצוב לתפוגת בקשה: מזינים
600שניות (10 דקות).
- זמן קצוב לתפוגת בקשה: מזינים
עוברים לכרטיסייה הגדרות במאגרי תגים:
- בקטע Resources (מקורות מידע):
- זיכרון: בוחרים באפשרות 512 MiB או יותר.
- מעבד: בוחרים באפשרות 1.
- לוחצים על סיום.
- בקטע Resources (מקורות מידע):
גוללים אל סביבת הפעלה:
- בוחרים באפשרות ברירת מחדל (מומלץ).
בקטע שינוי קנה מידה של העריכה:
- מספר המינימום של מופעים: מזינים
0. - מספר מקסימלי של מופעים: מזינים
100(או משנים בהתאם לעומס הצפוי).
- מספר המינימום של מופעים: מזינים
לוחצים על יצירה.
ממתינים ליצירת השירות (1-2 דקות).
אחרי שיוצרים את השירות, עורך הקוד המוטבע נפתח באופן אוטומטי.
הוספת קוד פונקציה
- מזינים main בFunction entry point
בעורך הקוד המוטבע, יוצרים שני קבצים:
- הקובץ הראשון: main.py:
import functions_framework from google.cloud import storage import json import os import urllib3 from datetime import datetime, timezone, timedelta import time # Initialize HTTP client http = urllib3.PoolManager(timeout=urllib3.Timeout(connect=5.0, read=60.0), retries=False) # Initialize Storage client storage_client = storage.Client() @functions_framework.cloud_event def main(cloud_event): """ Cloud Run function triggered by Pub/Sub to fetch logs from Rippling Company Activity API and write to GCS. Args: cloud_event: CloudEvent object containing Pub/Sub message """ # Get environment variables bucket_name = os.environ.get('GCS_BUCKET') prefix = os.environ.get('GCS_PREFIX', 'rippling/activity/') state_key = os.environ.get('STATE_KEY', 'rippling/activity/state.json') # Rippling API configuration api_token = os.environ.get('RIPPLING_API_TOKEN') activity_url = os.environ.get('RIPPLING_ACTIVITY_URL', 'https://api.rippling.com/platform/api/company_activity') limit = int(os.environ.get('LIMIT', '1000')) max_pages = int(os.environ.get('MAX_PAGES', '10')) lookback_minutes = int(os.environ.get('LOOKBACK_MINUTES', '60')) end_lag_seconds = int(os.environ.get('END_LAG_SECONDS', '120')) if not all([bucket_name, api_token]): print('Error: Missing required environment variables') return try: # Get GCS bucket bucket = storage_client.bucket(bucket_name) # Load state (last processed timestamp and cursor) state = load_state(bucket, state_key) since_iso = state.get('since') next_cursor = state.get('next') # Calculate time window run_end = datetime.now(timezone.utc) - timedelta(seconds=end_lag_seconds) end_iso = run_end.replace(microsecond=0).isoformat().replace('+00:00', 'Z') if since_iso is None: since_iso = iso_from_epoch(time.time() - lookback_minutes * 60) else: try: since_iso = (parse_iso(since_iso) + timedelta(seconds=1)).replace(microsecond=0).isoformat().replace('+00:00', 'Z') except Exception: since_iso = iso_from_epoch(time.time() - lookback_minutes * 60) print(f'Processing logs from {since_iso} to {end_iso}') run_ts_iso = end_iso pages = 0 total = 0 newest_ts = None pending_next = None # Fetch logs with pagination while pages < max_pages: params = {'limit': str(limit)} if next_cursor: params['next'] = next_cursor else: params['startDate'] = since_iso params['endDate'] = end_iso # Build URL with query parameters url = build_url(activity_url, params) # Fetch data from Rippling API headers = { 'Authorization': f'Bearer {api_token}', 'Accept': 'application/json' } # Implement exponential backoff for rate limiting backoff = 1.0 max_retries = 3 retry_count = 0 while retry_count < max_retries: response = http.request('GET', url, headers=headers, timeout=60.0) if response.status == 429: retry_after = int(response.headers.get('Retry-After', str(int(backoff)))) print(f'Rate limited (429). Retrying after {retry_after}s...') time.sleep(retry_after) backoff = min(backoff * 2, 30.0) retry_count += 1 continue break if response.status != 200: print(f'Error: API returned status {response.status}') break data = json.loads(response.data.decode('utf-8')) # Write page to GCS write_to_gcs(bucket, prefix, data, run_ts_iso, pages) # Extract events events = data.get('events') or [] total += len(events) if isinstance(events, list) else 0 # Track newest timestamp if isinstance(events, list): for ev in events: t = ev.get('timestamp') or ev.get('time') or ev.get('event_time') if isinstance(t, str): try: dt_ts = parse_iso(t) if newest_ts is None or dt_ts > newest_ts: newest_ts = dt_ts except Exception: pass # Check for next page nxt = data.get('next') pages += 1 if nxt: next_cursor = nxt pending_next = nxt continue else: pending_next = None break # Update state new_since_iso = (newest_ts or run_end).replace(microsecond=0).isoformat().replace('+00:00', 'Z') save_state(bucket, state_key, {'since': new_since_iso, 'next': pending_next}) print(f'Successfully processed {total} events across {pages} pages') print(f'Updated state: since={new_since_iso}, next={pending_next}') except Exception as e: print(f'Error processing logs: {str(e)}') raise def load_state(bucket, key): """Load state from GCS.""" try: blob = bucket.blob(key) if blob.exists(): state_data = blob.download_as_text() return json.loads(state_data) except Exception as e: print(f'Warning: Could not load state: {str(e)}') return {} def save_state(bucket, key, state): """Save state to GCS.""" try: blob = bucket.blob(key) blob.upload_from_string( json.dumps(state, separators=(',', ':')), content_type='application/json' ) except Exception as e: print(f'Warning: Could not save state: {str(e)}') def write_to_gcs(bucket, prefix, payload, run_ts_iso, page_index): """Write payload to GCS.""" try: day_path = parse_iso(run_ts_iso).strftime('%Y/%m/%d') key = f"{prefix.strip('/')}/{day_path}/{run_ts_iso.replace(':', '').replace('-', '')}-page{page_index:05d}-company_activity.json" blob = bucket.blob(key) blob.upload_from_string( json.dumps(payload, separators=(',', ':')), content_type='application/json' ) print(f'Wrote page {page_index} to {key}') except Exception as e: print(f'Error writing to GCS: {str(e)}') raise def parse_iso(ts): """Parse ISO 8601 timestamp.""" if ts.endswith('Z'): ts = ts[:-1] + '+00:00' return datetime.fromisoformat(ts) def iso_from_epoch(sec): """Convert epoch seconds to ISO 8601 timestamp.""" return datetime.fromtimestamp(sec, tz=timezone.utc).replace(microsecond=0).isoformat().replace('+00:00', 'Z') def build_url(base, params): """Build URL with query parameters.""" if not params: return base query_string = '&'.join([f'{k}={v}' for k, v in params.items()]) return f'{base}?{query_string}'- הקובץ השני: requirements.txt:
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0לוחצים על Deploy כדי לשמור ולפרוס את הפונקציה.
ממתינים לסיום הפריסה (2-3 דקות).
יצירת משימה ב-Cloud Scheduler
Cloud Scheduler מפרסם הודעות בנושא Pub/Sub במרווחי זמן קבועים, וכך מפעיל את הפונקציה של Cloud Run.
- במסוף GCP, עוברים אל Cloud Scheduler.
- לוחצים על Create Job (יצירת משימה).
מספקים את פרטי ההגדרה הבאים:
הגדרה ערך שם rippling-activity-hourlyאזור בחירה באותו אזור כמו פונקציית Cloud Run תדירות 0 * * * *(כל שעה, בדיוק בשעה)אזור זמן בחירת אזור זמן (מומלץ לבחור UTC) סוג הטירגוט Pub/Sub נושא בחירת הנושא rippling-activity-triggerגוף ההודעה {}(אובייקט JSON ריק)לוחצים על יצירה.
אפשרויות לתדירות התזמון
בחירת התדירות בהתאם לנפח היומן ולדרישות זמן האחזור:
תדירות ביטוי Cron תרחיש לדוגמה כל 5 דקות */5 * * * *נפח גבוה, זמן אחזור נמוך כל 15 דקות */15 * * * *נפח חיפושים בינוני כל שעה 0 * * * *רגיל (מומלץ) כל 6 שעות 0 */6 * * *נפח נמוך, עיבוד באצווה יומי 0 0 * * *איסוף נתונים היסטוריים
בדיקת משימת המתזמן
- במסוף Cloud Scheduler, מוצאים את העבודה.
- כדי להפעיל את הטריגר באופן ידני, לוחצים על הפעלה מאולצת.
- מחכים כמה שניות ועוברים אל Cloud Run > Services > rippling-activity-collector > Logs.
- מוודאים שהפונקציה בוצעה בהצלחה.
- בודקים את דלי ה-GCS כדי לוודא שהיומנים נכתבו.
אחזור חשבון השירות של Google SecOps
Google SecOps משתמש בחשבון שירות ייחודי כדי לקרוא נתונים מהקטגוריה של GCS. צריך להעניק לחשבון השירות הזה גישה לדלי.
קבלת כתובת האימייל בחשבון השירות
- עוברים אל SIEM Settings > Feeds (הגדרות SIEM > פידים).
- לוחצים על הוספת פיד חדש.
- לוחצים על Configure a single feed (הגדרת פיד יחיד).
- בשדה שם הפיד, מזינים שם לפיד (לדוגמה,
Rippling Activity Logs). - בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
- בוחרים באפשרות Rippling Activity Logs (יומני פעילות של Rippling) בתור סוג היומן.
לוחצים על קבלת חשבון שירות. תוצג כתובת האימייל בחשבון שירות ייחודי, לדוגמה:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comמעתיקים את כתובת האימייל הזו לשימוש בשלב הבא.
הענקת הרשאות IAM לחשבון השירות של Google SecOps
לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריה של GCS.
- עוברים אל Cloud Storage > Buckets (קטגוריות).
- לוחצים על שם הקטגוריה.
- עוברים לכרטיסייה Permissions.
- לוחצים על הענקת גישה.
- מספקים את פרטי ההגדרה הבאים:
- Add principals (הוספת ישויות מורשות): מדביקים את כתובת האימייל בחשבון של חשבון השירות של Google SecOps.
- הקצאת תפקידים: בוחרים באפשרות צפייה באובייקט אחסון.
לוחצים על Save.
הגדרה של פיד ב-Google SecOps להטמעה של יומני פעילות של Rippling
- עוברים אל SIEM Settings > Feeds (הגדרות SIEM > פידים).
- לוחצים על הוספת פיד חדש.
- לוחצים על Configure a single feed (הגדרת פיד יחיד).
- בשדה שם הפיד, מזינים שם לפיד (לדוגמה,
Rippling Activity Logs). - בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
- בוחרים באפשרות Rippling Activity Logs (יומני פעילות של Rippling) בתור סוג היומן.
- לוחצים על הבא.
מציינים ערכים לפרמטרים הבאים של הקלט:
כתובת ה-URL של קטגוריית האחסון: מזינים את ה-URI של קטגוריית GCS עם נתיב הקידומת:
gs://rippling-activity-logs/rippling/activity/מחליפים את:
-
rippling-activity-logs: השם של קטגוריית GCS. -
rippling/activity/: קידומת או נתיב התיקייה שבהם נשמרים היומנים (צריכים להיות זהים למשתנה הסביבהGCS_PREFIX).
-
אפשרות למחיקת המקור: בוחרים את אפשרות המחיקה לפי ההעדפה שלכם:
- אף פעם: לא נמחקים קבצים אחרי ההעברה (מומלץ לבדיקות).
- מחיקת קבצים שהועברו: הקבצים נמחקים אחרי שההעברה מסתיימת.
מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי שההעברה מסתיימת בהצלחה.
הגיל המקסימלי של הקובץ: כולל קבצים שעברו שינוי במספר הימים האחרון. ברירת המחדל היא 180 ימים.
מרחב שמות של נכס: מרחב השמות של הנכס (לדוגמה,
rippling.activity).תוויות להעברה: תווית אופציונלית להחלה על האירועים מהפיד הזה.
לוחצים על הבא.
בודקים את ההגדרות של הפיד החדש במסך סיום ולוחצים על שליחה.
טבלת מיפוי UDM
| שדה ביומן | מיפוי UDM | היגיון |
|---|---|---|
accuracy_radius_label |
additional.fields |
ממוזג |
company_label |
additional.fields |
ממוזג |
finger_label |
additional.fields |
ממוזג |
linked_events_key_label |
additional.fields |
ממוזג |
owner_label |
additional.fields |
ממוזג |
processing_state_label |
additional.fields |
ממוזג |
spoke_label |
additional.fields |
ממוזג |
subject_version_label |
additional.fields |
ממוזג |
has_target |
extensions.auth.type |
מיפוי: true → PHYSICAL |
event_type |
metadata.event_type |
מיפוי ישיר |
name |
metadata.product_event_type |
מיפוי ישיר |
prop_id |
metadata.product_log_id |
מיפוי ישיר |
data.request_data.authentication_context.login_username |
network.email.mail_id |
מיפוי ישיר |
data.request_data.authentication_context.mfa_method |
network.http.method |
מיפוי ישיר |
data.request_data.authentication_context.login_agent |
network.http.user_agent |
מיפוי ישיר |
data.initiator.display_name |
principal.asset.hostname |
מיפוי ישיר |
data.search_string |
principal.asset.hostname |
מיפוי ישיר |
subjects.display_name |
principal.asset.hostname |
מיפוי ישיר |
data.initiator.display_name |
principal.hostname |
מיפוי ישיר |
data.search_string |
principal.hostname |
מיפוי ישיר |
subjects.display_name |
principal.hostname |
מיפוי ישיר |
data.initiator.icon |
principal.url |
מיפוי ישיר |
subjects.icon |
principal.url |
מיפוי ישיר |
data.initiator.email |
principal.user.email_addresses |
ממוזג |
emailid |
principal.user.email_addresses |
מיפוי: ^.+@.+$ → data.initiator.email |
data._subject_group_name_cache |
principal.user.group_identifiers |
ממוזג |
data._subject_role_name_cache |
principal.user.role_name |
מיפוי ישיר |
data.initiator.role |
principal.user.userid |
מיפוי ישיר |
data.subject_group |
principal.user.userid |
מיפוי ישיר |
subjects.instance |
principal.user.userid |
מיפוי ישיר |
data.event_reason.reason |
security_result.category_details |
ממוזג |
data.event_reason.message |
security_result.summary |
מיפוי ישיר |
data.request_data.os |
src.platform_version |
מיפוי ישיר |
data.request_data.ip |
target.asset.ip |
ממוזג |
data.request_data.ip |
target.ip |
ממוזג |
data.request_data.city |
target.location.city |
מיפוי ישיר |
data.request_data.country |
target.location.country_or_region |
מיפוי ישיר |
geo_latitude |
target.location.region_latitude |
שם שונה/מיפוי |
geo_longitude |
target.location.region_longitude |
שם שונה/מיפוי |
data.request_data.state |
target.location.state |
מיפוי ישיר |
| לא רלוונטי | extensions.auth.type |
קבוע: PHYSICAL |
| לא רלוונטי | metadata.product_name |
קבוע: RIPPLING_ACTIVITYLOGS |
| לא רלוונטי | metadata.vendor_name |
קבוע: RIPPLING_ACTIVITYLOGS |
| לא רלוונטי | src.platform |
קבוע: MAC |
| לא רלוונטי | target.resource.resource_type |
קבוע: TASK |
יומן שינויים
צפייה ביומן השינויים של מנתח התוכן הזה
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.