איסוף יומני ביקורת של OpenAI

במאמר הזה מוסבר איך להטמיע יומני ביקורת של OpenAI ב-Google Security Operations באמצעות Google Cloud Storage V2.

‫OpenAI מספקת את Audit Logs API לארגונים שמשתמשים בפלטפורמת OpenAI API. ממשק ה-API עוקב אחרי פעולות משתמשים ושינויים בהגדרות בארגון, כולל אירועים במחזור החיים של מפתחות API, ניהול משתמשים, שינויים בפרויקטים, הזמנות, פעילות של חשבונות שירות, אירועי כניסה ויציאה ושינויים בהגדרות הארגון.

לפני שמתחילים

חשוב לוודא שמתקיימות דרישות הסף הבאות:

• מופע של Google SecOps
• פרויקט GCP עם ממשקי Cloud Storage,‏ Cloud Run,‏ Pub/Sub ו-Cloud Scheduler API מופעלים
• הרשאות ליצירה ולניהול של מאגרי GCS
• הרשאות לניהול מדיניות IAM בקטגוריות GCS
• הרשאות ליצירת שירותי Cloud Run, נושאי Pub/Sub ומשימות Cloud Scheduler
• תפקיד בעלי הארגון בארגון שלכם בפלטפורמת OpenAI API

הפעלת רישום ביומן ביקורת של OpenAI

כדי לגשת ליומני ביקורת, צריך להפעיל את יומני הביקורת בארגון.

1. נכנסים אל OpenAI Platform בכתובת https://platform.openai.com.
2. עוברים אל הגדרות > ארגון > אמצעי בקרה על נתונים.
3. גוללים למטה לקטע Audit logging (רישום ביקורת).
4. בקטע רישום ביומן ביקורת, לוחצים על הפעלה.

5. לוחצים על Save.

יצירת מפתח OpenAI Admin API

1. נכנסים אל OpenAI Platform בכתובת https://platform.openai.com.
2. בחלונית הימנית, לוחצים על מפתחות אדמין.
3. אפשר גם לעבור ישירות לכתובת https://platform.openai.com/settings/organization/admin-keys.
4. לוחצים על Create new admin key (יצירת מפתח אדמין חדש).
5. בשדה שם, מזינים שם תיאורי (לדוגמה, Google SecOps Integration).
6. לוחצים על יצירה.

7. מעתיקים את מפתח ה-API מיד ושומרים אותו בצורה מאובטחת.

בדיקת הגישה ל-API

• לפני שממשיכים בשילוב, חשוב לבדוק את פרטי הכניסה:

  # Replace with your actual Admin API key
  OPENAI_ADMIN_KEY="your-admin-api-key"
  
  # Test audit logs API access
  curl -s -H "Authorization: Bearer ${OPENAI_ADMIN_KEY}" \
      -H "Content-Type: application/json" \
      "https://api.openai.com/v1/organization/audit_logs?limit=5" \
      | python3 -m json.tool
  

תגובה מוצלחת מחזירה אובייקט JSON עם השדה object שמוגדר ל-list ומערך data שמכיל רשומות של יומן ביקורת.

יצירת קטגוריה של Google Cloud Storage

1. נכנסים אל מסוף Google Cloud.
2. בוחרים פרויקט או יוצרים פרויקט חדש.
3. בתפריט הניווט, עוברים אל Cloud Storage > Buckets.
4. לוחצים על Create bucket.

5. מספקים את פרטי ההגדרה הבאים:

   הגדרה	ערך
   Name your bucket (שם הקטגוריה)	מזינים שם ייחודי גלובלית (לדוגמה, openai-auditlog-logs)
   סוג המיקום	בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים)
   Location	בוחרים את המיקום (לדוגמה, us-central1).
   סוג אחסון (storage class)	רגיל (מומלץ ליומנים שמתבצעת אליהם גישה לעיתים קרובות)
   בקרת גישה	אחיד (מומלץ)
   כלים להגנה	אופציונלי: הפעלת ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים

6. לוחצים על יצירה.

יצירת חשבון שירות לפונקציית Cloud Run

1. במסוף GCP, עוברים אל IAM & Admin > Service Accounts.
2. לוחצים על יצירת חשבון שירות.
3. מספקים את פרטי ההגדרה הבאים:
   • שם חשבון השירות: מזינים openai-auditlog-collector-sa
   • תיאור חשבון השירות: מזינים Service account for Cloud Run function to collect OpenAI audit logs
4. לוחצים על יצירה והמשך.
5. בקטע Grant this service account access to project (מתן גישה של חשבון השירות הזה לפרויקט), מוסיפים את התפקידים הבאים:
   1. לוחצים על בחירת תפקיד.
   2. מחפשים את Storage Object Admin ולוחצים עליו.
   3. לוחצים על + הוספת תפקיד נוסף.
   4. מחפשים את האפשרות Cloud Run Invoker (הפעלת שירותים ב-Cloud Run) ולוחצים עליה.
   5. לוחצים על + הוספת תפקיד נוסף.
   6. מחפשים את האפשרות Cloud Functions Invoker (הפעלת פונקציות של Cloud Functions) ולוחצים עליה.
6. לוחצים על Continue.
7. לוחצים על סיום.

מתן הרשאות IAM בקטגוריית GCS

1. עוברים אל Cloud Storage > Buckets (קטגוריות).
2. לוחצים על שם הקטגוריה (openai-auditlog-logs).
3. עוברים לכרטיסייה Permissions.
4. לוחצים על הענקת גישה.
5. מספקים את פרטי ההגדרה הבאים:
   • הוספת ישויות מורשות: מזינים את כתובת האימייל בחשבון של חשבון השירות (openai-auditlog-collector-sa@PROJECT_ID.iam.gserviceaccount.com)
   • הקצאת תפקידים: בוחרים באפשרות אדמין של אובייקטים באחסון.
6. לוחצים על Save.

יצירת נושא Pub/Sub

1. במסוף GCP, עוברים אל Pub/Sub > Topics.
2. לוחצים על יצירת נושא.
3. מספקים את פרטי ההגדרה הבאים:
   • מזהה הנושא: מזינים openai-auditlog-trigger
   • השארת ההגדרות האחרות כברירת מחדל
4. לוחצים על יצירה.

יצירת פונקציית Cloud Run לאיסוף יומנים

הפונקציה של Cloud Run תופעל על ידי הודעות Pub/Sub מ-Cloud Scheduler כדי לאחזר יומנים מ-OpenAI Audit Logs API ולכתוב אותם ב-GCS.

1. במסוף GCP, עוברים אל Cloud Run.
2. לוחצים על יצירת שירות.
3. בוחרים באפשרות Function (שימוש בעורך ישיר ליצירת פונקציה).

4. בקטע Configure (הגדרה), מזינים את פרטי ההגדרה הבאים:

   הגדרה	ערך
   שם השירות	openai-auditlog-collector
   אזור	בוחרים אזור שתואם ל-GCS Bucket (לדוגמה, us-central1)
   זמן ריצה	בוחרים באפשרות Python 3.12 ואילך.

5. בקטע טריגר (אופציונלי):

   1. לוחצים על + הוספת טריגר.
   2. בוחרים באפשרות Cloud Pub/Sub.
   3. בקטע Select a Cloud Pub/Sub topic, בוחרים באפשרות openai-auditlog-trigger.
   4. לוחצים על Save.

6. בקטע Authentication:

   1. בוחרים באפשרות דרישת אימות.
   2. בודקים את ניהול זהויות והרשאות גישה (IAM).

7. גוללים למטה ומרחיבים את Containers, Networking, Security (מאגרי תגים, רשתות, אבטחה).

8. עוברים לכרטיסייה אבטחה:

   • חשבון שירות: בוחרים באפשרות openai-auditlog-collector-sa

9. עוברים לכרטיסייה מאגרי תגים:

   1. לוחצים על Variables & Secrets (משתנים וסודות).
   2. לוחצים על + הוספת משתנה לכל משתנה סביבתי:

   שם המשתנה	ערך לדוגמה	תיאור
   GCS_BUCKET	openai-auditlog-logs	שם קטגוריית GCS
   GCS_PREFIX	openai-auditlog	קידומת לקובצי יומן
   STATE_KEY	openai-auditlog/state.json	נתיב קובץ תמונת מצב
   OPENAI_ADMIN_KEY	your-admin-api-key	מפתח OpenAI Admin API
   MAX_RECORDS	5000	מספר הרשומות המקסימלי בכל הפעלה
   PAGE_SIZE	100	רשומות בכל דף API (עד 100)
   LOOKBACK_HOURS	24	תקופת המבט לאחור הראשונית

10. בקטע Variables & Secrets, גוללים למטה אל Requests:

    • זמן קצוב לתפוגת בקשה: מזינים 600 שניות (10 דקות)

11. עוברים לכרטיסייה הגדרות:

    • בקטע Resources (מקורות מידע):
      • זיכרון: בוחרים באפשרות 512MiB או יותר
      • ‫CPU: בוחרים באפשרות 1

12. בקטע שינוי קנה מידה של העריכה:

    • מספר מינימלי של מופעים: מזינים 0
    • מספר מקרים מקסימלי: מזינים 100

13. לוחצים על יצירה.

14. ממתינים ליצירת השירות (1-2 דקות).

15. אחרי שיוצרים את השירות, עורך הקוד המוטבע נפתח באופן אוטומטי.

הוספת קוד פונקציה

1. מזינים main בשדה Entry point.

2. בעורך הקוד המוטבע, יוצרים שני קבצים:

   • main.py:

     import functions_framework
     from google.cloud import storage
     import json
     import os
     import urllib3
     from datetime import datetime, timezone, timedelta
     import time
     
     http = urllib3.PoolManager(
       timeout=urllib3.Timeout(connect=5.0, read=30.0),
       retries=False,
     )
     
     storage_client = storage.Client()
     
     GCS_BUCKET = os.environ.get('GCS_BUCKET')
     GCS_PREFIX = os.environ.get('GCS_PREFIX', 'openai-auditlog')
     STATE_KEY = os.environ.get('STATE_KEY', 'openai-auditlog/state.json')
     OPENAI_ADMIN_KEY = os.environ.get('OPENAI_ADMIN_KEY')
     MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '5000'))
     PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '100'))
     LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24'))
     
     API_BASE = 'https://api.openai.com'
     AUDIT_LOGS_ENDPOINT = '/v1/organization/audit_logs'
     
     @functions_framework.cloud_event
     def main(cloud_event):
       """
       Cloud Run function triggered by Pub/Sub to fetch OpenAI audit logs
       and write them to GCS.
     
       Args:
         cloud_event: CloudEvent object containing Pub/Sub message
       """
     
       if not all([GCS_BUCKET, OPENAI_ADMIN_KEY]):
         print('Error: Missing required environment variables')
         return
     
       try:
         bucket = storage_client.bucket(GCS_BUCKET)
         state = load_state(bucket)
         now = datetime.now(timezone.utc)
     
         if isinstance(state, dict) and state.get('last_effective_at'):
           try:
             last_effective_at = int(state['last_effective_at'])
             last_time = datetime.fromtimestamp(last_effective_at, tz=timezone.utc)
             last_time = last_time - timedelta(minutes=2)
           except Exception as e:
             print(f"Warning: Could not parse last_effective_at: {e}")
             last_time = now - timedelta(hours=LOOKBACK_HOURS)
         else:
           last_time = now - timedelta(hours=LOOKBACK_HOURS)
     
         start_unix = int(last_time.timestamp())
         end_unix = int(now.timestamp())
     
         print(f"Fetching audit logs from {last_time.isoformat()} to {now.isoformat()}")
     
         records, newest_effective_at = fetch_audit_logs(
           start_unix=start_unix,
           end_unix=end_unix,
           page_size=PAGE_SIZE,
           max_records=MAX_RECORDS,
         )
     
         if not records:
           print("No new audit log records found.")
           save_state(bucket, end_unix)
           return
     
         timestamp = now.strftime('%Y%m%d_%H%M%S')
         object_key = f"{GCS_PREFIX}/openai_auditlog_{timestamp}.ndjson"
         blob = bucket.blob(object_key)
     
         ndjson = '\n'.join(
           [json.dumps(record, ensure_ascii=False) for record in records]
         ) + '\n'
         blob.upload_from_string(ndjson, content_type='application/x-ndjson')
     
         print(f"Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}")
     
         if newest_effective_at:
           save_state(bucket, newest_effective_at)
         else:
           save_state(bucket, end_unix)
     
         print(f"Successfully processed {len(records)} records")
     
       except Exception as e:
         print(f'Error processing audit logs: {str(e)}')
         raise
     
     def load_state(bucket):
       """Load state from GCS."""
       try:
         blob = bucket.blob(STATE_KEY)
         if blob.exists():
           return json.loads(blob.download_as_text())
       except Exception as e:
         print(f"Warning: Could not load state: {e}")
       return {}
     
     def save_state(bucket, last_effective_at):
       """Save the last effective_at Unix timestamp to GCS state file."""
       try:
         state = {
           'last_effective_at': last_effective_at,
           'last_run': datetime.now(timezone.utc).isoformat()
         }
         blob = bucket.blob(STATE_KEY)
         blob.upload_from_string(
           json.dumps(state, indent=2),
           content_type='application/json'
         )
         print(f"Saved state: last_effective_at={last_effective_at}")
       except Exception as e:
         print(f"Warning: Could not save state: {e}")
     
     def fetch_audit_logs(start_unix, end_unix, page_size, max_records):
       """
       Fetch audit logs from the OpenAI API with pagination and rate limiting.
     
       Args:
         start_unix: Start time as Unix seconds
         end_unix: End time as Unix seconds
         page_size: Number of records per page (max 100)
         max_records: Maximum total records to fetch
     
       Returns:
         Tuple of (records list, newest effective_at Unix timestamp)
       """
       headers = {
         'Authorization': f'Bearer {OPENAI_ADMIN_KEY}',
         'Content-Type': 'application/json',
       }
     
       records = []
       newest_effective_at = None
       page_num = 0
       backoff = 1.0
       cursor = None
     
       while True:
         page_num += 1
     
         if len(records) >= max_records:
           print(f"Reached max_records limit ({max_records})")
           break
     
         params = []
         params.append(f"effective_at[gte]={start_unix}")
         params.append(f"effective_at[lte]={end_unix}")
         params.append(f"limit={min(page_size, max_records - len(records))}")
         if cursor:
           params.append(f"after={cursor}")
     
         url = f"{API_BASE}{AUDIT_LOGS_ENDPOINT}?{'&'.join(params)}"
     
         try:
           response = http.request('GET', url, headers=headers)
     
           if response.status == 429:
             retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
             print(f"Rate limited (429). Retrying after {retry_after}s...")
             time.sleep(retry_after)
             backoff = min(backoff * 2, 30.0)
             continue
     
           backoff = 1.0
     
           if response.status != 200:
             print(f"HTTP Error: {response.status}")
             response_text = response.data.decode('utf-8')
             print(f"Response body: {response_text}")
             return [], None
     
           data = json.loads(response.data.decode('utf-8'))
     
           page_results = data.get('data', [])
     
           if not page_results:
             print(f"No more results (empty page)")
             break
     
           print(f"Page {page_num}: Retrieved {len(page_results)} events")
           records.extend(page_results)
     
           for event in page_results:
             try:
               effective_at = event.get('effective_at')
               if effective_at is not None:
                 if newest_effective_at is None or effective_at > newest_effective_at:
                   newest_effective_at = effective_at
             except Exception as e:
               print(f"Warning: Could not parse event time: {e}")
     
           has_more = data.get('has_more', False)
           if not has_more:
             print("No more pages (has_more=false)")
             break
     
           last_id = data.get('last_id')
           if not last_id:
             print("No more pages (no last_id)")
             break
     
           cursor = last_id
     
         except Exception as e:
           print(f"Error fetching audit logs: {e}")
           return [], None
     
       print(f"Retrieved {len(records)} total records from {page_num} pages")
       return records, newest_effective_at
     

   • requirements.txt:

     functions-framework==3.*
     google-cloud-storage==2.*
     urllib3>=2.0.0
     

3. לוחצים על Deploy כדי לשמור ולפרוס את הפונקציה.

4. ממתינים לסיום הפריסה (2-3 דקות).

יצירת משימה ב-Cloud Scheduler

1. במסוף GCP, עוברים אל Cloud Scheduler.
2. לוחצים על Create Job (יצירת משימה).

3. מספקים את פרטי ההגדרה הבאים:

   הגדרה	ערך
   שם	openai-auditlog-collector-hourly
   אזור	בחירה באותו אזור כמו פונקציית Cloud Run
   תדירות	‫0 * * * * (כל שעה, בדיוק בשעה)
   אזור זמן	בחירת אזור זמן (מומלץ לבחור UTC)
   סוג הטירגוט	Pub/Sub
   נושא	בחירת openai-auditlog-trigger
   גוף ההודעה	‫{} (אובייקט JSON ריק)

4. לוחצים על יצירה.

אפשרויות לתדירות התזמון

בחירת התדירות בהתאם לנפח היומן ולדרישות זמן האחזור:

תדירות	ביטוי Cron	תרחיש לדוגמה
כל 5 דקות	*/5 * * * *	נפח גבוה, זמן אחזור נמוך
כל 15 דקות	*/15 * * * *	נפח חיפושים בינוני
כל שעה	0 * * * *	רגיל (מומלץ)
כל 6 שעות	0 */6 * * *	נפח נמוך, עיבוד באצווה
יומי	0 0 * * *	איסוף נתונים היסטוריים

בדיקת השילוב

1. במסוף Cloud Scheduler, מאתרים את המשימה (openai-auditlog-collector-hourly).
2. לוחצים על הפעלת המשימה בכוח כדי להפעיל את המשימה באופן ידני.
3. מחכים כמה שניות.
4. עוברים אל Cloud Run > Services.
5. לוחצים על openai-auditlog-collector.
6. לוחצים על הכרטיסייה Logs (יומנים).

7. מוודאים שהפונקציה בוצעה בהצלחה. מחפשים:

   Fetching audit logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00
   Page 1: Retrieved X events
   Wrote X records to gs://openai-auditlog-logs/openai-auditlog/openai_auditlog_YYYYMMDD_HHMMSS.ndjson
   Successfully processed X records
   

8. עוברים אל Cloud Storage > Buckets (קטגוריות).

9. לוחצים על openai-auditlog-logs.

10. עוברים לתיקייה openai-auditlog/.

11. מוודאים שנוצר קובץ .ndjson חדש עם חותמת הזמן הנוכחית.

אם מופיעות שגיאות ביומנים:

• HTTP 401: מוודאים שמשתנה הסביבה OPENAI_ADMIN_KEY נכון ושהמפתח לא בוטל
• ‫HTTP 403: מוודאים שמפתח ה-API הוא מפתח Admin API שנוצר על ידי בעלים של ארגון
• HTTP 429: הגבלת קצב – הפונקציה תנסה שוב באופן אוטומטי עם השהיה מעריכית לפני ניסיון חוזר
• משתני סביבה חסרים: מוודאים שכל המשתנים הנדרשים מוגדרים בהגדרות של פונקציית Cloud Run

אחזור חשבון השירות של Google SecOps

1. עוברים אל SIEM Settings > Feeds (הגדרות SIEM > פידים).
2. לוחצים על הוספת פיד חדש.
3. לוחצים על Configure a single feed (הגדרת פיד יחיד).
4. בשדה שם הפיד, מזינים שם לפיד (לדוגמה, OpenAI Audit Logs).
5. בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.

6. בוחרים באפשרות OpenAI Audit Logs (יומני ביקורת של OpenAI) בתור Log type (סוג היומן). לוחצים על קבלת חשבון שירות. מוצגת כתובת אימייל ייחודית של חשבון שירות. לדוגמה:

   chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
   

7. מעתיקים את כתובת האימייל הזו לשימוש בשלב הבא.

8. לוחצים על הבא.

9. מציינים ערכים לפרמטרים הבאים של הקלט:

   • כתובת ה-URL של קטגוריית האחסון: מזינים את ה-URI של קטגוריית GCS עם נתיב הקידומת:

     gs://openai-auditlog-logs/openai-auditlog/
     

   • אפשרות מחיקת המקור: בוחרים את אפשרות המחיקה הרצויה:
     • אף פעם: לא נמחקים קבצים אחרי ההעברה (מומלץ לבדיקות).
     • מחיקת קבצים שהועברו: הקבצים נמחקים אחרי שההעברה מסתיימת.
     • מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי שההעברה מסתיימת בהצלחה.
   • הגיל המקסימלי של הקובץ: כולל קבצים ששונו במספר הימים האחרון (ברירת המחדל היא 180 ימים)
   • מרחב השמות של הנכס: מרחב השמות של הנכס
   • תוויות להוספה: התווית שתתווסף לאירועים מהפיד הזה

10. לוחצים על הבא.

11. בודקים את ההגדרות של הפיד החדש במסך סיום ולוחצים על שליחה.

הענקת הרשאות IAM לחשבון השירות של Google SecOps

1. עוברים אל Cloud Storage > Buckets (קטגוריות).
2. לוחצים על openai-auditlog-logs.
3. עוברים לכרטיסייה Permissions.
4. לוחצים על הענקת גישה.
5. מספקים את פרטי ההגדרה הבאים:
   • Add principals (הוספת ישויות מורשות): מדביקים את כתובת האימייל בחשבון של חשבון השירות של Google SecOps
   • הקצאת תפקידים: בוחרים באפשרות צפייה באובייקטים באחסון.

6. לוחצים על Save.

טבלת מיפוי UDM

שדה ביומן	מיפוי UDM	היגיון
actor.session.ip_address_details.region_code	additional.fields	מיזוג כצמדי מפתח/ערך
actor.session.ip_address_details.asn	additional.fields
effective_at	metadata.event_timestamp	הומר מחותמת זמן של UNIX
has_principal	metadata.event_type	הערך הוא STATUS_UPDATE אם has_principal הוא true;‏ NETWORK_CONNECTION אם has_principal ו-has_target הם true;‏ FILE_COPY אם has_principal, ‏ has_file ו-has_source_file הם true;‏ FILE_UNCATEGORIZED אם has_principal ו-has_file הם true;‏ USER_UNCATEGORIZED אם has_user הוא true; אחרת, הערך הוא GENERIC_EVENT
has_user	metadata.event_type
has_target	metadata.event_type
has_file	metadata.event_type
has_source_file	metadata.event_type
actor.session.user_agent	network.http.parsed_user_agent	הערך מועתק ישירות ומומר לסוכן משתמש מנותח
actor.session.ja3	network.tls.client.ja3	הערך הועתק ישירות
actor.session.ip_address	principal.asset.ip	הערך הועתק ישירות
actor.session.ip_address	principal.ip	הערך הועתק ישירות
actor.session.ip_address_details.city	principal.location.city	הערך הועתק ישירות
actor.session.ip_address_details.country	principal.location.country_or_region	הערך הועתק ישירות
actor.session.ip_address_details.latitude	principal.location.region_latitude	הומר לצף
actor.session.ip_address_details.longitude	principal.location.region_longitude	הומר לצף
actor.session.ip_address_details.region	principal.location.state	הערך הועתק ישירות
actor.session.user.email	principal.user.email_addresses	הערך הועתק ישירות
actor.session.user.id	principal.user.userid	חילוץ באמצעות תבנית grok
actor.session.ja4	security_result.detection_fields	המיזוג מתבצע כצמד מפתח/ערך עם המפתח ja4
סוג	security_result.summary	הערך הועתק ישירות
metadata.product_name	metadata.product_name	ההגדרה היא OPENAI_AUDITLOG
metadata.vendor_name	metadata.vendor_name	ההגדרה היא OPENAI_AUDITLOG

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.