הפעלת ריצות באופן ידני

במאמר הזה מוסבר איך להפעיל באופן ידני את כל תהליך העבודה או רק אלמנטים נבחרים בתהליך העבודה.

אפשר להפעיל ריצה של הרכיבים הבאים בתהליך העבודה:

• כל הפעולות בתהליך העבודה
• הפעולות שנבחרו
• פעולות עם תגים נבחרים

לפני שמתחילים

1. נכנסים לדף Dataform במסוף Google Cloud .

   מעבר לדף Dataform

2. בוחרים מאגר או יוצרים מאגר.

3. בוחרים או יוצרים סביבת עבודה לפיתוח.

4. פיתוח תהליך העבודה.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות להפעלת ריצה באופן ידני, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• ‫Dataform Editor (roles/dataform.editor) במאגר Dataform
• BigQuery Job User (roles/bigquery.jobUser) בפרויקט
• משתמש בחשבון שירות (roles/iam.serviceAccountUser) בחשבון השירות המותאם אישית

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

הפעלה ידנית של כל הפעולות בתהליך העבודה

כדי להפעיל ידנית את כל הפעולות בתהליך העבודה, פועלים לפי השלבים הבאים:

1. עוברים לסביבת עבודה לפיתוח.
2. לוחצים על התחלת ההפעלה.
3. לוחצים על פעולות > פעולות גורפות.

4. בקטע אימות, מאשרים את ההפעלה באמצעות פרטי הכניסה של משתמש בחשבון Google או חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google, בוחרים באפשרות Execute with user credentials (הפעלה עם פרטי כניסה של משתמש).

     אופציונלי: בקטע Extended access options (אפשרויות גישה מורחבת), בוחרים את היקפי ההרשאות הנוספים שנדרשים לתהליך העבודה:

     • Knowledge Catalog: מאפשר Google Cloud עדכוני מטא-נתונים של Knowledge Catalog.
     • ‫Google Drive: מאפשר גישה לקבצים ב-Google Drive לקריאה בלבד.
     • ‫Bigtable: מאפשר גישה לקריאה בלבד לנתונים ב-Google Bigtable.

   • כדי להשתמש בחשבון שירות בהתאמה אישית, בוחרים באפשרות Execute with selected service account (ביצוע עם חשבון השירות שנבחר) ואז בוחרים חשבון שירות בהתאמה אישית.

5. בוחרים באפשרות כל הפעולות.

6. אופציונלי: כדי לבנות מחדש את כל הטבלאות מאפס, בוחרים באפשרות הפעלה עם רענון מלא. בלי האפשרות הזו, Dataform מעדכן טבלאות מצטברות בלי לבנות אותן מחדש מאפס.

7. אופציונלי: מגדירים את העדיפות של עבודת השאילתה ב-BigQuery באמצעות האפשרות Execute as interactive job with high priority (default) (הפעלה כעבודה אינטראקטיבית עם עדיפות גבוהה (ברירת מחדל)). כברירת מחדל, BigQuery מריץ שאילתות כמשימות של שאילתות אינטראקטיביות, שמיועדות להתחיל לפעול כמה שיותר מהר. אם לא מסמנים את האפשרות הזו, השאילתות מופעלות כעבודות של שאילתות באצווה, שהעדיפות שלהן נמוכה יותר.

8. לוחצים על התחלת ההפעלה. אם בחרתם באפשרות Execute with user credentials (ביצוע באמצעות פרטי כניסה של משתמש) לשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google.

הפעלה ידנית של פעולות נבחרות

כדי להפעיל באופן ידני הרצה של פעולות נבחרות:

1. עוברים לסביבת העבודה לפיתוח.

2. לוחצים על התחלת ההפעלה ואז מבצעים אחת מהפעולות הבאות:

   • לוחצים על פעולות ובוחרים את הפעולה שרוצים להפעיל.
   • לוחצים על פעולות > פעולות גורפות.

3. בקטע אימות, מאשרים את ההפעלה באמצעות פרטי הכניסה של משתמש בחשבון Google או חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google, בוחרים באפשרות Execute with user credentials (הפעלה עם פרטי כניסה של משתמש).

     אופציונלי: בקטע Extended access options (אפשרויות גישה מורחבת), בוחרים את השירותים הנוספים שנדרשים בתהליך העבודה:

     • Knowledge Catalog: מאפשר Google Cloud עדכוני מטא-נתונים של Knowledge Catalog.
     • ‫Google Drive: מאפשר גישה לקבצים ב-Google Drive לקריאה בלבד.
     • ‫Bigtable: מאפשר גישה לקריאה בלבד לנתונים ב-Google Bigtable.

   • כדי להשתמש בחשבון שירות בהתאמה אישית, בוחרים באפשרות Execute with selected service account (ביצוע עם חשבון השירות שנבחר) ואז בוחרים חשבון שירות בהתאמה אישית.

4. מוודאים שהאפשרות בחירת פעולות מסומנת.

5. בתפריט Select actions to execute (בחירת פעולות לביצוע), בוחרים את הפעולות שרוצים להפעיל.

6. אופציונלי: כדי להריץ את הפעולות שנבחרו ואת התלויות שלהן, בוחרים באפשרות Include dependencies (הכללת תלויות).

7. אופציונלי: כדי להריץ את הפעולות שנבחרו ואת הפעולות שתלויות בהן, בוחרים באפשרות כולל פעולות שתלויות בהן.

8. אופציונלי: כדי לבנות מחדש את כל הטבלאות מאפס, בוחרים באפשרות הפעלה עם רענון מלא.

9. אופציונלי: מגדירים את העדיפות של עבודת השאילתה ב-BigQuery באמצעות האפשרות Execute as interactive job with high priority (default) (הפעלה כעבודה אינטראקטיבית עם עדיפות גבוהה (ברירת מחדל)). כברירת מחדל, BigQuery מריץ שאילתות כמשימות של שאילתות אינטראקטיביות, שמיועדות להתחיל לפעול כמה שיותר מהר. אם לא מסמנים את האפשרות הזו, השאילתות מופעלות כעבודות של שאילתות באצווה, שהעדיפות שלהן נמוכה יותר.

10. לוחצים על התחלת ההפעלה. אם בחרתם באפשרות Execute with my user credentials (ביצוע באמצעות פרטי הכניסה של המשתמש שלי) כשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google שלכם.

הפעלת פעולות באופן ידני עם תגים נבחרים

כדי להפעיל באופן ידני ריצה של פעולות עם תגים נבחרים:

1. עוברים לסביבת העבודה לפיתוח.

2. לוחצים על התחלת ההפעלה ואז מבצעים אחת מהפעולות הבאות:

   • לוחצים על תגים ובוחרים את התג שרוצים להפעיל.
   • לוחצים על תגים > תגים מרובים.

3. בקטע אימות, מאשרים את ההפעלה באמצעות פרטי הכניסה של משתמש בחשבון Google או חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google, בוחרים באפשרות Execute with user credentials (הפעלה עם פרטי כניסה של משתמש).

     אופציונלי: בקטע Extended access options (אפשרויות גישה מורחבת), בוחרים את השירותים הנוספים שנדרשים בתהליך העבודה:

     • Knowledge Catalog: מאפשר Google Cloud עדכוני מטא-נתונים של Knowledge Catalog.
     • ‫Google Drive: מאפשר גישה לקבצים ב-Google Drive לקריאה בלבד.
     • ‫Bigtable: מאפשר גישה לקריאה בלבד לנתונים ב-Google Bigtable.

   • כדי להשתמש בחשבון שירות בהתאמה אישית, בוחרים באפשרות Execute with selected service account (ביצוע עם חשבון השירות שנבחר) ואז בוחרים חשבון שירות בהתאמה אישית.

4. מוודאים שהאפשרות בחירת תגים מסומנת.

5. בתפריט Select tags to execute (בחירת תגים להפעלה), בוחרים את התגים שרוצים להפעיל.

6. אופציונלי: כדי להריץ את הפעולות עם התגים שנבחרו והתלות שלהם, בוחרים באפשרות Include dependencies (כולל תלויות).

7. אופציונלי: כדי להפעיל את הפעולות עם התגים שנבחרו ועם הפעולות שתלויות בהם, בוחרים באפשרות Include dependents (כולל תלויות).

8. אופציונלי: כדי לבנות מחדש את כל הטבלאות מאפס, בוחרים באפשרות הפעלה עם רענון מלא. בלי האפשרות הזו, Dataform מעדכן טבלאות מצטברות בלי לבנות אותן מחדש מאפס.

9. אופציונלי: מגדירים את העדיפות של עבודת השאילתה ב-BigQuery באמצעות האפשרות Execute as interactive job with high priority (default) (הפעלה כעבודה אינטראקטיבית עם עדיפות גבוהה (ברירת מחדל)). כברירת מחדל, BigQuery מריץ שאילתות כמשימות של שאילתות אינטראקטיביות, שמיועדות להתחיל לפעול כמה שיותר מהר. אם לא מסמנים את האפשרות הזו, השאילתות מופעלות כעבודות של שאילתות באצווה, שהעדיפות שלהן נמוכה יותר.

10. לוחצים על התחלת ההפעלה. אם בחרתם באפשרות Execute with my user credentials (ביצוע באמצעות פרטי הכניסה של המשתמש שלי) כשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google שלכם.

איך נותנים הרשאה לחשבון Google

כדי לאמת את המשאב באמצעות פרטי הכניסה של המשתמש בחשבון Google, צריך להעניק באופן ידני הרשאה לצינורות של BigQuery לקבל את אסימון הגישה לחשבון Google ולגשת לנתוני המקור בשמכם. אתם יכולים לתת אישור ידני באמצעות ממשק תיבת הדו-שיח של OAuth. אם בוחרים באחת מאפשרויות הגישה המורחבת, צריך להעניק גישה לשירותים האלה – למשל, Google Drive או Knowledge Catalog.

צריך לתת הרשאה לצינורות של BigQuery רק פעם אחת.

כדי לבטל את ההרשאה שהענקתם, פועלים לפי השלבים הבאים:

1. עוברים אל הדף של החשבון ב-Google.
2. לוחצים על BigQuery Pipelines.
3. לוחצים על הסרת הגישה.

המאמרים הבאים

• מידע נוסף על הפעלת טבלאות מצטברות ב-Dataform ועל הגדרת טבלה מצטברת זמין במאמר הגדרת טבלה מצטברת.
• במאמר מעקב אחרי יומני ביצוע מוסבר איך לצפות ביומני ביצוע.
• במאמר תזמון הרצות באמצעות Workflows ו-Cloud Scheduler מוסבר איך לתזמן הרצות באמצעות Workflows ו-Cloud Scheduler.
• במאמר תזמון הרצות באמצעות Managed Service for Apache Airflow מוסבר איך לתזמן הרצות באמצעות Managed Service for Apache Airflow.