Merge branch 'main' into user-impersonation-reworked

Author: amoghrajesh

airflow-core/src/airflow/ui/src/i18n/config.ts

@@ -38,6 +38,7 @@ import heAdmin from "./locales/he/admin.json";
 import heAsset from "./locales/he/assets.json";
 import heBrowse from "./locales/he/browse.json";
 import heCommon from "./locales/he/common.json";
+import heComponents from "./locales/he/components.json";
 import heDashboard from "./locales/he/dashboard.json";
 import koCommon from "./locales/ko/common.json";
 import koDashboard from "./locales/ko/dashboard.json";
@@ -98,6 +99,7 @@ const resources = {
     assets: heAsset,
     browse: heBrowse,
     common: heCommon,
+    components: heComponents,
     dashboard: heDashboard,
   },
   ko: {

airflow-core/src/airflow/ui/src/i18n/locales/he/components.json

@@ -0,0 +1,132 @@
+{
+  "backfill": {
+    "affected_one": "ריצה אחת תופעל.",
+    "affected_other": "{{count}} ריצות תופעלנה.",
+    "affectedNone": "לא נמצאו ריצות התואמות לקריטריונים שנבחרו.",
+    "backwards": "הרץ לאחור",
+    "dateRange": "טווח תאריכים",
+    "dateRangeFrom": "מתאריך",
+    "dateRangeTo": "עד תאריך",
+    "errorStartDateBeforeEndDate": "תאריך ההתחלה חייב להיות לפני תאריך הסיום",
+    "maxRuns": "מספר ריצות מקבילות מירבי",
+    "reprocessBehavior": "התנהגות עיבוד מחדש",
+    "run": "הרץ Backfill",
+    "selectDescription": "הרץ DAG זה עבור טווח תאריכים",
+    "selectLabel": "Backfill",
+    "title": "הרץ Backfill",
+    "toaster": {
+      "success": {
+        "description": "משימות ה-Backfill הופעלו בהצלחה.",
+        "title": "Backfill נוצר"
+      }
+    },
+    "tooltip": "Backfill דורש לוח זמנים",
+    "unpause": "הפעל את {{dag_display_name}} בעת ההרצה",
+    "validation": {
+      "datesRequired": "יש להזין גם תאריך התחלה וגם תאריך סיום של מרווח הנתונים.",
+      "startBeforeEnd": "תאריך התחלת מרווח הנתונים חייב להיות קטן או שווה לתאריך סיום מרווח הנתונים."
+    }
+  },
+  "banner": {
+    "backfillInProgress": "Backfill בתהליך",
+    "cancel": "בטל backfill",
+    "pause": "השהה backfill",
+    "unpause": "הפעל מחדש backfill"
+  },
+  "clipboard": {
+    "copy": "העתק"
+  },
+  "close": "סגור",
+  "configForm": {
+    "advancedOptions": "אפשרויות מתקדמות",
+    "configJson": "הגדרות JSON",
+    "invalidJson": "מבנה ה-JSON אינו תקין: {{errorMessage}}"
+  },
+  "dagWarnings": {
+    "error_one": "שגיאה אחת",
+    "errorAndWarning": "שגיאה אחת ו-{{warningText}}",
+    "warning_one": "אזהרה אחת",
+    "warning_other": "{{count}} אזהרות"
+  },
+  "durationChart": {
+    "duration": "משך זמן (שניות)",
+    "lastDagRun_one": "ריצת DAG אחרונה",
+    "lastDagRun_other": "{{count}} ריצות DAG אחרונות",
+    "lastTaskInstance_one": "משימה אחרונה",
+    "lastTaskInstance_other": "{{count}} משימות אחרונות",
+    "queuedDuration": "זמן המתנה בתור",
+    "runAfter": "הרץ אחרי",
+    "runDuration": "משך זמן ריצה"
+  },
+  "fileUpload": {
+    "files_other": "{{count}} קבצים"
+  },
+  "flexibleForm": {
+    "placeholder": "בחר ערך",
+    "placeholderArray": "הכנס כל מחרוזת בשורה חדשה",
+    "placeholderExamples": "התחל להקליד כדי לראות אפשרויות",
+    "placeholderMulti": "בחר ערך אחד או יותר",
+    "validationErrorArrayNotArray": "הערך חייב להיות מערך.",
+    "validationErrorArrayNotNumbers": "כל האיברים במערך חייבים להיות מספרים.",
+    "validationErrorArrayNotObject": "כל האיברים במערך חייבים להיות אובייקטים.",
+    "validationErrorRequired": "שדה זה הוא חובה"
+  },
+  "graph": {
+    "directionDown": "מלמעלה למטה",
+    "directionLeft": "מימין לשמאל",
+    "directionRight": "משמאל לימין",
+    "directionUp": "מלמטה למעלה",
+    "downloadImage": "הורד תמונת גרף",
+    "downloadImageError": "הורדת תמונת הגרף נכשלה.",
+    "downloadImageErrorTitle": "ההורדה נכשלה",
+    "otherDagRuns": "+ ריצות DAG נוספות",
+    "taskCount_one": "משימה אחת",
+    "taskCount_other": "{{count}} משימות",
+    "taskGroup": "קבוצת משימות"
+  },
+  "limitedList": "+ {{count}} נוספים",
+  "logs": {
+    "file": "קובץ",
+    "in": "ב",
+    "line": "שורה"
+  },
+  "reparseDag": "נתח DAG מחדש",
+  "sortedAscending": "ממוין בסדר עולה",
+  "sortedDescending": "ממוין בסדר יורד",
+  "sortedUnsorted": "לא ממוין",
+  "taskTries": "ניסיונות משימה",
+  "toggleCardView": "הצג תצוגת כרטיסים",
+  "toggleTableView": "הצג תצוגת טבלה",
+  "triggerDag": {
+    "button": "הפעל",
+    "loading": "טוען מידע DAG...",
+    "loadingFailed": "טעינת מידע ה-DAG נכשלה. אנא נסו שוב.",
+    "runIdHelp": "אופציונלי - ייווצר אוטומטית אם לא יסופק",
+    "selectDescription": "הפעל ריצה בודדת של DAG זה",
+    "selectLabel": "ריצה בודדת",
+    "title": "הפעל DAG",
+    "toaster": {
+      "success": {
+        "description": "ריצת ה-DAG הופעלה בהצלחה.",
+        "title": "ריצת DAG הופעלה"
+      }
+    },
+    "unpause": "הפעל את {{dagDisplayName}} בעת ההרצה"
+  },
+  "trimText": {
+    "details": "פרטים",
+    "empty": "ריק",
+    "noContent": "אין תוכן זמין."
+  },
+  "versionDetails": {
+    "bundleLink": "קישור לחבילה",
+    "bundleName": "שם החבילה",
+    "bundleVersion": "גרסת החבילה",
+    "createdAt": "נוצר ב",
+    "versionId": "מזהה גרסה"
+  },
+  "versionSelect": {
+    "dagVersion": "גרסת DAG",
+    "versionCode": "גרסה {{versionCode}}"
+  }
+}

providers/databricks/tests/unit/databricks/operators/test_databricks_copy.py

@@ -37,6 +37,8 @@
 
 
 def test_copy_with_files():
+    import re
+
     op = DatabricksCopyIntoOperator(
         file_location=COPY_FILE_LOCATION,
         file_format="JSON",
@@ -45,16 +47,16 @@ def test_copy_with_files():
         format_options={"dateFormat": "yyyy-MM-dd"},
         task_id=TASK_ID,
     )
-    assert (
-        op._create_sql_query()
-        == f"""COPY INTO test
-FROM '{COPY_FILE_LOCATION}'
-FILEFORMAT = JSON
-FILES = ('file1','file2','file3')
-FORMAT_OPTIONS ('dateFormat' = 'yyyy-MM-dd')
-""".strip()
+    sql = op._create_sql_query()
+    expected_pattern = (
+        rf"COPY INTO test\s+FROM '{COPY_FILE_LOCATION}'\s+"
+        r"FILEFORMAT = JSON\s+"
+        r"(FILES = (ARRAY\(|\())'file1','file2','file3'\)?\s+"
+        r"FORMAT_OPTIONS \('dateFormat' = 'yyyy-MM-dd'\)"
     )
 
+    assert re.fullmatch(expected_pattern, sql.strip(), flags=re.MULTILINE)
+
 
 def test_copy_with_expression():
     expression = "col1, col2"

providers/http/src/airflow/providers/http/hooks/http.py

@@ -159,7 +159,7 @@ def get_conn(
         connection = self.get_connection(self.http_conn_id)
         self._set_base_url(connection)
         session = self._configure_session_from_auth(session, connection)
-        if connection.extra:
+        if connection.extra or extra_options:
             session = self._configure_session_from_extra(session, connection, extra_options)
         session = self._configure_session_from_mount_adapters(session)
         if self.default_headers:
@@ -298,10 +298,10 @@ def run_and_check(
 
         settings = session.merge_environment_settings(
             prepped_request.url,
-            proxies=extra_options.get("proxies", {}),
-            stream=extra_options.get("stream", False),
-            verify=extra_options.get("verify"),
-            cert=extra_options.get("cert"),
+            proxies=session.proxies,
+            stream=session.stream,
+            verify=session.verify,
+            cert=session.cert,
         )
 
         # Send the request.

providers/http/tests/unit/http/hooks/test_http.py

@@ -48,6 +48,10 @@ def aioresponse():
         yield async_response
 
 
+def get_airflow_dummy_connection(conn_id: str = "http_default"):
+    return Connection(conn_id=conn_id, conn_type="http", host="test:8080/")
+
+
 def get_airflow_connection(conn_id: str = "http_default"):
     return Connection(conn_id=conn_id, conn_type="http", host="test:8080/", extra='{"bearer": "test"}')
 
@@ -294,6 +298,31 @@ def test_post_request_do_not_raise_for_status_if_check_response_is_false(self, r
             resp = self.post_hook.run("v1/test", extra_options={"check_response": False})
             assert resp.status_code == 418
 
+    def test_post_request_raises_error_when_redirects_with_max_redirects_set_to_0(self, requests_mock):
+        requests_mock.post(
+            "http://test:8080/v1/test",
+            status_code=302,
+            headers={"Location": "http://test:8080/v1/redirected"},
+        )
+
+        requests_mock.post(
+            "http://test:8080/v1/redirected",
+            status_code=200,
+            text='{"message": "OK"}',
+        )
+
+        with mock.patch(
+            "airflow.hooks.base.BaseHook.get_connection", side_effect=get_airflow_dummy_connection
+        ):
+            with pytest.raises(requests.exceptions.TooManyRedirects) as err:
+                self.post_hook.run("v1/test", extra_options={"max_redirects": 0})
+
+            assert str(err.value) == "Exceeded 0 redirects."
+            history = requests_mock.request_history
+            assert len(history) == 1
+            assert history[0].url == "http://test:8080/v1/test"
+            assert history[0].method == "POST"
+
     def test_post_request_do_not_raise_for_status_if_check_response_is_false_within_extra(
         self, requests_mock
     ):

providers/http/tests/unit/http/operators/test_http.py

@@ -142,6 +142,7 @@ def test_pagination(
         a dictionary that override previous' call parameters.
         """
         is_second_call: bool = False
+        extra_options_verify = extra_options["verify"]
 
         def pagination_function(response: Response) -> dict | None:
             """Paginated function which returns None at the second call."""
@@ -175,7 +176,7 @@ def pagination_function(response: Response) -> dict | None:
         first_call = first_endpoint.request_history[0]
         assert first_call.headers.items() >= headers.items()
         assert first_call.body == RequestEncodingMixin._encode_params(data)
-        assert first_call.verify is extra_options["verify"]
+        assert first_call.verify == extra_options_verify
 
         # Ensure the second - paginated - call is made with parameters merged from the pagination function
         second_call = second_endpoint.request_history[0]

providers/http/tests/unit/http/sensors/test_http.py

@@ -265,6 +265,10 @@ def __init__(self):
         self.response = requests.Response()
         self.response.status_code = 200
         self.response._content = "apache/airflow".encode("ascii", "ignore")
+        self.proxies = None
+        self.stream = None
+        self.verify = False
+        self.cert = None
 
     def send(self, *args, **kwargs):
         return self.response