airflow自定义operator

任意的自定义我们需要的operator是airlfow的一大优势,这极大的方便了我们在日常开发调度流程中的灵活性和可拓展性。

1. 基本介绍

自定义airflow-operator的时候需要继承airflow.models.baseoperator.BaseOperator.
同时,至少需要对基类里的两个方法进行重写:

  1. Constructor
    • 定义当前operator需要使用到的参数。
  2. Execute:
    • 当operator进行执行的时候需要执行的代码。

一个基本的自定义Operator的例子

from airflow.models.baseoperator import BaseOperator

class HelloOperator(BaseOperator):
    def __init__(slef, name: str, **kwargs) -> None:
        super().__init__(**kwargs)
        self.name = name
    
    def execute(self, context):
        message = f"Hello {self.name}"
        print(message)
        return message

airflow自定义operator
https://zermzhang.github.io/2022/04/24/airflow/airflow自定义operator/
作者
知白
发布于
2022年4月24日
许可协议