在airflow中，可以通过对pipeline中的不同task赋予不同的状态(state)说明当前任务的执行进度。通过airflow的状态机制，可以对当前的任务执行进度和状态进行很好的把控，及时了解指定任务的情况。 其中，airflow在更新到2.0版本后，相较于之前的1.9.0版本，airflow对任务状态进行了进一步的细化说明。本文主要是为了对airflow的基础状态信息进行一个简单的介绍和记

airflow是airbnb开源的一套可以灵活管理工作流的自动化和调度系统

oh-my-zsh安装oh-my-zsh是是针对zsh命令行环境的配置包装框架，通过它，我们可以省去针对zsh繁琐的配置过程，几乎达到开箱即用的地步。

Livy概述Livy是Apache Spark的一个REST服务，通过Livy，可以实现在任意的平台上通过Http请求提交Spark任务。 通过livy提交的spark任务，对原始的spark脚本没有任何入侵 livy支持多用户、多任务并行的和spark集群进行交互 可以在python、scala、java中通过livy进行spark批任务的处理

github action github action 是一个持续集成（Continuous intergration）和持续交付（Continuous deluvery）的平台，他可以做到自动化构建、测试、部署。