1. 背景在日常的数据处理过程中，分类聚合操作是一种常见的操作类型，而在pandas中，这种操作常通过groupby完成。但是在groupby过程中，经常会有一些需要进行额外的自定义操作需要进行处理。本文主要是为了介绍groupby过程中如何使用自定义操作对groupby之后的数据集进行对应的操作处理。

在日常写blog的过程中，我习惯使用markdown编写文章内容，这时候需要提供图片的地址以方便文章中可以显示图片，将图片放到本地当然方便，但是这样随着blog文章的增加，需要处理的源文件也越来越大。而且这种情况下，文章内容不方便进行不同平台的迁移，迁移到其他平台的时候，为了防止文章中的图片无法显示，只能同时调整图片位置。

0. 背景tf2版本中，提供了三种不同的模型构建逻辑。

在深度模型训练中，我们经常会使用到pre-train embedding，比如glove、w2v等模型的输出，尤其是在nlp和推广搜业务中。面对多种多样的embdding形式，如何方便的利用就成为了一个问题，这里记录一下我用来reload embedding的方法。

1. 背景 tf2.x里增加了一类特殊的keras layers, 可以替代tf.feature_column进行特征处理，这一类的layers就是preprocessing layers

1. tf2中的subclassing模型tf2中常见的定义模型的方法分成三种：functional、sequenctial、subclassing

任意的自定义我们需要的operator是airlfow的一大优势，这极大的方便了我们在日常开发调度流程中的灵活性和可拓展性。

记录一些常用的Linux命令行快捷键

在airflow中，可以通过对pipeline中的不同task赋予不同的状态(state)说明当前任务的执行进度。通过airflow的状态机制，可以对当前的任务执行进度和状态进行很好的把控，及时了解指定任务的情况。 其中，airflow在更新到2.0版本后，相较于之前的1.9.0版本，airflow对任务状态进行了进一步的细化说明。本文主要是为了对airflow的基础状态信息进行一个简单的介绍和记

airflow是airbnb开源的一套可以灵活管理工作流的自动化和调度系统