通过expect进行自动ssh登陆 本文主要是为了解决通过跳板机/堡垒机登陆时,在完成ssh链接之后依旧有一些操作需要处理的问题。如何配置通过SSH配置文件创建SSH链接,可以参考本文 2022-05-10 linux #linux #ssh #expect
tf中ProfilerHoo的使用 1. ProfilerHook在深度学习训练过程中,经常会遇到性能的问题,为了提高训练过程的效率,各个训练环节的耗时分析和性能优化是必须的。而如果通过手动打印日志和耗时情况,不仅繁琐,而且准确度不高。那么我们可以通过tf提供的Profiler工具进行相关分析。 2022-05-03 tensorflow #tensorflow #profilerhook
对dataframe使用自定义函数 1. 背景在日常的数据处理过程中,分类聚合操作是一种常见的操作类型,而在pandas中,这种操作常通过groupby完成。但是在groupby过程中,经常会有一些需要进行额外的自定义操作需要进行处理。本文主要是为了介绍groupby过程中如何使用自定义操作对groupby之后的数据集进行对应的操作处理。 2022-05-02 python #python #dataframe #apply #custom function
github-pic-service 在日常写blog的过程中,我习惯使用markdown编写文章内容,这时候需要提供图片的地址以方便文章中可以显示图片,将图片放到本地当然方便,但是这样随着blog文章的增加,需要处理的源文件也越来越大。而且这种情况下,文章内容不方便进行不同平台的迁移,迁移到其他平台的时候,为了防止文章中的图片无法显示,只能同时调整图片位置。 2022-04-30 git #blog #github #图床
tf2里导入pretrain-embedding的方法 在深度模型训练中,我们经常会使用到pre-train embedding,比如glove、w2v等模型的输出,尤其是在nlp和推广搜业务中。面对多种多样的embdding形式,如何方便的利用就成为了一个问题,这里记录一下我用来reload embedding的方法。 2022-04-29 tensorflow #tensorflow #custom layers #preprocessing #pre-train #embedding
tf2中构建模型的三种方法 0. 背景tf2版本中,提供了三种不同的模型构建逻辑。 2022-04-29 tensorflow #tensorflow #subclassing #sequenctial #functional
通过preprocessing构建tf2模型 1. 背景 tf2.x里增加了一类特殊的keras layers, 可以替代tf.feature_column进行特征处理,这一类的layers就是preprocessing layers 2022-04-26 tensorflow #tensorflow #subclassing #custom model #preprocessin
tf2中subclassing自定义模型 1. tf2中的subclassing模型tf2中常见的定义模型的方法分成三种:functional、sequenctial、subclassing 2022-04-25 tensorflow #tensorflow #subclassing #save model
airflow自定义operator 任意的自定义我们需要的operator是airlfow的一大优势,这极大的方便了我们在日常开发调度流程中的灵活性和可拓展性。 2022-04-24 airflow #airflow #调度器 #custom #operator