知白说
  • 文章
  • 分类
  • 标签
  • 时间线
  • 归档
    airflow 推荐系统 论文阅读
  • 关于

通过expect进行自动ssh登陆

本文主要是为了解决通过跳板机/堡垒机登陆时,在完成ssh链接之后依旧有一些操作需要处理的问题。如何配置通过SSH配置文件创建SSH链接,可以参考本文
2022-05-10
linux
#linux #ssh #expect

tf中ProfilerHoo的使用

1. ProfilerHook在深度学习训练过程中,经常会遇到性能的问题,为了提高训练过程的效率,各个训练环节的耗时分析和性能优化是必须的。而如果通过手动打印日志和耗时情况,不仅繁琐,而且准确度不高。那么我们可以通过tf提供的Profiler工具进行相关分析。
2022-05-03
tensorflow
#tensorflow #profilerhook

对dataframe使用自定义函数

1. 背景在日常的数据处理过程中,分类聚合操作是一种常见的操作类型,而在pandas中,这种操作常通过groupby完成。但是在groupby过程中,经常会有一些需要进行额外的自定义操作需要进行处理。本文主要是为了介绍groupby过程中如何使用自定义操作对groupby之后的数据集进行对应的操作处理。
2022-05-02
python
#python #dataframe #apply #custom function

github-pic-service

在日常写blog的过程中,我习惯使用markdown编写文章内容,这时候需要提供图片的地址以方便文章中可以显示图片,将图片放到本地当然方便,但是这样随着blog文章的增加,需要处理的源文件也越来越大。而且这种情况下,文章内容不方便进行不同平台的迁移,迁移到其他平台的时候,为了防止文章中的图片无法显示,只能同时调整图片位置。
2022-04-30
git
#blog #github #图床

tf2里导入pretrain-embedding的方法

在深度模型训练中,我们经常会使用到pre-train embedding,比如glove、w2v等模型的输出,尤其是在nlp和推广搜业务中。面对多种多样的embdding形式,如何方便的利用就成为了一个问题,这里记录一下我用来reload embedding的方法。
2022-04-29
tensorflow
#tensorflow #custom layers #preprocessing #pre-train #embedding

tf2中构建模型的三种方法

0. 背景tf2版本中,提供了三种不同的模型构建逻辑。
2022-04-29
tensorflow
#tensorflow #subclassing #sequenctial #functional

通过preprocessing构建tf2模型

1. 背景 tf2.x里增加了一类特殊的keras layers, 可以替代tf.feature_column进行特征处理,这一类的layers就是preprocessing layers
2022-04-26
tensorflow
#tensorflow #subclassing #custom model #preprocessin

tf2中subclassing自定义模型

1. tf2中的subclassing模型tf2中常见的定义模型的方法分成三种:functional、sequenctial、subclassing
2022-04-25
tensorflow
#tensorflow #subclassing #save model

airflow自定义operator

任意的自定义我们需要的operator是airlfow的一大优势,这极大的方便了我们在日常开发调度流程中的灵活性和可拓展性。
2022-04-24
airflow
#airflow #调度器 #custom #operator

Linux命令行常用快捷键

记录一些常用的Linux命令行快捷键
2022-04-24
linux
#快捷键 #linux
12345

搜索

Hexo Fluid