- 博客(67)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 为什么老说python是伪多线程，怎么解决？
目录一、什么是多线程、多进程、守护线程1.1 进程1.2 程序1.3 线程1.4 多线程1.5 守护线程1.6 进程与线程的区别1.7 进程与线程的优缺点二、利用Python进行并行计算2.1、并行？伪并行？2.2 GIL2.2.1 GIL是什么...
2020-08-11 17:27:12
1273
原创 总结最近两周在使用spark scala下遇到一些坑
耐心看日志信息：spark集群有主控driver和executor的区别，通常我们会在driver端打出一些日志作为提示，但如果把日志打到了executor上执行的算子上，那么日志旧不能再sparksubmitweb上查询到（当时花了好久定位日志…）。通常运行出来的日志比较长，耐心看日志也可以查到其中什么原因导致的出错。通常foreach语句使用在collect之后的driver端数据，否者中途生成的变量都还是再executor端，没有会中统计。写代码的时候需要考虑当前数据量有多大，是放在driv.
2020-07-17 18:18:23
296
原创 sklearn下绕过graph.rende查看图片
问题背景原始代码file = pd.read_csv("train.csv")feature_names = ["is_login","view_duration","last_up","ofcl_count","other_count"]x = file[feature_names]y = file[["click"]]print(y.sum())x_train0, x_test0, y_train0, y_test0 = model_selection.train_test_split(
2020-07-15 20:39:17
1630
3
原创 mysql中完成row_number()功能
下列的功能再mysql上会由于row_number功能不存在而报错select title,content,ROW_NUMBER() over(partition by title,content order by shows desc) as rkfrom yy_push_race_info_v6where oeid = 1 and is_login = 0查询了一下发现mysql中其实可以做一些简单的***流式处理***，来处理这种排序打编号的问题，感觉很有意思，记录一下，可以写成sele
2020-07-06 11:36:31
1128
原创 python list指针中被的一些小技巧
python中的list如果没用好会出现莫名奇妙被修改的情况，所以单独试了一下什么时候是深拷贝，什么时候是浅拷贝#python中的重重指针需要定义清楚#test1-----------------------print ("-"* 20)a = [0] * 20b = ab[0] = 10b[3] = 20print(a)print(b)#output:#[10, 0, 0, 20, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]#[
2020-05-23 15:22:13
619
原创 淘宝天猫评论爬取，简单的办法完成滑动验证
淘宝评论爬取 教你如果自动滑动验证背景：背景：最近在准备一个关于文本情感分析的分享，首先想到使用淘宝的评论，由于淘宝以分类好好评差评，同时也打上了印象的标签,比较适合与做情感分析的训练样本。爬虫的工具使用：selenium ，主要是由于其方便模拟点击。当然如果有其他模拟工具都可以用，原理上是差不多的。...
2020-05-10 18:22:32
4029
6
转载 机器翻译评价指标BLEU介绍
最近需要设计一个机器翻译相关的试验, 其中好多东西都不同, 先从基础的评价指标来吧. 本文翻译自Jason Brownlee的博客[...
2020-03-03 23:01:45
4726
原创 git同时更新多个repo的实用技巧
因为项目管理，需要使项目同时能够更新本地repo,和github上的repo。分析了一下git工具本身就支持此操作，而且很容易，只需运行：git remote set-url origin --push --add https://git.xxxx.com/xxxxxx/xxxxx.git就可以了。同时也可以通过.git/config中查看具体信息如下：[core] re...
2020-02-26 14:45:11
600
原创 使用强化学习NatureDQN来玩打砖块
使用强化学习NatureDQN来玩打砖块目标第一版尝试打砖块的基础预处理图片预处理状态预处理网络设计第二版本尝试第三版本尝试代码目录：目标打砖块是gym游戏中相对复杂一些的游戏，不同于CartPole游戏，状态空间较少，基本上10分钟左右训练就可以玩到最高分，打砖块要训练非常长的时间，因此对于更进一步去理解和优化DQN非常有帮助。第一版尝试打砖块的基础打砖块的reward设置是敲打到砖块...
2020-01-21 18:39:21
2411
原创 使用键盘玩gym的游戏
使用键盘玩gym的游戏背景相关的库代码背景在学习强化学习时候上手一般会是使用gym来入手，但其中的reward和action具体是如何的确不是很方便直接查看到，对于我们使用强化学习中，重新分配reward而言就造成了麻烦，因此最好的办法是使用键盘让我么你自己来玩玩游戏看看其中的reward是怎样的相关的库pip3 install keyboard,代码以打砖块为例子，action_...
2020-01-21 11:18:32
2040
原创 使用深度网络来拟合乘法&除法
深度网络在做拟合乘法除法这些操作时候很难去使用像Dense这样得网络去凑出来。使用二进制得角度的确是可以使用线性的方式来处理乘法除法甚至sin等非线性运算，二想要使用线性运算加激活函数来去拟合这样非线性组合的函数，就只能多重的非线性组合来进行操作。我这里使用几种组合来尝试拟除法。使用单层网络:# network weightsinput_layer = Input(shape=(2,), ...
2020-01-20 20:43:15
2518
1
原创 pix2pix在keras上的训练以及优化效果过程
pix2pix在keras上训练背景初步训练背景pix2pix提供的示例是使用tensorflow,我我参考着来做了一个keras的实现，原项目中使用的是生成网络加上判别网络来提升生成网络，而我观察实际在训练中判别部分起到的作用比较小，所以我先尝试只使用生成网络来做训练，具体的项目代码在：pix2pix-keras初步训练下图为迭代了80次之后在训练下的一个效果，纹理上是逐渐变清晰的．...
2019-12-17 21:09:04
2115
1
原创 keras中conv2d,conv2dTranspose的Padding详细介绍
keras中padding详细介绍背景详细介绍conv2D演示代码Conv2d演示结论CONV2Dtranspose演示代码背景conv2d和conv2dTranspose属于最常用的层,但在keras的实现中关于padding的部分有点模糊,周末趁着空闲做了一些尝试,来实验padding的valid和same参数在实际过程中如何操作的.详细介绍conv2D演示代码conv2D部分v_...
2019-12-15 13:26:29
6805
2
原创 简易的google图片爬虫(若爬百度可适当针对源码修改)
简单的google image爬虫背景关键代码requirement获取链接模块下载模块其他爬取百度图片添加超时功能背景为了做一些漫画风格的自动生成网络训练，需要使用到google去爬取图片，看到一个写的比较通俗的源码，觉得未来做其他的爬虫大概率会用的上，所以在这里做一个记录。github源码地址:GoogleImagesDownloader关键代码requirement首先需要安装一下...
2019-12-12 20:41:43
528
转载 Python中collections模块
目录 Python中collections模块 Counter defaultdict OrderedDict namedtuple deque ChainMap Python中collect...
2019-12-09 21:46:07
155
转载 深度学习之异常检测+视频预测+预训练+视频标注+镜头边界检测+行为分割+视频生成gif--附带源码和作者主页
<!--一个博主专栏付费入口结束--> <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-4a3473df85.css"> ...
2019-12-04 17:25:50
1948
原创 python3.6下调试内存溢出问题
结局python3.6下调试程序的内存溢出问题问题描述：分析python3.6的内存释放机制理论部分实验一： python3.6使用numpy验证内存释放实验二：将内存申请释放置函数中观察其释放解决办法问题描述：我分批读取的一批训练样本，原则上来说在读取下一个批次的数据时，上一个批次不应该依然占据内存。但实际运行时还是出现了内存溢出的情况，所以针对此问题单独进行分析。分析python3.6的...
2019-12-03 18:14:16
891
转载 通俗易懂理解——双向LSTM
<!--一个博主专栏付费入口结束--> <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template...
2019-11-30 18:52:22
4027
1
原创 bAbi关于问答系统的task说明
问答系统主要解决：通过一些列的事件(chaining facts)来归纳和推演回答，现有的系统基本都没有实现这点。因此次论文对任务进行了分类成一个技能集合帮助研究者找到其系统的问题。一共分了如下20个任务，一个好的模型应该在这些任务上都又不错的表现。...
2019-11-27 22:19:48
883
原创 神经网络中优化方法
神经网络中的学习率有哪些损失函数有哪些类型的优化方法通过实验对比不同学习率的区别有哪些损失函数常见的损失函数之MSE\Binary_crossentropy\categorical_crossentropy有哪些类型的优化方法这里参照caffe的代码来介绍：optional float base_lr = 5; // The base learning rate // The lea...
2019-11-18 12:25:12
192
转载 park 图文详解:资源调度和任务调度
讲说spark的资源调度和任务调度，基本的spark术语，这里不再多说，懂的人都懂了。。。按照数字顺序阅读，逐渐深入理解：以下所有截图均为个人上传，不知道为什么总是显示别人的QQ，好尴尬，无所谓啦，开始吧~~1 宽窄依赖与Stage划分：上熟悉的图： 在 Spark 里每一个操作生成一个 RDD，RDD 之间连一条边，最后这些 RDD 和他...
2019-11-15 17:05:25
557
转载 gbdt调参小结
在梯度提升树(GBDT)原理小结中，我们对GBDT的原理做了总结，本文我们就从scikit-learn里GBDT的类库使用方法作一个总结，主要会关注调参中的一些要点。1. scikit-learn GBDT类库概述 在sacikit-learn中，GradientBoostingClassifier为GBDT的分类类， 而GradientBoostingRe...
2019-11-08 17:12:39
170
转载 HIVE函数大全
Hive函数大全–完整版现在虽然有很多SQL ON Hadoop的解决方案，像Spark SQL、Impala、Presto等等，但就目前来看，在基于Hadoop的大数据分析平台、数据仓库中，Hive仍然是不可替代的角色。尽管它的相应延迟大，尽管它启动MapReduce的时间相当长，但是它太方便、功能太强大了，做离线批量计算、ad-hoc查询甚至是实现数据挖掘算法，而且，和HBase、S...
2019-11-07 14:50:47
378
2
转载 Python大数据处理库PySpark实战——使用PySpark处理文本多分类问题
【导读】近日，多伦多数据科学家Susan Li发表一篇博文，讲解利用PySpark处理文本多分类问题的详情。我们知道，Apache Spark在处理实时数据方面的能力非常出色，目前也在工业界广泛使用。本文通过使用Spark Machine Learning Library和PySpark来解决一个文本多分类问题，内容包括：数据提取、Model Pipeline、训练/测试数据集划分、模型训练和评价...
2019-11-05 16:39:15
2664
1
原创 给笔记本电脑安装nvidia驱动的辛路历程
给笔记本电脑安装nvidia驱动的辛路历程问题一： apt-get update失败,错误表现 12:13 ～ 12：40问题二: 判断ubuntu下独立显卡是否生效 14:32~15：51问题三：给显卡安装驱动问题四：启用tensorflow的docker服务现在是2019年10月27日 12:13分已经捣鼓了快一个多小时了，今天的目标是给自己刚买的笔记本安装双系统并给ubuntu系统上安装好...
2019-10-27 20:13:08
12381
1
原创 pandas做onehot编码
使用pandas做onehot编码奖pandas读取的csv中某一个字符串的列作one-hot编码，并统计各个编码出现次数如数据如下：>>> file hdid time eventid is_black0 00000ec16ad8603567608b7bce582e57 1.568...
2019-10-24 21:41:32
1109
原创 HIVE使用上遇到的若干问题整理(持续更新)
1 给表起别名：语句如下USE anticheat;select * from (select * from anticheat.ods_af_pull_api_blocked_installs_report_all limit 10)报错failed in parse sql :org.apache.hadoop.hive.ql.parse.ParseException: lin...
2019-10-24 18:04:31
520
原创 节日快乐
1024程序员节日快乐不太喜欢这种打着谐音的人造节日，如520，521,1111之类的，不过生活如此繁忙偶尔找个借口慰藉一下也不差。祝我在未来的工作中能更加顺利，做个优秀的程序员吧~...
2019-10-24 09:50:04
106
原创 pandas 使用技巧记录
pandas 使用上若干技巧操作技巧获取列名个数统计使用列索引选取多列根据value选取指定列选取多列针对单独列做运算（如：格式转换）多列合并成一列AF业务性数据理解:blocked_reason 分布hdid单日重复情况，有很多用户单日促发多次安装根据已有的数据绘制CTIT的曲线，观察是否有需要修订的参数部分版本落后导致不对应的情况操作技巧获取列名DataFrame.columns.va...
2019-10-16 19:40:49
285
原创 将md(markdown)文件导出成PDF的简单办法
由于工作需要需要吧md文件导出成PDF文件,通过查询找到了一个简单的办法,这里记录一下.找一个在线md编辑器,用于生成md的预览格式,如:使用csdn就行.使用chrome的开发者工具查看网页源码,找到文章主题部分的代码:copyOutHTML ,将其复制到一个html的文件中.使用chrome打开此文件,之后ctrl+p进入到打印模式,将其保存为PDF....
2019-10-10 14:53:05
28285
12
原创 gitlab-runne关于GITLAB_CI使用
GITlab CI/CD流程配置什么是CI/CD流程CI流程配置:0. 服务器配置:1. gitlab-runner配置:1.1 gitlab-runner安装:1.2 gitlab-runner注册:1.3 修改runner的配置文件:2. CI流程使用:2.1.编写.gitlab-ci.yml，放在项目根目录：2.2 触发CI\CD3. 其他配置什么是CI/CD流程CI的好处:快速的...
2019-10-09 16:55:55
338
翻译 caffe2官方信息整理_操作符概括
操作符概述操作符目录创建自己的操作符稀疏操作符概述操作符是caffe2的基础组建,每个操作符包含得到输出必要的计算以及输入和参数的数目,caffe和caffe2操作符的区别可以参考下图:例如，在“完全连接”运算符中，必须提供输入X，偏差b和权重矩阵W中的每一个，并且将计算单个输出。操作符目录caffe2中的操作符目录参考:操作符目录此页面中会介绍操作符的定义,使用方式以及具体的代码...
2019-09-29 11:24:50
85
翻译 CAFFE2官方信息整理_入门教学
caffe2入门教学caffe2 概念Blobs和Workspace,TensorsNets 和 Operators执行反向传播caffe2 概念您可以在下面了解有关Caffe2的主要概念的更多信息，这些概念对于理解和开发Caffe2模型至关重要。Blobs和Workspace,Tensors数据在caffe2中组成成为blobs, blobs是内存中的一个命名的块. 大部分的blobs包...
2019-09-27 22:09:33
208
翻译 caffe2官网信息整理
caffe2官网信息整理一.caffe2与caffe的优势caffe&caffe2的优劣势比较caffe2的新特性二.安装方式三.学习资料初接触深度学习在机器学习领域有丰富经验的研究人员四.教学和示例脚本教学代码:初学者教程初次使用caffe2中级教程进阶教程操作符编写你自己的教程编写你自己的操作符信息来源一.caffe2与caffe的优势caffe&caffe2的优劣势比较...
2019-09-27 17:48:39
343
原创 查看cuda和cudnn的版本方式
查询方式很多,我简单收集了一下.查询cuda版本的三个方式:cat /usr/local/cuda/version.txtCUDA Version 10.1.168nvcc --versionnvcc: NVIDIA (R) Cuda compiler driverCopyright (c) 2005-2019 NVIDIA CorporationBuilt on Wed_...
2019-09-25 14:53:44
1346
原创 使用git方便的传输复杂结构文件
使用SCP不能断点续传.使用rsync支持断点续传,但没有git用起来这么方便.今天同事介绍了一个使用git来传大工程的方式:设项目在服务器A:PATH1上需要传到服务器B:PATH2上在服务器B:PATH2上运行git init #创建一个空工程git config receive.denyCurrentBranch ignoregit remote add sc user@A...
2019-09-24 16:39:33
160
2
转载 看懂COCO数据集目标识别性能评价标准AP，AP50，AP75，APsmal等
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 ...
2019-09-24 14:50:21
21406
10
原创 leedcode 655 输出二叉树
在一个 m*n 的二维字符串数组中输出二叉树，并遵守以下规则：行数 m 应当等于给定二叉树的高度。列数 n 应当总是奇数。根节点的值（以字符串格式给出）应当放在可放置的第一行正中间。根节点所在的行与列会将剩余空间划分为两部分（左下部分和右下部分）。你应该将左子树输出在左下部分，右子树输出在右下部分。左下和右下部分应当有相同的大小。即使一个子树为空而另一个非空，你不需要为空的子树输出任何东西，...
2019-09-20 17:14:02
159
原创 leedcode-1038从二叉搜索树到更大的树
给出二叉搜索树的根节点，该二叉树的节点值各不相同，修改二叉树，使每个节点 node 的新值等于原树中大于或等于 node.val 的值之和。提醒一下，二叉搜索树满足下列约束条件：节点的左子树仅包含键小于节点键的节点。节点的右子树仅包含键大于节点键的节点。左右子树也必须是二叉搜索树。示例：输入：[4,1,6,0,2,5,7,null,null,null,3,...
2019-09-20 16:09:04
144
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人