12 疯狂的大山鸡

尚未进行身份认证

我要认证

腾讯高级工程

等级
TA的排名 9w+

为什么老说python是伪多线程,怎么解决?

目录一、什么是多线程、多进程、守护线程1.1 进程1.2 程序1.3 线程1.4 多线程1.5 守护线程1.6 进程与线程的区别1.7 进程与线程的优缺点二、利用Python进行并行计算2.1、并行?伪并行?2.2 GIL2.2.1 GIL是什么...

2020-08-11 17:27:12

总结最近两周在使用spark scala下遇到一些坑

耐心看日志信息:spark集群有主控driver和executor的区别,通常我们会在driver端打出一些日志作为提示,但如果把日志打到了executor上执行的算子上,那么日志旧不能再sparksubmitweb上查询到(当时花了好久定位日志…)。通常运行出来的日志比较长,耐心看日志也可以查到其中什么原因导致的出错。通常foreach语句使用在collect之后的driver端数据,否者中途生成的变量都还是再executor端,没有会中统计。写代码的时候需要考虑当前数据量有多大,是放在driv.

2020-07-17 18:18:23

sklearn下绕过graph.rende查看图片

问题背景原始代码file = pd.read_csv("train.csv")feature_names = ["is_login","view_duration","last_up","ofcl_count","other_count"]x = file[feature_names]y = file[["click"]]print(y.sum())x_train0, x_test0, y_train0, y_test0 = model_selection.train_test_split(

2020-07-15 20:39:17

mysql中完成row_number()功能

下列的功能再mysql上会由于row_number功能不存在而报错select title,content,ROW_NUMBER() over(partition by title,content order by shows desc) as rkfrom yy_push_race_info_v6where oeid = 1 and is_login = 0查询了一下发现mysql中其实可以做一些简单的***流式处理***,来处理这种排序打编号的问题,感觉很有意思,记录一下,可以写成sele

2020-07-06 11:36:31

python list指针中被的一些小技巧

python中的list如果没用好会出现莫名奇妙被修改的情况,所以单独试了一下什么时候是深拷贝,什么时候是浅拷贝#python中的重重指针需要定义清楚#test1-----------------------print ("-"* 20)a = [0] * 20b = ab[0] = 10b[3] = 20print(a)print(b)#output:#[10, 0, 0, 20, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]#[

2020-05-23 15:22:13

淘宝天猫评论爬取,简单的办法完成滑动验证

淘宝评论爬取 教你如果自动滑动验证背景:背景:最近在准备一个关于文本情感分析的分享,首先想到使用淘宝的评论,由于淘宝以分类好好评差评,同时也打上了印象的标签,比较适合与做情感分析的训练样本。爬虫的工具使用:selenium ,主要是由于其方便模拟点击。当然如果有其他模拟工具都可以用,原理上是差不多的。...

2020-05-10 18:22:32

机器翻译评价指标BLEU介绍

最近需要设计一个机器翻译相关的试验, 其中好多东西都不同, 先从基础的评价指标来吧. 本文翻译自Jason Brownlee的博客[...

2020-03-03 23:01:45

git同时更新多个repo的实用技巧

因为项目管理,需要使项目同时能够更新本地repo,和github上的repo。分析了一下git工具本身就支持此操作,而且很容易,只需运行:git remote set-url origin --push --add https://git.xxxx.com/xxxxxx/xxxxx.git就可以了。同时也可以通过.git/config中查看具体信息如下:[core] re...

2020-02-26 14:45:11

深度学习近十年优秀的论文

转自:机器学习研究会订阅号但原文貌似无法直接转载出来,我这里做个二次整理,春节期间对感兴趣的进行阅读。

2020-01-22 16:31:17

使用强化学习NatureDQN来玩打砖块

使用强化学习NatureDQN来玩打砖块目标第一版尝试打砖块的基础预处理图片预处理状态预处理网络设计第二版本尝试第三版本尝试代码目录:目标打砖块是gym游戏中相对复杂一些的游戏,不同于CartPole游戏,状态空间较少,基本上10分钟左右训练就可以玩到最高分,打砖块要训练非常长的时间,因此对于更进一步去理解和优化DQN非常有帮助。第一版尝试打砖块的基础打砖块的reward设置是敲打到砖块...

2020-01-21 18:39:21

使用键盘玩gym的游戏

使用键盘玩gym的游戏背景相关的库代码背景在学习强化学习时候上手一般会是使用gym来入手,但其中的reward和action具体是如何的确不是很方便直接查看到,对于我们使用强化学习中,重新分配reward而言就造成了麻烦,因此最好的办法是使用键盘让我么你自己来玩玩游戏看看其中的reward是怎样的相关的库pip3 install keyboard,代码以打砖块为例子,action_...

2020-01-21 11:18:32

使用深度网络来拟合乘法&除法

深度网络在做拟合乘法除法这些操作时候很难去使用像Dense这样得网络去凑出来。使用二进制得角度的确是可以使用线性的方式来处理乘法除法甚至sin等非线性运算,二想要使用线性运算加激活函数来去拟合这样非线性组合的函数,就只能多重的非线性组合来进行操作。我这里使用几种组合来尝试拟除法。使用单层网络:# network weightsinput_layer = Input(shape=(2,), ...

2020-01-20 20:43:15

pix2pix在keras上的训练以及优化效果过程

pix2pix在keras上训练背景初步训练背景pix2pix提供的示例是使用tensorflow,我我参考着来做了一个keras的实现,原项目中使用的是生成网络加上判别网络来提升生成网络,而我观察实际在训练中判别部分起到的作用比较小,所以我先尝试只使用生成网络来做训练,具体的项目代码在:pix2pix-keras初步训练下图为迭代了80次之后在训练下的一个效果,纹理上是逐渐变清晰的....

2019-12-17 21:09:04

keras中conv2d,conv2dTranspose的Padding详细介绍

keras中padding详细介绍背景详细介绍conv2D演示代码Conv2d演示结论CONV2Dtranspose演示代码背景conv2d和conv2dTranspose属于最常用的层,但在keras的实现中关于padding的部分有点模糊,周末趁着空闲做了一些尝试,来实验padding的valid和same参数在实际过程中如何操作的.详细介绍conv2D演示代码conv2D部分v_...

2019-12-15 13:26:29

简易的google图片爬虫(若爬百度可适当针对源码修改)

简单的google image爬虫背景关键代码requirement获取链接模块下载模块其他爬取百度图片添加超时功能背景为了做一些漫画风格的自动生成网络训练,需要使用到google去爬取图片,看到一个写的比较通俗的源码,觉得未来做其他的爬虫大概率会用的上,所以在这里做一个记录。github源码地址:GoogleImagesDownloader关键代码requirement首先需要安装一下...

2019-12-12 20:41:43

Python中collections模块

目录 Python中collections模块 Counter defaultdict OrderedDict namedtuple deque ChainMap Python中collect...

2019-12-09 21:46:07

深度学习之异常检测+视频预测+预训练+视频标注+镜头边界检测+行为分割+视频生成gif--附带源码和作者主页

<!--一个博主专栏付费入口结束--> <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-4a3473df85.css"> ...

2019-12-04 17:25:50

python3.6下调试内存溢出问题

结局python3.6下调试程序的内存溢出问题问题描述:分析python3.6的内存释放机制理论部分实验一: python3.6使用numpy验证内存释放实验二:将内存申请释放置函数中观察其释放解决办法问题描述:我分批读取的一批训练样本,原则上来说在读取下一个批次的数据时,上一个批次不应该依然占据内存。但实际运行时还是出现了内存溢出的情况,所以针对此问题单独进行分析。分析python3.6的...

2019-12-03 18:14:16

通俗易懂理解——双向LSTM

<!--一个博主专栏付费入口结束--> <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template...

2019-11-30 18:52:22

bAbi关于问答系统的task说明

问答系统主要解决:通过一些列的事件(chaining facts)来归纳和推演回答,现有的系统基本都没有实现这点。因此次论文对任务进行了分类成一个技能集合帮助研究者找到其系统的问题。一共分了如下20个任务,一个好的模型应该在这些任务上都又不错的表现。...

2019-11-27 22:19:48

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。