1 初心fly

尚未进行身份认证

暂无相关简介

等级
TA的排名 3w+

pyspark count计数小案例

1、spark大体原理介绍,特别rdd重点,两块trans和action,spark懒加载只有最后执行了action操作才产生计算参考文章,写的很好:https://blog.csdn.net/dsdaasaaa/article/details/94181269转换操作RDD的转换操作是返回新的RDD的操作。转换出来的RDD是惰性求值的,只有在行动操作中用到这些RDD时才...

2019-10-11 23:31:44

win10 pyspark环境安装

1、主要是java8、spark、hadoop安装(下载下来的tar包win解压记得下war给下管理者权限,参考https://blog.csdn.net/juhua2012/article/details/82215729)java8安装(下载:https://www.cr173.com/soft/79926.html),hadoop3.0(下载:https://archive.apac...

2019-10-11 23:06:03

skearn 逻辑回归线性分类与非线性逻辑回归

数据源需要生成整数,不然会报错ValueError:Unknownlabeltype:‘continuous’-sklearn线性逻辑回归分类importnumpyasnpimportmatplotlib.pyplotasplt#元数据生成x_data=np.random.randint(1,20,5)y_data=np.random.randin...

2019-10-01 12:56:42

sublime3 python编译环境路径填写和anaconda代码提示填写

1、python环境1、Tools—>BuildSystem—>NewBuildSystem2、写入{"env":{"PYTHONIOENCODING":"utf8"},"cmd":["D:/acaconda/python","-u","$file"],"file_regex":"^[]*File\"(...*?)\",...

2019-10-01 09:20:21

一元线性和多项式回归预测sklearn计算

importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.linear_modelimportLinearRegression#元数据生成x_data=np.random.randn(35)y_data=np.random.randn(35)plt.scatter(x_data,y_data)plt.sh...

2019-09-30 12:46:01

爬虫大规模高并发服务器利用负载均衡优化

1、写出成功运行程序了是第一步,后续要考虑程序的茁壮、稳定、大规模、并发等问题了这里针对服务器的负载均衡参数htop命令查看,进而来优化爬虫程序更高速的抓取和利用服务器资源,可以看着优化增加线程等等方式2、优化程序可以通过创建队列方式,设置while循环和条件队列不为空判断一直执行下去,然后对于负载可以平衡增减协程数量进行优化...

2019-09-27 10:19:09

redis wrong number of arguments for 'spop' command和ubuntu redis升级

这个主要原因就是redis版本太低了,这个命令后面才支持,建议升级到3.2及以后参考:https://github.com/xetorthio/jedis/issues/1247

2019-09-26 10:36:43

mongo python大量插入insert_mang\bulk_write与更新update_one

frompymongoimportMongoClientfrompymongoimportUpdateOneimporthashlibimportjsonclient1=MongoClient(‘mongodb://188******6:27017’)连接所需数据库db1=client1.yelp连接所表collection1=db1.us_commen...

2019-09-25 16:15:26

Ubuntu 16.04上安装Jenkins,pip升级ImportError: cannot import name 'main'

参考:https://www.jianshu.com/p/845f267aec521\先需要安装java环境sudoapt-getinstallopenjdk-8-jdk2、安装jenkins1、wget-q-O-https://pkg.jenkins.io/debian/jenkins-ci.org.key|sudoapt-keyadd-换回ok即可2、ec...

2019-09-25 14:33:15

ubuntu mongo数据库: errno:111 Connection refused;robo3连接ubuntu mongo问题

1、ubuntu安装mongoubuntu切换到root:sudosusudoapt-getinstallmongodbmongo-version(查看mongo的版本)servicemongodbstartservicemongodbstop2、更改后重启出现111连接问题解决方法,这边主要是文件权限问题更改conf保存路径:vim/etc/mongodb....

2019-09-25 12:54:57

私钥连接海外aws服务器方法

参考:http://blog.itpub.net/26812308/viewspace-1212513/awses2服务器默认用户名:ubuntuip:35.*****55用的私钥直接登录方式1、chmod400/Us***g-yelp.pem2、ssh-i/Us****-yelp.pemubuntu@3555通过跳板机连接aws需要把pem私钥传到跳板机再用上述2命令连...

2019-09-25 11:22:17

Android反编译 Apktool\Android-Crack-Tool\jd-gui\dex2jar安装

1、Android-Crack-Tool安装https://github.com/Jermic/Android-Crack-Tool下载地址下载网盘里这个版本就行:AndroidCrackTool2.510-11.zip2、jd-gui安装http://java-decompiler.github.io/下载地址3、Apktool下载machttps://ibotpea...

2019-09-24 16:27:42

python十大排序算法和二分查找

参考:https://www.cnblogs.com/onepixel/articles/7674659.html###冒泡排序defbubbleSort(arr):length=len(arr)foriinrange(length-1):forjinrange(length-1-i):ifarr[j]...

2019-09-23 16:19:07

jenkins时间1小时内设置、执行程序限制数量设置和jenkins-cli下载使用

1、时间每多少分钟,60就是没小时执行H/50****2、执行程序进程数量,在设置里3、jenkisn-cli下载设置mac环境1、可能mac需要Java环境(NoJavaruntimepresent,requestinginstall.)brewcaskinstalljava2、jenkisn-cli文件下载直接在jenkins后台直接下载3、运行...

2019-09-23 10:19:57

python 装饰器和lambda简单示例

参考:https://www.bilibili.com/video/av25698102?from=search&seid=7974553251451266617https://www.bilibili.com/video/av246396391,lambda函数有简单的到后面复合的结合使用deff(x,y):returnx+yprint(f(2,3))...

2019-09-21 17:35:22

爬虫异常重试次数设置和断点续爬

111

2019-09-19 17:16:02

pymongo 更新主键及去重方法_id设置,mysql唯一约束设置去重

ValueError:updateonlyworkswith$operators{"$set":item}解决#连接所需数据库db1=client.ctrip#连接所表collection1=db1.china_hotesprint(collection1.find().count())#连接所需数据库db2=client.xiehcneg#连接...

2019-09-18 19:36:34

mongodb centos7更改数据储存位置后关闭重启不了(Job for mongod.service failed because the control process exited)

停止MongoDB$sudosystemctlstopmongod.service重启MongoDB$sudosystemctlstartmongod.service更改mongdb储存位置/etc/mongod.conf更改就行出现重启委托基本是更改文件位置的文件权限问题chown-Rmongod:mongod/xiecheng/mongo更改后再次...

2019-09-18 09:38:44

iqiyi登陆密码js加密破解和工具的使用

发条js调试工具链接:https://pan.baidu.com/s/1IrmB8iRfbOZLQgNWsS9-mQ提取码:02f3pythonjs加载工具pipinstallPyExecJS使用例子:>>>importexecjs>>>execjs.get().name#查看调用的环境'Node.js(V8)'&gt...

2019-09-11 21:14:57

mac VMware Fusion安装虚拟机windows系统教程

1、首先去VMwareFusion官网下载,可能需要你先注册,下载下来后可以网上去找个能用的注册码2、windowsiso下载,https://msdn.itellyou.cn/,可能需要先下载个电驴或迅雷,因为是磁性下载链接...

2019-09-10 11:45:47

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。