7 张小竟

尚未进行身份认证

用我力所能及的事情,一步一步走向我期待的未来,交流QQ群:463175657

等级
TA的排名 1w+

pyspark集成anaconda类库,pyspark调用hive

CDH集成ananconda的资料。以及oozie调用anaconda的资料很少,这里写一篇,希望大家一起学习下

2019-11-07 16:54:04

kubernetes & docker 单机安装

kubernetes & docker 单机安装安装docker第一步第二步安装kubernetes第一步第一步遇到的问题问题A第二步 测试安装情况第二步遇到的问题安装docker第一步yum install -y yum-utils device-mapper-persistent-data lvm2yum-config-manager --add-repo http://mi...

2019-09-05 19:33:44

youtube爬虫搭建

一、scrapy代码# encoding=utf-8import jsonimport refrom urlparse import urljoinfrom pytube import YouTubeimport scrapyfrom scrapy.http import Requestfrom scrapy.selector import Selectorfrom v...

2019-09-03 23:00:12

Java高并发包简单笔记

Java高并发记录高并发线程池高并发线程池有如下:newCacheedThreadPool 无界限线程池,存放个数Integer.MAX_VALUE可进行线程自动回收,可实现线程工厂newFixedThreadPool 有界线程池,可指定最大数量,可定制线程工厂 newSingleThreadEcecutor 创建单一线程池,单一线程池可以实现队列的方...

2019-07-11 11:54:07

DB2V9.7实现Java自定义函数UDF

DB2V9.7实现Java自定义函数UDF,不需要用db2自带的jdk编译,只需要版本相同即可

2019-03-13 09:59:12

Java访问用户名密码验证的url

Java访问用户名密码验证的url引言代码引言有些url带有用户名密码,我们直接用curl或者wget访问的时候出现401,没有访问权限。这时我们就需要对url进行必要的权限处理代码private static String Post1(String url, String hexString) throws IOException { CloseableHttpClient cl...

2019-03-11 20:56:45

DB2数据库安装(db2 9.7 ,centos7)

DB2数据库安装(db2 9.7 ,centos7)一.软件配置Db2数据库 db2exc_970_LNX_x86_64.tar.gz环境 centos7DB2客户端 Aqua Data Studio 19.0 - 64bit二.Db2安装1.解压tar -zxvf db2exc_970_LNX_x86_64.tar.gz2.检查安装条件./db2prereqcheckWA...

2019-03-11 20:50:55

Java访问用户名密码验证的url

Java访问用户名密码验证的url引言代码解释引言有些url带有用户名密码,我们直接用curl或者wget访问的时候出现401,没有访问权限。这时我们就需要对url进行必要的权限处理代码解释private static String Post1(String url, String hexString) throws IOException { CloseableHttpClien...

2019-02-12 10:39:53

Docker技术入门及实战笔记总结(超长5页纸)

Docker 最初是 dotCloud 公司创始人 Solomon Hykes 在法国期间发起的一个公司内部项目,它是基于 dotCloud 公司多年云服务技术的一次革新,并于 2013 年 3月以 Apache 2.0 授权协议开源),主要项目代码在 GitHub 上进行维护。Docker 项目后来还加入了 Linux 基金会,并成立推动开放容器联盟。

2018-12-27 18:18:27

复杂流程图的配置生成

复杂流程图的配置生成小记SQL创建jsp 编写js编写流程图效果展示小记jsPlumb使用SVG为开发者提供了一个可以形象化连接页面元素的工具jsPlumb库不需要外部依赖jsPlumb最后一个兼容IE8的版本为1.7.x,此后版本将只支持在现在浏览器中使用,但官方会继续维护1.7.x版本SQL创建去博客设置页面,选择一款你喜欢的代码片高亮样式,下面展示同样高亮的 代码片.CRE...

2018-12-21 10:22:31

解决Python的your data either using array.reshape(-1, 1) if your data has a single featur

今天写关于决策树的一些算法的时候,卧槽,mmp,竟然出现了红色的警示错误,oneRowX: [0. 0. 1. 0. 1. 1. 0. 0. 1. 0.]newRowX: [1. 0. 0. 0. 1. 1. 0. 0. 1. 0.]Traceback (most recent call last): File "D:/pythoncode/jqxi/tree/tree.py", l...

2018-12-11 15:48:30

zookeeper实现分布式共享锁

 这里,一般,都是创建临时有序子节点,怎么来创建,不难   说到协调,我首先想到的是北京很多十字路口的交通协管,他们手握着小红旗,指挥车辆和行人是不是可以通行。如果我们把车辆和行人比喻成运行在计算机中的单元(线程),那么这个协管是干什么的?很多人都会想到,这不就是锁么?对,在一个并发的环境里,我们为了避免多个运行单元对共享数据同时进行修改,造成数据损坏的情况出现,我们就必须依赖像锁这样的协调机...

2018-12-05 16:30:38

Python代理IP实现

  这两天在看python代理IP实现,终于敲定了,哈哈,看代码 from bs4 import BeautifulSoupimport requestsimport randomimport urllib2def get_ip_list(url, headers): web_data = requests.get(url, headers=headers) ...

2018-11-15 16:47:21

spark提交python脚本并传参

  脚本命令 这里第一个参数是python脚本名称,第二个参数是jsonspark-submit --master yarn --deploy-mode cluster --num-executors 20 --executor-memory 8g --executor-cores 2 --conf spark.yarn.executor.memoryoverhead=4096 $1...

2018-11-15 16:37:36

springmvc集成kerberos认证hive jdbc连接

话说,是springmvc连接hive没啥问题,那如果是kerberos认证的hive怎么连  <beans:bean id="jdbcListener" class="com.bonc.bm.core.listener.JdbcListener"> <beans:constructor-arg name="kerberos" value="true"&gt

2018-11-15 16:31:02

机器学习(一)k-近邻算法

    k近邻法(k-nearest neighbor, k-NN)是1967年由Cover T和Hart P提出的一种基本分类与回归方法。它的工作原理是:存在一个样本数据集合,也称作为训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后,将新的数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本最相似数据(最近邻)的分类...

2018-08-06 15:27:47

python3网络爬虫selenium应用

       selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。这个工具的主要功能包括:测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功...

2018-08-06 10:41:04

Java自动读取properties配置文件

<listener> <listener-class>org.springframework.web.util.Log4jConfigListener</listener-class> </listener> <context-param> <param-name>param...

2018-06-29 10:24:21

Java MD5加密解密

MessageDigestAlgorithmMD5(中文名为消息摘要算法第五版)为计算机安全领域广泛使用的一种散列函数,用以提供消息的完整性保护。该算法的文件号为RFC1321(R.Rivest,MITLaboratoryforComputerScienceandRSADataSecurityInc.April1992)。MD5即Message-DigestAlgo...

2018-06-29 10:09:27

Java图片分割与合并

一张图片有的时候太大了之后,我们需要把大图分割成若干张小图存入数据库,在读取的时候,需要把若干张小图合成一张大图因此有了如下的代码,首先分割privatestaticvoidsplitImage()throwsIOException{//StringoriginalImg="C:\\img\\split\\a380_1280x1024.jpg";...

2018-06-29 10:04:35

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。