- 博客(91)
- 收藏
- 关注
RSS订阅转载 Windows10下python3、python2、pip2、pip3
1、添加python2到系统环境变量 打开，控制面板\系统和安全\系统，选择高级系统设置，环境变量，选择Path，点击编辑，新建，分别添加D:\Python\python27和D:\Python\python27\Scripts到环境变量。注意：python3安装时可以选择自动添加到系统环境变量，如未选择，方法和python2添加过程相同。2、修改python.e
2017-03-27 10:15:34
2162
1
转载 centos 安装TensorFlow
1.安装python2.7下载Python-2.7.5.tar.gz文件，tar -xzvf python-2.7.5.tar.gzcd python-2.7.5./configure --prefix=/usr/local/python2.7 --enable-unicode=ucs4make && make install建立软连接，使
2017-03-18 23:05:17
976
转载 sklearn 数据缺失值处理
关于缺失值（missing value）的处理在sklearn的preprocessing包中包含了对数据集中缺失值的处理，主要是应用Imputer类进行处理。首先需要说明的是，numpy的数组中可以使用np.nan/np.NaN（Not A Number）来代替缺失值，对于数组中是否存在nan可以使用np.isnan()来判定。使用type(np.nan)或者type(n
2017-03-17 09:05:33
2813
转载 sklearn数据标准化
#encoding:utf-8 ''''' Created on 2015年10月13日 @author: ZHOUMEIXU204 ''' #sklearn数据标准化，数据标准化有三种 #第一种是Z-Score，或者去除均值和方差缩放 from sklearn import preprocessing import numpy as np
2017-03-17 09:03:57
1448
原创 centos 安装 pip、pandas、numpy、scipy、scikit-learn
1.安装pipCentOS安装python包管理安装工具pip的方法如下：wget --no-check-certificate https://github.com/pypa/pip/archive/1.5.5.tar.gz注意：wget获取https的时候要加上：--no-check-certificatetar zvxf 1.5.5.tar.gz #解压文件c
2017-03-16 16:53:51
6688
原创 centos上SVN安装与使用命令
一. SVN安装并启动1、安装svnyum install subversionsvnserve --version2、创建svn仓库svnadmin create ./svn_rep3、修改svn仓库的配置cd ./svn_rep/conf修改svnserve.conf文件[general]anon-ac
2017-03-16 10:57:48
980
转载 Intellij搭建spark开发环境
原文地址：http://blog.csdn.net/pirage/article/details/502161971、确保你的电脑安装了JDK，以及配置了JAVA_HOME环境变量。2、安装Intellij IDEA，下载地址。目前15.0版本对Scala的支持性就很好。3、安装scala插件。在首次使用Intellij的时候会出现安装插件的提示，如果错过了也没有关系，在s
2017-03-11 16:40:01
519
转载 Spark在Windows下的环境搭建
原文地址：http://blog.csdn.net/u011513853/article/details/52865076由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From
2017-03-11 14:30:06
452
转载 centos python2.6升级到python 2.7
查看python的版本[plain] view plain copy print?#python -V Python 2.6.6 1.下载Python-2.7.3[plain] view plain copy print?#wget http://p
2017-03-10 16:17:58
356
转载 Intellij IDEA 14.1.4 Scala开发环境搭建
原文：http://blog.csdn.net/lovehuangjiaju/article/details/47778671主要内容Intellij IDEA开发环境简介Intellij IDEA Scala开发环境搭建Intellij IDEA常见问题及解决方案Intellij IDEA常用快捷键1. Intellij IDEA开发环境简介具体介绍请参见：htt
2017-03-10 10:21:41
886
转载 windows 安装 MySQL
环境：windwos 10（1511） 64bit、mysql 5.7.14时间：2016年9月5日一、下载mysql1. 在浏览器里打开mysql的官网http://www.mysql.com/2. 进入页面顶部的"Downloads"3. 打开页面底部的“Community(GPL) Downloads”
2017-03-09 13:05:01
383
原创 centos 安装 MySQLdb 和 psycopg2
一.安装MySQLdb# yum install python-devel mysql-devel zlib-devel openssl-devel # wget http://pypi.python.org/packages/source/M/MySQL-python/MySQL-python-1.2.3.tar.gz# tar -zxvf MySQL-python-1.
2017-03-08 09:54:28
1827
原创 Centos命令行报bash:.....:command not found的解决办法
在命令行中输入：export PATH=/usr/bin:/usr/sbin:/bin:/sbin 这样可以保证命令行命令暂时可以使用。命令执行完之后先不要关闭终端。
2017-03-03 10:09:25
7978
原创 分类器的性能度量
一. 评估方法1.留出法 “留出法”直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试机T，在S上训练处模型后，用T来评估其测试误差，作为对泛化误差的估计。2.交叉验证法 “交叉验证法”先将数据集D划分为k个大小相似的互斥子集，每个子集都尽可能保持数据分布的一致性，即从D中通过分层采样得到，然后每次用k-1个子集的并集作为训练集，余下的那个子
2017-02-13 10:44:21
1011
原创 HBase 学习笔记
1.HBase是一个高可靠、高性能、面向列、可伸缩的构建在HDFS上的分布式数据库2.HBase通过行键、列族、列限定符、时间戳来确定一个单元格3.传统行式存储用于处理事务性操作，列式存储主要用于数据分析型业务4.一个HBase表会被分成多个Regin，同一个Regin不会被到多个Regin服务器中5.访问HBase的时候，先去HBase系统表查找定位这条记录属于哪个Regin，然
2017-01-17 08:51:55
414
原创 Hive 学习笔记
1. Hive是一个基于Hadoop的数据仓库工具，它提供了简单的SQL查询功能 2.支持批量插入，不支持单条插入 3.它是将简单的SQL语句转换成MapReduce程序来执行，创建的表可存放在hdfs或HBase上 4.hive倾向于用来分析数据，它只提供查询功能，不支持更新数据； 5.hive通过与jobtracker保持通信来初始化MapReduce任务，hive
2017-01-16 20:40:53
362
转载 Kaggle入门——使用scikit-learn解决DigitRecognition问题
Kaggle入门——使用scikit-learn解决DigitRecognition问题@author: wepon@blog: http://blog.csdn.net/u0121626131、scikit-learn简介scikit-learn是一个基于NumPy、SciPy、Matplotlib的开源机器学习工具包，采用Python语言编写，主
2016-12-23 17:25:19
710
转载 Hadoop集群完全分布式模式环境部署
Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，可以分成两大类角色：Mas
2016-12-12 13:32:52
696
转载 线性回归及梯度下降
本文会讲到：(1)线性回归的定义(2)单变量线性回归(3)cost function：评价线性回归是否拟合训练集的方法(4)梯度下降：解决线性回归的方法之一(5)feature scaling：加快梯度下降执行速度的方法(6)多变量线性回归Linear Regression 注意一句话：多变量线性回归之前必须要Feature Scaling
2016-12-10 16:15:29
437
原创 Python翻译单词
# coding: utf-8import urllib2import urllib2, urllibimport jsondef get_data(words): data = {} data["type"] = "AUTO" data["i"] = words data["doctype"] = "json" data["xmlVersion
2016-11-17 14:14:47
860
原创 python 多线程
#coding=utf-8import Queue, MySQLdbimport threadingimport datetime, csv, timefrom getMongoInfo import getMongoInfoimport sysreload(sys)sys.setdefaultencoding('utf8')objid_que = Queue.Queue(0)
2016-11-17 11:35:54
423
转载 Redis安装部署
http://www.cnblogs.com/zhuhongbao/archive/2013/06/04/3117997.html
2016-11-11 10:42:18
305
转载 linux系统安装pip、MySQLdb、pymongo
安装MySQLdb：sudo yum install MySQL-python安装pymongo：pip install pymongopip下载：# wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-ch
2016-10-09 17:53:45
1589
原创 Python初始化logging
def initLogging(logname): fmt = '%(asctime)s %(name)s %(filename)s(%(funcName)s[line:%(lineno)d]) %(levelname)s - %(message)s' logging.basicConfig(level=logging.DEBUG,
2016-09-30 11:53:35
1341
原创 shell脚本实现移动文件
# !/bin/sh#echo "$processid 请管理员注意,99.88 拼接服务暂停服务 " >>monitor.log#echo 启动了 | mailx -s "test" [email protected] -f [email protected]#cd /email/file/errorfilelist=`ls /email/file/error`f
2016-09-28 16:40:05
11761
1
原创 Python发get和post请求
get请求：def getSolrdata(resume_id): url = 'http://10.18.99.92:8080/solr/resume_search/select?q=resume_id%3A' + str(resume_id) + '&wt=json&indent=true' req = urllib2.Request(url) try:
2016-09-02 09:13:27
700
原创 java 多线程
/** * Created by Administrator on 2016/8/31 0031. */public class ThreadLearn implements Runnable{ private String name; public ThreadLearn(String name){ this.name = name; }
2016-08-31 17:27:25
311
原创 java 线程池实例
public void run() {if(true){init(); //init()用于得到fdfs-client.properties文件中的一些参数//logger.info("coresize:"+coresize+",maxsize:"+maxsize+",queuesize:"+queuesize);LinkedBlockingQueue que
2016-08-31 17:23:10
314
原创 Java读取文件内容
package qdz;import java.io.BufferedInputStream;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.InputStreamReader;import java.io.Reader;
2016-08-24 10:28:26
1005
原创 Python发送邮件
#coding=utf-8import smtplibfrom email.mime.text import MIMETextfrom email.mime.multipart import MIMEMultipartimport sysreload(sys)sys.setdefaultencoding('utf8')#mailto_list = ["w
2016-08-23 23:33:25
622
原创 Python对mysql的连接、插入、更新
连接并进行查询：def getEmailAndIdFrom169(sql): conn = MySQLdb.connect(host="192.168.6.169", user="resume", passwd="zhimakaimen", db="resumedb", charset='utf8') cur = conn.cursor() cur.execute(
2016-08-23 17:46:10
5199
1
原创 Python使用BeautifulSoup提取特定HTML标签内容
将网页的HTML元代码down到本地，然后读取#coding=utf-8from bs4 import BeautifulSoupimport datetimedef getYesterdayTime(): now_time=datetime.datetime.now() yes_time = now_time + datetime.timedelta(da
2016-08-23 17:40:55
17695
2
原创 Python多线程
#coding=utf-8import Queue,urllib,urllib2,MySQLdbimport threadingimport timeimport randomq = Queue.Queue(0)class MyThread(threading.Thread): def __init__(self,datalist,threadnum): sel
2016-08-23 17:37:34
452
原创 Python中re进行匹配
import res="jsldjflsjflkj_name_kjddskjfk_from_1"pattern = re.compile('_name_(.*)_from_')result = pattern.findall(s)print result输出结果为：_name_kjddskjfk_from_
2016-08-16 21:04:05
1068
原创 Python读取某个目录下的zip压缩包解压开后计算每个小文件的md5值，并将压缩包名字、里面小文件名字、以及对应的md5值写入csv文件
#coding=utf-8import csvimport hashlibimport os,sysimport zipfilereload(sys)sys.setdefaultencoding('UTF-8')def CalcMD5(filepath): #通过文件的路径来得到文件的md5值，传的参数是路径 with open(filepath,'rb') as
2016-08-10 19:02:42
1576
转载 Python读写csv文件
1. 写入并生成csv文件代码：# coding: utf-8import csvcsvfile = file('csv_test.csv', 'wb')writer = csv.writer(csvfile)writer.writerow(['姓名', '年龄', '电话'])data = [ ('小河', '25', '12
2016-08-10 13:13:39
537
原创 python操作mysql数据库
#!/usr/bin/env python# coding=utf-8import MySQLdbimport csvconn=MySQLdb.connect(host="192.168.6.63",user="test",passwd="test",db="mergedata01")cur=conn.cursor()#select * from history where
2016-08-09 21:16:18
369
原创 shell脚本获取某个目录下文件的个数
#!/bin/bash fcnt=0dcnt=0frcnt=0fwcnt=0fxcnt=0for file in *do if [ -f $file ];then let fcnt+=1 if [ -r $file ];then let frcn
2016-08-07 09:46:32
3966
原创 Java连接MySQL数据库并且执行建表和插入数据
package com.resumesplice;import java.util.*;import java.io.*;import java.sql.Date;import java.text.SimpleDateFormat;import java.sql.Connection;import java.sql.DriverManager;import ja
2016-08-04 17:00:42
1587
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人