杨文飞的博客

转载 beautiful soup用法

python beautiful soup库的超详细用法:https://cuiqingcai.com/1319.htmlhttps://blog.csdn.net/love666666shen/article/details/77512353

转载 centos pip安装mysqlclient

报错信息:解决方法:yum install mysql-devel其他可能需要安装:yum install python-develyum install gcc

转载 数据库建模

PDMan(Physical Data Model Manager)https://gitee.com/robergroup/pdman

原创 密钥

存放位置：当前用户下的.ssh（win、linux一样）多个密钥管理：1.为各私钥文件命名如：gitlab_rsa2.在./ssh下添加config文件[root@anisble-server ywf]# cat /root/.ssh/config HOST gitlab.nokia.com IdentityFile ~/.ssh/gitlab_rsa User git...

原创 cx_Oracle操作分装失败版

#!/usr/bin/env python3# -*- coding: utf-8 -*-# @Time : 2018/9/12 12:00# @Author : Yang Wenfei# @File : nps_Oracle.py# @Software: IntelliJ IDEAimport cx_Oracle#import os#os.environ['NLS...

原创 建表 分区 索引分区

create table nps_user_kpi(msisdn VARCHAR2(64),age NUMBER,gender char(6),two_i2c VARCHAR2(6...

转载 sqlldr cdt文件

执行命令：sqlldr userid=epay/epay control=/tmp/test.ctl log=/tmp/test.log data=/tmp/test.csv rows=10命令参数：userid -- Oracle 的 username/password[@servicename]control -- 控制文件，可能包含表的数据log -- 记录导入时的日志文件，默认...

原创 go BinarySearch

package mainimport ( "fmt")func main() { num := []int{1,3,4,6,7,8,10} fmt.Println(BinarySearch(num,100))}func BinarySearch(lst []int,m int) int { low := 0 heigh := len(lst)...

原创 dos2unix sqlldr导数据

txt： SHANGHAI|#1|#277|#华东理工大学奉贤校区|#|#121.499788|#30.833079|#121.496649 30.827363;121.491823 30.83354;121.496202 30.836245;121.501608 30.839218;121.507753 30.832792;121.499687 30.828341;121....

原创 oracle listener.ora配置

改完后别忘了重启 [oracle@OSS-MDT-02 admin]pwd/u01/app/oracle/product/12/db1/network/admin[oracle@OSS−MDT−02admin]pwd/u01/app/oracle/product/12/db1/network/admin[oracle@OSS−MDT−02admin] pwd /u01/app/oracle/...

原创 oracle执行sql脚本 查看当前用户的表

sqlplus @/home/oracle/oradb/CFG_MAP_SCENE_20180821151727.sql或直接sqlplus nps/Nt1@orcl @/home/oracle/oradb/CFG_MAP_SCENE_20180821151727.sqlsql脚本：DROP TABLE CFG_MAP_SCENE;CREATE TABLE CFG_MAP...

原创 rhel6.5静默安装oracle12cR2

1.安装前[root@OSS-MDT-02 database]# uname -mx86_64[root@OSS-MDT-02 database]# cat /etc/redhat-release Red Hat Enterprise Linux Server release 6.5 (Santiago)[root@OSS-MDT-02 database]# hostnameOS...

原创 去掉0

# -*- coding:utf-8 -*-import reimport csvregex = re.compile(r'.0')with open("201711.csv",'w',encoding='utf-8',newline='') as d: writer = csv.writer(d) with open("20171.csv",encoding='ut...

原创 聊天

package mainimport ( "net" "fmt")func main() { listen,err := net.Listen("tcp",":8080") if err != nil { fmt.Println("监听端口失败：",err)

转载 go可以这么声明函数

func main(){ getSquareRoot := func(x float64) float64 { return math.Sqrt(x) } fmt.Println(getSquareRoot(9))}

原创 go 100以内素数

package mainimport "fmt"func main() { var count int = 1 var flag bool for count < 100 { count++ flag = true for tmp:=2;tmp<count;tmp++{ if c...

原创 爬虫-招标信息（）

这个写的很舒服#!/usr/bin/env python3# -*- coding: utf-8 -*-import requestsimport reimport jsonimport randomfrom time import sleepfrom datetime import datefrom functools import reduceclass Prov...

原创 爬虫-最终版

#!/usr/bin/env python3# -*- coding:utf-8 -*-from time import sleepfrom selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.support.ui import Sel...

原创 爬虫-上版优化

目的：减少点击量#!/usr/bin/env python3# -*- coding:utf-8 -*-from time import sleepfrom selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.support.ui ...

原创 爬虫-

from selenium import webdriverfrom selenium.webdriver.support.ui import Selectfrom datetime import date,timedeltafrom re import findalltoday = str(date.today())yesterday = str(date.today() - tim...

原创 爬虫-requests,微信公众号推送

去掉了time和bs4，不好用#!/usr/bin/env python3# -*- coding:utf-8 -*-import re,sys,time,json,requestsimport urllibfrom datetime import date,timedelta# 获取页面链接信息class PageHelperInfo(object): def pag...

转载 python进度条

文本系统的控制符： \r： 将光标移动到当前行的首位而不换行； \n： 将光标移动到下一行，并不移动到首位； \r\n： 将光标移动到下一行首位。方式1：#!/usr/bin/env pythonfrom __future__ import divisionimport sys,timej = '#'if __name__ == '__main__': for i...

转载 collect_set、collect_list 、concat_ws （多行合并）

collect_set去除重复元素；collect_list不去除重复元素+------+-----------------------------------+------------------------------------+|gender|concat_ws(,, collect_set(children))|concat_ws(,, collect_list(children)...

原创 被坑了一天 （一条sql搞定）

import org.apache.spark.sql._import scala.util.matching.Regeximport java.text.SimpleDateFormatimport java.util.Dateobject UserProperty { def main(args: Array[String]): Unit = { val spark =...

转载 linux下查看文件编码及修改编码

1.在Vim中可以直接查看文件编码 :set fileencoding 即可显示文件编码格式。 如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题，那么你可以在 ~/.vimrc 文件中添加以下内容：set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936这样，就可以让vim自动识别文件编码（可以自动识别UTF-8...

原创 hive1.2.2 （mysql元数据库）

hive下载地址： http://mirror.bit.edu.cn/apache/hive/yum install mariadb mariadb-server systemctl enable mariadb systemctl start mariadb yum install mysql-connector-java该命令会在/usr/share/java/下产生my...

原创 spark2.0.2集群环境搭建 （基于apache.hadoop 2.9.0）

1.解压root@master ~]# tar zxvf spark-2.0.2-bin-hadoop2.7.tgz mv spark-2.0.2-bin-hadoop2.7 /opt/spark2.配置环境变量 vim .bashrcexport SPARK_HOME=/opt/sparkexport PATH=$PATH:$SPARK_HOME/bin:$SPARK_...

转载 hdfs-site.xml配置参数详情

 name valueDescription dfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小，通常无需设置。dfs.datanode.du.reserved1073741824每块磁盘所保留的空间大小，需要设置一些，主要是给非hdfs文件使用，默认是不保留，0字节dfs....

原创 Centos7搭建hadoop2.9.0集群

硬件资源 两台服务器： master 128g；slave 64g 场景为测试环境，用root用户1.修改主机名 hostnamectl set-hostname master hostnamectl set-hostname slave 重新连接2.修改/etc/hosts[root@master ~]# vi /etc/hosts127.0.0.1...

原创 spark启动slave时提示 JAVA_HOME not set

解决方法：spark-config.sh 中添加jdk 路径 export JAVA_HOME=/usr/local/java/jdk1.8.0_171 如下：if [ -z "${PYSPARK_PYTHONPATH_SET}" ]; then export PYTHONPATH="${SPARK_HOME}/python:${PYTHONPATH}" export PYTH...

原创 python行转列

lista=[[1,2,3],[4,5,6],[7,8,9],[10,11,12]] ls = []lst = []for i in range(len(lista[0])): for j in lista: ls.append(j[i]) lst.append(ls) ls = []for i in lst: for j in i: ...

原创 阿里云和腾讯云混搭hadoop时namenode启动失败

转载 使用类型参数化数组

在 Scala 中， 你可以使用 new 来实例化一个类。当你创建一个对象的实例时，你可以使用数值或类型参数。如果使用类型参数，它的作用类似 Java 或 .Net 的 Generic 类型。所不同的是， Scala 使用方括号来指明数据类型参数，而非尖括号。比如：val greetString = new Array[String](3)greetString(0)="Hello"g...

原创 使用 foreach 和 for 来实现迭代

args.foreach(arg => println(arg))args.foreach( println)for (arg <-args) println(arg)

原创 Scala函数

Scala 函数以 def 定义，然后是函数的名称（如 max )，然后是以逗号分隔的参数。Scala 中变量类型是放在参数和变量的后面，以 ： 隔开。这种做的一个好处是便于“ type inference ”。同样如果函数需要返回值，它的类型也是定义在参数的后面（实际上每个Scala函数都有返回值，只是有些返回值类型为 Unit ，类似为 void 类型）。此外每个 Scala 表达...

转载 Spark SQL之 Dataframe/Dataset

Dataframe我们可以理解为 Dataframe 就是按列组织的 Dataset，在底层做了大量的优化。Dataframe 可以通过很多方式来构造：比如结构化的数据文件，Hive表，数据库，已有的 RDD，Scala，Java，Python，R 等语言都支持 Dataframe。Dataframe 提供了一种 domain-specific language 来进行结构化数据的操作，这种操...

原创 二分法、最大公约数

def b_search(n,lst): start = 0 end = len(lst) - 1 while start < end: middle = (start + end) // 2 if n > lst[middle]: start = middle + 1 elif n &lt...

原创 钉钉监控服务器进程

#!/usr/bin/env python3# -*- conding: utf-8 -*-import osimport timeimport requestsimport jsonimport psutil#CPU,MEM,NET,IO,DISK,SERVER,PROCESSurl = '输入你的机器人webhook'time_now = time.strftime('%Y...

原创 Django笔记

编辑: 新闻站点django 前后端分离 orm映射关系(接口) 一套成标准 一套 增 删 改 查 适用多套数据库(关系型数据库)完善的中文文档url映射技术调试信息非常好1:开启第一个项目 django-admin startproject HandSome2:python manage.py 用来管理当前项...

原创 爬虫-限速

from urllib.request import urlopen,urlparsefrom urllib.error import URLError,HTTPErrorimport reimport timefrom datetime import datetime#url = 'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E...