- 博客(122)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 python Nan和None的区别以及转换
1、None类型为NoneType NaN类型为float2、都能组成字典的Key {None:1} {Nan:1},并且认为为不同的key3、Series函数中的表现：s = Series([None, NaN, 'a']) s.map({None:1,'a':'a'})s.map({NaN:1,'a':'a'})s都转为1了s.map({NaN:2,'None':1,'a':'a'})NaN转为2，None不变...
2021-07-08 22:41:15
1195
原创 协方差计算逻辑
一、协方差的计算已知两组数据，计算其协方差X：3 5 4 12 9Y：5 15 5 6 71.Cov(X,Y)=E(XY)-E(X)E(Y)E(X)=(3+5+4+12+9)/5=6.6E(Y)=(5+15+5+6+7)/5=7.6E(XY)=(3*5+5*15+4*5+12*6+9*7)/5=49Cov(X,Y)=E(XY)-E(X)E(Y)=49-6.6*7.6=-1.162.=(3+5+4+12...
2020-08-24 16:28:15
295
原创 Postgresql参数说明:
1、存放各数据库实例对应文件夹，命名方式是数据库的OIDselect oid,datname from pg_database;可以查询每个数据库的OID，对应的可以在base目录下找到这个数据库的文件夹2、数据表使用表名对应的relfilenode作为文件名存放在数据库文件夹下select relfilenode,relname from pg_class;可以查询表的relfilen...
2020-03-26 16:45:15
420
原创 Centos7安装postgresql
1、安装postgresql预制的环境使用root账户yum install gccyum installreadlineyum installreadline-develyum install zlib-develyum install zlib* library*解压postgresql文件到/home/datacentercd/home/datacentermkd...
2020-03-23 16:42:58
174
原创 Data Studio 的连接以及GaussDB 100 设置白名单 设置黑名单
高斯100设置白名单需要两种方式:1、在服务器上面增加:cd /opt/gaussdb/data/cfg/vim zhba.confhost * 127.0.0.1,::1隔行加入host * 192.168.131.133,::1保存，之后，重启实例或者请在原有的IP白名单基础上增加新的IP地址，否则会覆盖原来的记录，也就是删 掉原有的IP白名单信息。ALTER SY...
2020-03-18 17:00:16
1966
原创 Gauess 100安装方式
所有安装都在裸机vm机上安装，硬件环境为4G 4核1、单机模式第一步:首先更改网络为静态网络route -n #查看出网关修改网络为静态网络 vim/etc/sysconfig/network-scripts/ifcfg-ens33...
2020-03-17 22:49:22
322
原创 python Async/Await 异步函数中互相调用
# demo.pyimport asyncio, time# asyncio.wait() 等待执行完成async def foo(): await asyncio.sleep(2) return 50async def main(): task = asyncio.Task(foo()) # 执行其他任务 print('看看会不会提前出现.....
2019-12-28 13:19:14
2656
原创 centos7 yum安装mysql8
由于centos7对mysql实施收费,首先需要清除已安装的mysql和系统自带的mariadb数据库,#删除系统自带的服务,rpm -qa|grepmariadbrpm -e --nodeps mariadb #服务存在依赖，需要进行强制删除,#删除已经存在的msqlfind / -name mysql#对存在的文件以及文件夹进行删除vim /etc/profile#对于已配...
2019-12-17 11:56:35
232
原创 mysql实现隔行相减和实现累加以及实现获取当月第一天和月末最后一天
mysql实现隔行相减:---------------------------------------------------------WITH T1 AS ( SELECT TRADE_DATE, round( max(HIGH) over ( PARTITION BY trade_date...
2019-12-01 21:27:39
500
原创 python matplotlib包引用错误
No module named 'matplotlib.finance'原因分析，是matplotlib包把matplotlib.finance剥离出importmpl_finance
2019-11-18 21:10:16
767
1
原创 概率函数P(x)、概率分布函数F(x)、概率密度函数f(x)
概率函数P(x)、概率分布函数F(x)、概率密度函数f(x)“离散型随机变量”和“连续型随机变量”离散型变量：所有取值可明确列举，如年龄、人数、房间个数等。连续型变量：所有取值无法明确列举，如身高、长度、温度等。离散随机变量单值有概率，连续随机变量单值无概率对于离散型变量而言，可以用概率函数P(x)描述所有取值x的对应概率；而对于连续型变量而言，“取某个具体值的概率”的说法是无...
2019-11-03 21:29:36
13317
1
原创 Pycharm配置git安装
1、在官网https://www.git-scm.com/download/win 上下载git至本地，并配置好环境变量2、然后在Pycharm上配置好git环境，在pycharm上点击设置，版本控制，选择Git,在执行path to git executable上输入git路径,3、在pycharm 上配置git...
2019-10-25 10:48:30
3047
原创 python Async/Await 笔记
python常见的几种函数:1、普通函数def function(): return 12、生成器函数def generator(): yield 13、异步函数（协程）async def async_function(): return 14、异步生成器async def async_generator(): yield 1协程需要通过其他方式来...
2019-10-20 01:21:29
327
原创 Python装饰器abstractmethod、property、classmethod、staticmethod及自定义装饰器
总览：@abstractmethod：抽象方法，含abstractmethod方法的类不能实例化，继承了含abstractmethod方法的子类必须复写所有abstractmethod装饰的方法，未被装饰的可以不重写@ property：方法伪装属性，方法返回值及属性值，被装饰方法不能有参数，必须实例化后调用，类不能调用@ classmethod：类方法，可以通过实例对象和类对象调用，...
2019-10-20 01:21:18
194
转载 python selenium 速度优化
让浏览器一开始不加载图片、css样式，一般的爬虫都是因为内存消耗太大引起的prefs = {“profile.managed_default_content_settings.images”: 2,‘permissions.default.stylesheet’: 2}chrome_options.add_experimental_option(“prefs”, prefs)driv...
2019-10-17 00:36:24
3255
原创 python3 selenium的三种等待加载方式的优缺点
1、显式等待等待一定条件发生后再进一步执行后面的动作,与time库合用.现在的大多数的Web应用程序是使用Ajax技术。当一个页面被加载到浏览器时， 该页面内的元素可以在不同的时间点被加载。这使得定位元素变得困难， 如果元素不再页面之中，会抛出 ElementNotVisibleException 异常。 使用 waits, 我们可以解决这个问题。waits提供了一些操作之间的时间间隔- ...
2019-10-16 22:10:14
1046
原创 Python selenium基础之PhantomJS
1、对于一些动态js，初步get请求一般访问不到，一、Selenium介绍 Selenium是什么？一句话，自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Selenium 的插件，那么便可以方便地实现Web界面的测试。换句话说叫 Selenium 支持这些浏览器驱动。Selenium支持多种语言开...
2019-09-07 12:10:24
190
原创 python ABupy量化平台搭建
首先安装abupy依赖包pip installbokehpip installtoolzpip installipywidgetspip installIPython安装完成之后,直接安装pip install abupy，即可完成安装
2019-08-26 23:41:36
1554
原创 windows和linux安装selenium、chrome
1、对于linux系统，安装chorm使用wget方式，安装最新的chorm首先安装chorm依赖库yum install pax*yum install redhat-lsb*yum -y install libXss*yum install libappindicator*yum install https://dl.google.com/linux/direct/google-...
2019-07-13 15:24:34
147
原创 centos7 tomcat开机启动设置
centos7 tomcat service 自启动第一步：vim /lib/systemd/system/tomcat.service第二步：复制以下代码保存退出，注意修改你的tomcat路径 [Unit] Description=tomcat After=network.target [Service] Type=one...
2019-07-11 00:31:13
94
原创 oracle 启动出现ORA-00119、ORA-00130
startupORA-00119: invalid specification for system parameter LOCAL_LISTENERORA-00130: invalid listener address '(ADDRESS=(PROTOCOL=TCP)(HOST=zk2)(PORT=1521))'1、检查tns、listener查看ip是否正确2、检查监听情况...
2019-06-30 01:09:39
227
原创 Informatica常用组件
1. 表达式转换组件 (expression) expression 属于被动组件类型（passive），是一种行级表达式，不改变数据行数，功能强大，操作简单。 主要在以下情况下应用：对流入数据的类型、内容值修改 添加、记录变量值2. 筛选器转换组件（filter） filter组件属于主动组件类型（active），按照过滤条件过滤当前流入数据。 sou...
2019-06-23 23:04:33
1377
原创 Informatica的使用
1、工具说明R 是对部署文件进行管理（包括新增、删除、修改等）D是在部署文件下进行ETL设计W是在D设计好直接进行工作流调度M是W执行的时候显示日志2、对Designer部件讲解2.1、更新策略转换组件...
2019-06-23 12:16:10
898
原创 python 高阶函数map()、filter()、reduce()
map()函数是接收两个参数，一个是函数，一个是序列，map()把传入的函数依次作用于序列的每个元素，并把结果作为新的序列返回.filter()函数，接收两个参数,一个是函数，一个是序列，filter()函数是把传入的函数依次作用于每个元素，根据返回值是True还是False决定是保留还是丢弃该元素，结果序列是返回为True的子集reduce()函数，把每个函数作用在一个序列上，这个函数必须接...
2019-06-22 17:38:42
103
原创 twisted异常处理
twisted.internet.error.CannotListenError: Couldn't listen on 119.29.148.18:6800: [Errno 99] Cannot assign requested address.解决办法:进入scrapyd安装路径，找到配置文件将bind_address 改为bind_address=0.0.0.0，保存运行即可...
2019-06-08 09:24:35
796
原创 内网搭建本地文件夹对应的pip源
第一步:首先搭建httpd服务，yum install httpd或者下载好httpd.**.**.rpm 再执行yum install httpd.**.**.rpmmkdir -p /var/www/packages ##配置httpd服务路径systemctl restart httpd ##重启httpd服务systemctl enable httpd ##httpd服...
2019-05-28 16:17:52
1385
原创 Kettle 连接数据库填坑
1、使用JDBC连接mysql的时候，出现缺失mysql driver的报错.下载链接:https://mvnrepository.com/artifact/mysql/mysql-connector-java下载根据mysql版本下载驱动，大部分下载mysql-connect-java-5.xxx 开头基本可以，如果mysql版本过高，那就下载mysql-connect-java-8....
2019-05-24 10:20:46
593
原创 python socket命令详解
socket俗称套接字，用于描述IP地址和端口，是一个通信链的句柄，应用程序通常通过"套接字"向网络发出请求或者应答网络请求socket主要功能:用于两个程序之间数据交互,负责建立连接和传递数据.socket(family,type[,protocal])使用给定的地址族、套接字类型、协议编号（默认为0）来创建套接字。 socket类型 描述 ...
2019-03-31 19:14:31
733
原创 Scrapy-settings配置
# -*- coding: utf-8 -*-# Scrapy settings for step8_king project## For simplicity, this file contains only settings considered important or# commonly used. You can find more settings consulting the...
2019-03-27 18:11:38
104
原创 python scrapy模块的安装以及应用
scrapy模块的安装:1、pip install lxml -- 安装lxml2、下载前置模块 预先在cmd命令下执行 pip install scrapy 要是会报错，部分前置库已安装 3、升级pip python -m pip install --upgrade pip4、下载wheel模块 pip install wheel5、安装Twisted 模块: ...
2019-03-14 19:25:39
1370
原创 Hbase常见的操作
空间的管理:create_namespace 'test' #创建空间drop_namespace 'test' #删除空间alter_namespace 'test',{METHOD =>'set','PROPERTY_NAME'=>'PROPERTY_VALUE'}#修改空间名称list_namespace #查询所有的空间describe_namespace ...
2019-03-11 23:07:13
235
原创 Python 爬虫基础
HTTP简介:200/OK 请求成功201/ 请求已被发现202 /服务器已接收请求，但尚未处理400/ 请求无法被服务器理解401 /当前请求需要用户验证403 /服务器已理解请求，但拒绝执行404 、NotFound元素选择器:直接选择文档元素，比如head,p类选择器:元素的class属性:比如:<h1 class="import">类名就是import.i...
2019-01-10 14:29:06
150
原创 数据挖掘之对比分析
对比分析是把两个相互联系的指标进行比较,从数量上展示和说明研究对象规模的大小，水平的高低，速度的快慢，以及各种关系是否协调，特别适合指标的横向和纵向比较、时间序列的比较分析。在对比分析中，选择合适的对比标准是关键,选择不合适，可能会得出错误的结论.对比形式有以下几种:1、绝对数比较:利用绝对数比较,寻找差异的常用方法2、相对数比较:由两个有联系的指标对比计算的,用以反映客观现象之间数量联系程...
2019-01-09 13:12:43
1692
原创 mysql常用函数
字符串：字符串转数字: cast(字符串 as SIGNED)concat(str1,str2,...)：把参数连成一个长字符串并返回(任何参数是null时返回null) select concat('my', 's', 'ql'); #mysqllocate(substr,str):返回字符串substr在字符串str的第pos个位置起第一次出现的位置(str不包含substr时返...
2018-12-25 18:04:39
402
原创 python 异常值分析
1、简单统计量分析常用的是最大值和最小值，用来判断这个变量的取值是否超出合理的范围。2、3σ原则正态分布中:σ代表方差，μ为平均值,x=μ即为图像的对称轴标准正态分布概率:数值分布在（μ—σ,μ+σ)中的概率为0.6526数值分布在（μ—2σ,μ+2σ)中的概率为0.9544数值分布在（μ—3σ,μ+3σ)中的概率为0.9974正态分布又叫高斯分布,如果数据服从正态分布,在3σ原则...
2018-12-23 13:21:46
1277
原创 Hbase伪分布式安装Hadoop2.9.2_Hbase2.0.3并安装thrift服务器，改装hbase-thrift库
1、检查电脑是否安装JDK1.8，没有就安装2、设置ssh免密登陆首先安装openssh服务yum installopenssh-server配置可以免密码登陆本机ssh-keygen-tdsa-P''-f~/.ssh/id_dsa把id_dsa.pub（公钥）追加到授权的key中去cat~/.ssh/id_dsa.pub>>~/.ssh/...
2018-12-16 23:30:07
1006
原创 Hadoop几个重要的参数配置
core-site.xml配置项 缺省值 配置说明 hadoop.tmp.dir /tmp/hadoop-${user.name} 只可以设置一个值；建议设置到一个足够空间的地方，而不是默认的/tmp下，服务端参数，修改需重启 fs.defaultFS file:/// hdfs://node1:9000 默认文件系统的名称。URI形式。uri's的...
2018-12-16 22:32:07
446
原创 centos7 Apache+PHP+Mysql+phpmyadmin 配置phpmyadmin
1、安装Apacheyum install httpd安装完成之后，启动Apachesystemctl start httpd #启动Apachesystemctl restart httpd #重新启动Apachesystemctl stop httpd #关闭Apachesystemctl enable httpd #设置Apache自动启动2、开启防火墙，或者开放80端口，或者...
2018-12-14 21:48:33
569
Python3通过thrift连接hbase库_修改版，个人已验证
2019-08-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人