- 博客(33)
- 收藏
- 关注
RSS订阅原创 PYTHON 连接oracle
https://www.cnblogs.com/zhichaoma/p/9448571.html基于windows用户（mac暂未尝试）一、下载instant client1.附链接：http://www.oracle.com/technetwork/topics/winx64soft-089540.html提示：需要有oracle的账号才能下载嗷！2.解压到某一位置并配置环境变量二、cmd加载包写在cmd里加载cx_Oracle包pip install cx_Oracle三、.
2021-05-16 21:12:48
367
1
原创 python 更改pip到python对应的版本
背景：前期将python版本同步至python3.7，而pip还是2.7坑：个人认为修改pip的版本很麻烦做法：简单粗暴，删掉pip，重装一次就匹配上了在这方面mac还真是有点麻烦呢，不过也可以做到双版本管理。...
2021-05-12 00:29:08
1551
原创 oracle定时取数至mysql
一、利用kettle oracle初次全量取数至mysql1.首先是kettle的使用，先下载kettle(此处不详细展开)，点击Spoon.bat打开2.如果是初次全量数据同步时可以直接使用本地，不需要连接账号，即下图connect处不需要任何操作，如果需要利用dolphin做定时任务，则需要连接3.点击文件新建转换，使用核心对象表输入、表输出4.建立表输入oracle取数 连接需要取数的oracle数据库，输入取数sql5.表输出 连接想要输出的数据库与对应的表，此处用的是
2021-05-11 13:11:28
415
原创 mac 非本地app不能打开
打开终端，在终端中粘贴下面命令：【sudo xattr -r -d com.apple.quarantine】 ,然后输入个空格，再将应用程序目录中的软件拖拽到命令后面，按回车后输入密码执行。比如：sqlpro的命令是 sudo xattr -r -d com.apple.quarantine /Applications/sqlpro.app...
2020-10-28 13:48:30
113
原创 python BeautifulSoup用法介绍
文章目录1.选择解析器2.基本用法3选择器3.1 节点选择器3.1.1 选择元素1.选择解析器直接选择lxml，在lxml中有HTML和XML的功能，速度快，容错能力强。2.基本用法from bs4 import BeautifulSoupsoup = BeautifulSoup(html,'lxml') #BeautifulSoup对象初始化print(soup.prettify()) #把要解析的字符串按标准的缩进格式输出print(soup.titlte.st
2020-10-05 15:09:36
2620
原创 python matplotlib画图显示中文
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2020-09-30 19:29:57
117
原创 从主网页爬取子网页的内容（仅自用分析）
目标这次的目标是爬取北斗相关的新闻，利用图片来解释一些我们要做的事情从左边的网页信息中获取子网页的网址，然后从子网页的网址中获取文章文本信息。接下来我们看一下子网页的网址在原网页的哪里 大家有没有注意到上一张图的网址的后面跟这张图所指的网址是一样的。所以就是这里现在开始码代码，我使用的解析方法是beautifulsoup。加载包 import requestsfrom bs4 import BeautifulSoupimport numpy as np import pandas a
2020-09-30 19:24:51
2128
原创 爬取豆瓣金融类图书信息（仅分析自用）
第一步：寻找网址规律首先来展示一下原网页：可以看出网页地址有规律，start=0，start=20，start=40（是这样的规律，这部分只展示两页）。这样就可以获取所有的网页地址。第二步，爬取网页信息这里只爬取前20页信息urls=['https://book.douban.com/tag/金融?start='+str(i*20)for i in range(0,20)]#爬取多个页面for url in urls: headers={ 'User-Agent':'M
2020-09-30 09:37:04
178
原创 爬取x宝网页评论(仅作分析自用)
淘宝某一衣服网页的评论第一步：找评论的url找到网页确定网页第二步：爬取网页编写headers定义获得网页源码函数定义获取想要的评论信息函数定义存储网页评论函数开始爬取网页评论词云图做词云图基本词云图做图形词云图第一步：找评论的url我们先放一张界面图：找到评论，打开检查界面找到网页进行网页刷新，然后在检查界面的筛选器中筛选list，通常情况下，评论在list_detail界面中，如下图所示：确定网页点开这个网页，观察响应中是否有你想要的评论。然后去标头中找它的url和headers：
2020-09-25 09:08:34
776
原创 R installation of package ‘backports’ had non-zero exit status
今天又与这个bug战斗了一天，原因是早上手抖删掉了这个包，对我本不富裕的时间雪上加霜，说一下解决方案报错是说这个包退出为非零状态，意思是原来有了，又不完整，也不能卸也不能装，那就单独安装这个包install.packages('backports')而如果这个包有问题的话，会弹出一个弹框，问你是否在原基础上下载（因为不能复现所以就不展示了），选择否，就可以解决了。。。没想到我与这个问题战斗了一天，早知道就多看一下那个提示英文，吃了没文化的亏~...
2020-09-16 18:46:36
1199
3
原创 爬取网页源码
以网页百度为例爬取网页源码：百度网页1.先载入包requestsimport requests2.定义表头headers ={ "Accept":"application/json,textjavascript,*/*;q=0.01","Accept-Language":"zh-CN,zh;q=0.9","Content-Type":"application/x-www-form-urlencoded;charset = UTF-8","User-Agent":"Mozilla/5.0 (
2020-08-14 17:12:36
1767
原创 Beautifulsoup爬取网页标题
既然是使用BeautifulSoup我们就来爬取BeautifulSoup官方文档的标题吧。也就是下面红框内的图片。网址：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#id4接下来我们进行分步处理：①请求数据：r=requests.get("https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#id4")text=r.text ②利用Beautifulsoup获取网页信息：soup=Bea
2020-08-10 17:02:57
2152
2
原创 R中数据框某一列加一个字
明确目标：在市级城市后加一个‘市’字第一步：导入数据框library(tidyverse)consum <- read_csv( 'C:\\Users\\Administrator\\Desktop\\DXYArea.csv' )查看数据head(consum)第二步：将这个字形成一列consum$shi<-c('市')第三步：利用str_c函数...
2020-03-11 19:52:30
6095
1
原创 R中install_github中无法安装遇到的问题与解决方法
首先，让我们来进入常规步骤我安装的是recharts包，正常的写法呢，就是以下这个样子：install.packages("devtools")#devtools::install_github("madlogos/recharts")然而对于今天的我来说，那就太天真了，首先踏入的第一个坑：无法打开URL’http://yihui.name/xran/src/contrib/PACKA...
2020-03-07 00:17:11
14697
1
原创 python 下载url图片
##下载url图片函数import urllibimport urllib.requestdef get_image(url,stuNum): try: request = urllib.request.Request(url) response = urllib.request.urlopen(request) get_img = r...
2020-01-09 16:53:03
631
原创 python 拥有api后爬数据
import urllib,sysimport urllib.request as urllib2url = "http://api01.idataapi.cn:8000/hotel/idataapi?pageToken=560:WzAuOTQ1NjY2NTUsImlkYXRhYXBpIiwiODAxODYxNjUiXQ==&city=%E5%AE%81%E6%B3%A2&ap...
2019-12-31 16:49:26
388
原创 python 样本聚类
导入需要的包import pandas as pdimport numpy as npfrom pandas import DataFrame,Seriesfrom sklearn.cluster import KMeansfrom sklearn.cluster import Birch设置文件导入导出位置datafile = u'E:\\grade3作业\\多元实践\\newj...
2019-12-31 16:43:52
486
原创 python总结
PYTHON 显示图片负号plt.rcParams['axes.unicode_minus']=False两种删除数据框某一列或几列的方式第一种del df['KSRQ']del df['JSXX']del df['KCMC']第二种##删除无用列x=[1,2,3,6,8] JDYJD.drop(JDYJD.columns[x], axis=1, inplace=True)...
2019-12-31 16:39:34
76
原创 python 合并同一文件夹下三个表格
合并同一文件夹下三个表格##合并2016-2019文件#Folder_Path = r'E:\\xiangmu\\gaoshu\\jidian' #要拼接的文件夹及其完整路径，注意不要包含中文#SaveFile_Path = r'E:\\xiangmu\\gaoshu\\jidian' #拼接后要保存的文件路径#SaveFile_Name = r'stu_c...
2019-12-31 16:11:14
752
原创 python 取随机值
随机取值imort randomindex=random.sample(range(0,40),5)import numpy as npindex=np.random.randint(0,40,size=5)
2019-12-03 21:15:59
168
原创 excel和python 数据框中有条件的最大值
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://mp.csdn.net/mdeditor/103374630参考文件链接：https://blog.csdn.net/weixin_37855575/article/details/82288011————————————————详细介绍一下题目，考试中有重...
2019-12-03 19:29:21
1067
原创 R dataframe按某一列排序
使用场景：因为是随机生成的数值，所以x没有顺序区分，（作图如图一），所以要利用先对数据进行排序再作图（作图如图二）x<-rnorm(n,0,5)e<-rnorm(n,0,0.01)y<-10+0.8x+3x^2+0.1x ^3+ey1<-11.7+0.538x+2.93*x2+0.097*x3data2<-data.frame(x,y1)data3<...
2019-11-16 13:56:34
9368
原创 openbugs软件初步使用
openbugs操作官网下载http://www.openbugs.net/w/Downloadds步骤一：打开后新创文件file/save as步骤二：模型定义moel/Specificationcheck model:核实模型load data：加载数据compile：编译数据核实模型：分别用两个窗口写入加入数据与初值步骤三：考察参数的选定Inferenc...
2019-10-12 11:29:41
7422
2
原创 python 文件及文件夹批量操作总结
python 文件夹批量操作删除一级文件夹下文件for i in os.listdir(path): ##用于返回指定的文件夹包含的文件或文件夹的名字的列表 path_file = os.path.join(path,i) ##连接两个或更多的路径名组件 if os.path.isfile(path_file): ##判断是否为文件 os....
2019-09-29 19:35:30
2354
原创 r数据处理与echart作图总结
#读入Excel1）readxl包library(readxl)path<-"D:\\xiangmu\\lixueyuan\\data1.xls"data<-read_excel(path,range="A1:BU221")2)对某一列数据分类计数并位dataframe格式as.data.frame(table(data$性别)) ##进行计数3）将上述计数以比例显...
2019-09-18 22:37:14
720
原创 统计学习讨论数据集
机器学习数据集数据集数据集http://faculty.marshall.usc.edu/gareth-james/ISL/data.html
2019-09-18 09:04:23
315
原创 lingo if语句 矩阵判断
如果a(i)=1,d(i,j)=1,否则等于0@for(c12(i,j):d(i,j)=@if(a(i)#eq#1,1,0));
2019-08-20 11:06:28
5894
原创 R字符转为向量
a<-‘11,12,13,14,15’b<-as.numeric(unlist(strsplit(a,split=",")))b即为：11 12 13 14 15
2019-08-16 20:43:58
4895
原创 r object of type 'closure' is not subsettable
解决办法问题的意思是closure类型的对象不能自设置我这次遇到的问题是在qyt后少了括号
2019-05-24 15:29:29
26023
原创 Excel 按时间序列排序
比如某个学生参加的第几次考试：D列为时间以及：根据考试编号(c列)排序，防止一次考试重复记数（F列为科目）也必须相同，+1是计算初始值为0，而排序的初始值为1我只是自己做个笔记，如果有需要的看不懂的可以提问，我会尽快回答，或者有人指正愿意虚心接受（弱弱的问一句，那个row函数作用是什么）！...
2019-05-23 20:25:55
671
原创 EXCEL满足多条件的记数公式
#例如挑选某班级（C列为班级）某次考试（R列为考试名字）某科目（T列为科目）等级为A的同学 （AC列为等级）公式如下：
2019-05-22 20:21:16
947
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人