- 博客(352)
- 资源 (8)
- 收藏
- 关注
RSS订阅转载 机器学习+深度学习相关课程地址总结
视频：https://www.bilibili.com/video/av9770190/?视频：https://www.bilibili.com/video/av9770302/?原文链接：https://blog.csdn.net/search_129_hr/article/details/121415483。课程视频链接：https://www.bilibili.com/video/BV1JK4y1D7Wb/深度学习课程：吴恩达深度学习专项http://deeplearning.ai/
2023-11-30 22:21:18
107
原创 PowerDesign 设计 使用操作
VSFTP 安装文档查看vsftp 是否安装[sctele@xnsbftp4 ~]$ rpm -qa | grep vsftpdvsftpd-2.2.2-11.el6.x86_64切换root用户并安装vsftp[sctele@xnsbftp4 ~]$# yum install -y vsftpd设置vsftp为开机启动项[sctele@xnsbftp4 ~]$# sys...
2021-07-08 17:44:44
306
转载 pycharm连接远程操作出现乱码怎么办
转载自：https://blog.csdn.net/human_soul/article/details/88999346我们在没有执行pycharm默认编码设置的时候不可避免的遇到乱码的问题。这样极大地形象了我们的操作。因此，针对pycharm出现的乱码问题，我给大家推荐以下解决步骤：1、打开File吓的setting2、在Tools下找到SSH Terminal。将default encoding设置为UTF-8.3、重新连接修改成功！！！！！打完收工！！精炼的教程，喜欢的给个关注吧.
2020-08-03 21:09:30
1250
原创 字符串与变量名相同并根据字符串取出对应变量的值
a_1 = 1a_2 = 2a_3 = 3def foo(str, a_i): # print((type(a_i))) print(str, a_i)for i in range(1, 4): variable = "a_" + "{i}".format(i=i) foo("locals()", locals()[variable]) # 字符...
2020-04-21 10:02:03
1034
原创 word打开就提示Can't find the word document templant:WordToRqm.doc
打开word文件时弹出提示 Cannot find the Word template:WordToRqm.dot出现这种情况的原因百好像是安装了power designer 12或者 power designer 16的原因。 使用word时发生了这种情况 ：cannnot find the Word template : WordToRqm.dot运行度regedit.exe打开注册表编...
2020-04-12 08:20:33
484
转载 selenium.common.exceptions.WebDriverException: Message: 'chromedriver'解决
selenium.common.exceptions.WebDriverException: Message: 'chromedriver’解决转载网址:https://blog.csdn.net/weixin_44318830/article/details/103339273
2020-04-08 08:53:54
235
原创 hadoop can't installation: $HADOOP_HOME or $HADOOP_PREFIX must be set
在终端执行hive时，出现错误Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path问题原因:HADOOP_HOME 路径未找到发现真正执行的是/opt/cloudera/parcels/CDH-6.2.0-1.cdh6...
2020-03-08 18:30:05
5029
转载 如何在已有CM集群环境中添加kafka组件
参考kafka升级CDH5与CM5环境搭建场景怎么局部升级当前cm集群呢，比如添加kafka组件、spark组件等分析一、升级原因1、 现有集群组件只能做一些离线类统计分析，无法满足当前实时类业务计算的需求。2、 现有集群计算引擎是基于MR2,计算能力相对较弱。综合以上因素，决定在已有的集群组件中添加 : flume、kafka 与 spark 组件，以期提升集群的计算能力...
2020-03-08 16:32:22
266
转载 Spark参数调优详解目录
Spark参数调优需要对各个参数充分理解，没有一套可以借鉴的参数，因为每个集群规模都不一样，只有理解了参数的用途，调试出符合自己业务场景集群环境，并且能在扩大集群、业务的情况下，能够跟着修改参数才算是正确的参数调优。本系列文章仅为个人理解与观点，如果任何地方有疑问与错误，欢迎评论指正！（上次更新时间---2018-09-0515：07）1、背景Spark2.2.1版本(现升级到了...
2020-03-08 14:54:53
141
原创 以excel格式存储文件
import openpyxlbook = openpyxl.Workbook()Sheet =book.activeSheet.title = 'test'#存入xlsx文件r=1for word,count in word_dict.items(): if r==1: #每一列名称Sheet.cell(row=r,column=1,value=...
2020-01-09 09:49:56
207
原创 python 移除\ufeff
从csv文件中读取中文时，开头可能出现\ufeff,需要去掉\ufeff出现\ufeff是因为使用的utf-8编码不是utf-8-sig编码。需要使用utf-8-sig打开F=open(r'a.txt',encoding='utf-8-sig')...
2020-01-09 09:47:35
1265
原创 python 爬虫：requests抓取的页面信息和浏览器中看到的不一样
网址:https://www.rmfysszc.gov.cn/statichtml/rm_obj/108362.shtml用请求出的网页解析为<div id="time1" style="width:100%; height:60px; text-indent:30px; font-size:14px; line-height:60px;color:#2f2f2f;font...
2020-01-07 10:39:04
11558
转载 Scrapy 出现DEBUG:Filtered duplicate request
转载:https://blog.csdn.net/sinat_41701878/article/details/80302357[scrapy] DEBUG:Filtered duplicate request:<GET:xxxx>-no more duplicates will be shown不会显示更多重复项scrapy自身有过滤重复请求在Request请求中添加...
2020-01-06 16:55:59
823
1
原创 Scrapy 常用命令集锦
以下命令需要在dos窗口执行1、创建项目scrapy startproject <project_name>2、启动scrapy shell做交互命令scrapy shell <url>如打开百度URLscrapy shell htt://www.baidu.com3、用于一些页面动态加载的内容无法看到，可以用该命令检查spider所获取到...
2020-01-06 16:53:24
283
原创 爬虫 选择框处理
1、单选框s = driver.find_element_by_id("boy").is_selected()print sdriver.find_element_by_id("boy").click()# 点击后，判断元素是否为选中状态r = driver.find_element_by_id("boy").is_selected()print r2、复选框...
2020-01-06 16:43:33
1022
原创 花市分词统计
import re, osfrom datetime import datetime, timedeltaimport csvimport jieba.analyse as anls # 关键词提取import openpyxldef clear_word(word_dict): """ remove life-always word :param wor...
2020-01-06 16:36:20
175
转载 Win10安装MySQL5.7.22 解压缩版（手动配置）方法
1.下载地址：https://dev.mysql.com/downloads/mysql/5.7.html#downloads直接点击下载项下载后：2.可以把解压的内容随便放到一个目录，我的是如下目录（放到C盘的话，可能在修改ini文件时涉及权限问题，之后我就改放D盘了）：D:\MySQL\MySQL Server 5.7.22如下图：此时加压后的文件中没有...
2019-12-30 15:19:30
156
原创 python 根据字典中value值大小进行排序
temp_dict = {"2": 2, "1": 1, "3": 3, "4": 4}temp = sorted(temp_dict.items(), key=lambda x: x[1], reverse=True) # 按照字典value降序排列print(temp) #[('4', 4), ('3', 3), ('2', 2), ('1', 1)]
2019-12-25 21:18:10
4469
原创 python 爬取<span></span>中间标签的内容
# python 爬取<span></span>中间标签的内容html = """<div> <span class='red'>item1</span> <div> <span id='s1'>item2</span> </div></...
2019-12-24 20:30:46
19823
1
原创 开始生成CMM客户信息数据
import gzipimport osimport randomimport reimport timefrom concurrent.futures.thread import ThreadPoolExecutorfrom datetime import datetime, timedeltafrom faker import Fakerfaker = Faker('zh...
2019-12-24 17:17:42
285
原创 词云库wordcloud 显示乱码或者不能正常显示问题
词云库wordcloud 显示乱码或者不能正常显示问题原因:wordcloud中字体设置为DroidSansMono.ttf，需要修改所需要的字体，这里需要的字体是simhei.ttffromwordcloudimportWordCloudtemp_list=['花市','举办','交通','地点','方式','时间','档位','黄埔','番...
2019-12-24 16:51:45
2265
原创 模拟生成个人电话信息数据和个人基本信息数据
from faker import Fakerimport os, random, gzipimport re, timefrom pypinyin import pinyin, Stylefrom datetime import datetime, timedeltafrom concurrent.futures.thread import ThreadPoolExecutorf...
2019-12-19 13:18:12
692
原创 python获取程序运行时间
# 获取程序运行时间# 方法一import timestart = time.time()time.sleep(3)end = time.time()print(end - start)# 3.0000083446502686# 方法二from datetime import datetimeimport timestart = datetime.now()time...
2019-12-16 15:23:54
219
转载 Spark在Windows下的环境搭建
一、JDK的安装1、1 下载JDK 首先需要安装JDK，并且将环境变量配置好，如果已经安装了的老司机可以忽略。JDK（全称是JavaTM Platform Standard Edition Development Kit）的安装，去Oracle官网下载，下载地址是Java SE Downloads。 上图中两个用红色标记的地方都是可以点击的，点击进去之后可以看到这个最新版本的...
2019-12-10 11:01:11
137
转载 mysql安装navicat之后，出现2059，Authentication plugin。以及本地链接虚拟机docker，远程链接服务器
序言在安装完MySql和navicat之后，进行连接时报出了ERROR 2059 (HY000): Authentication plugin ‘caching_sha2_password’ cannot be loaded: ÕÒ²»µ½Ö¸¶¨µÄÄ£¿é¡£.我起初认为是我没设置密码的原因。便在命令行模式下设置了密码值得一提的是在登陆root之后设置密码应该是 set password ...
2019-12-04 16:03:57
218
转载 IntelliJIDEA如何导出项目JavaDoc文档
Note:Idea导出Java Doc方案：Tools->Gerenate JavaDocOther command line arguments：-encoding utf-8 -charset utf-8
2019-10-26 12:01:34
823
原创 java 继承和组合区别
import java.util.Scanner;/** * 1、子类继承父类，是子类继承父类里边所有的protected、public属性和方法 * 2、是关系用继承，有关系用组合 * 3、组合，子类可以使用父类里边所有属性和方法 */public class Main { private int a = 1; protected int b = 2; ...
2019-08-31 18:50:59
233
原创 VSFTP 安装文档
VSFTP 安装文档查看vsftp 是否安装[sctele@xnsbftp4 ~]$ rpm -qa | grep vsftpdvsftpd-2.2.2-11.el6.x86_64切换root用户并安装vsftp[sctele@xnsbftp4 ~]$# yum install -y vsftpd设置vsftp为开机启动项[sctele@xnsbftp4 ~]$# sys...
2019-08-29 21:15:41
172
转载 python 实例方法、类方法、静态方法区别
"""1、实例对象可以调用实例方法、类方法、静态方法2、类可以调用类方法、静态方法3、只有实例方法可以访问实例属性4、实例方法、类方法、静态方法都可以访问类属性"""class getMin(): class_pro = "class_pro" def __init__(self, pro): self.instance_pro = pro ...
2019-08-25 11:36:47
190
原创 vsftp 出现ftp 上传时间与ftp服务器中文件显示时间不一致
问题描述:文件上传时间和ftp服务器上文件的时间差8小时，是由于vsftp默认的是伦敦时间，而我们上传文件的时间是北京时间解决办法:1、登陆ftp服务器用root用户2、修改配置文件/etc/vsftpd/vsftpd.confuse_localtime=YES #启用北京时间3、重启vsftpd 服务service vsftpd restart或者/etc...
2019-08-22 10:13:06
1782
原创 计算两个数据的百分比
def str2int(str): """ char to int :param str: :return: """ try: num = int(str) except: num = -1 return numdef get_percentage(num1, num2): """ ...
2019-08-12 16:52:32
2760
1
原创 python 双向链表操作(insert,delete)
class Node(object): def __init__(self, value, prior=None, next=None): self.value = value self.next = next self.prior = priorclass LinkList(object): def __init__(sel...
2019-08-10 12:51:13
310
原创 python 操作单链表(插入、删除、遍历)
"""单链表1、计算长度操作2、判断是否为空链表3、头插法4、尾插法5、根据位置插入值6、遍历链表7、清空链表8、根据位置删除链表值9、根据值删除10、链表逆序遍历"""class Node(object): def __init__(self, value): self.value = value self.node = Non...
2019-08-10 10:45:14
5491
原创 构造ES创建索引body部分的mappings
"""构造创建索引body部分"""import jsonclass ConstructIndexMap(object): def __init__(self, type="", fields=[]): self.type = type self.fields = fields def mapping(self): b...
2019-08-07 10:09:00
280
原创 多线程分块(按字节进行)读取多个文件
"""多线程分块(按字节进行)读取多个文件1、统计文件的大小2、根据线程数对文件大小进行分块3、多线程根据分块行进行读取文件"""import osfrom concurrent.futures.thread import ThreadPoolExecutorimport timedef size_file(file): """ 统计文件大小(字节) ...
2019-08-05 23:11:17
506
原创 多线程分块(按行进行)读取多个文件
"""多线程分块(按行进行)读取多个文件1、统计文件的行数2、根据线程数对文件行数进行分块3、多线程根据分块行进行读取文件"""import osfrom concurrent.futures.thread import ThreadPoolExecutorimport timedef wc_file(file): """ 统计文件行数 :retur...
2019-08-05 22:33:14
1287
转载 python使用stomp连接activemq
python使用stomp连接activemq一、安装ActiveMQ服务1. 当使用windows时，安装参考：https://blog.csdn.net/WuLex/article/details/78323811 启动：运行activemq.bat2. 当使用linux时，安装参考：https://www.cnblogs.com/andylhc/p/9337628.ht...
2019-07-20 16:38:29
1352
原创 对于为一个key,对应多个value， 取最新时间的value， 采用{key:[]}结构进行存储， 通过key获取value，采用对value列表升序排列，然后取第一个值
"""对于为一个key,对应多个value，取最新时间的value，采用{key:[]}结构进行存储，通过key获取value，采用对value列表升序排列，然后取第一个值"""test_data = { "1": ["mac|2019-03-29 10:13:20", "mac|2019-03-29 12:13:20", "mac|2019-03-29 09:13:20"]...
2019-04-02 14:29:45
565
原创 去掉组合的多余列数据
temp_field = stb_info.split("|")stb_value = "|".join(temp_field[1:]) # 去掉多余的MAC列
2019-04-01 19:18:13
148
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人