- 博客(97)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 sql筛选查询不到null的情况
使用sql查找 使用了<>符号，排除不为Y的值 但是一直排除不了NULL类型的 通过网上查找查找网上：SQL由于NULL不能直接用算术运算符进行比较值。要想把为NULL 的那行也查询出来的话，只能使用IS NULL。所以如果要排除不是Y的 要加上 xxx <>‘Y’ and xxx is NULL...
2021-04-07 10:05:53
1619
原创 word转换成excel导致身份证错乱的解决办法
今天被老姐拉着强行给他完成一个事情，就是把word的表格转成excel文件，但是每次转变都是身份证乱码，很是奇怪，网上找了很多，没说到点上，后来找到了解决办法，如下：步骤1：新建Excel空白文档，选中对应Word文档中表格行竖数量（或者干脆Ctrl+A全选文档），鼠标右键打开选项框，选择“设置单元格格式”，确认进入选项设置界面；选择“数字”选项里的“文字”，确定；步骤2：把Word文档里的表格复制后，在Excel界面选择要粘贴的区域，鼠标右键，在弹出的“粘贴选项”选择“匹配目标格式..
2021-03-11 16:46:26
11253
原创 python文件打包成exe可执行程序
为了能让我的定时程序在windows环境下可以一直后台跑起来 而不用重复的进行开启，而且一直放着cmd总感觉不好或者一直用pycharm打开经过一番查找，把该程序作为exe进行发布，并且变为基础服务，开机自启动，哪怕关机重启也不用害怕我的程序起不来啦具体方式如下：使用安装：pip install pyinstaller1使用方法（例子）：pyinstaller -D -p F:\Python27\Lib -i logo.ico mian.py1-D:打包成多个文件-p：指定python
2021-03-11 10:51:45
139
原创 -source 1.5 中不支持 diamond 运算符
运行idea 配置了项目后又出现 -source 1.5 中不支持 diamond 运算符的错误问题：我已经配置了maven和jdk 而且确认无误 但是仍然导入不了包 说明maven就没有导入成功 但是我通过file ->settings->maven检查了我的配置也没有错 好奇怪reimport maven项目没有用解决：在idea右边找到maven projects 然后点击小扳手 重新配置maven 发现project的maven没有配置 重新配置...
2020-07-23 10:03:33
535
转载 google chrome一直崩溃 snap
昨天google一直甭哭，显示Chrome Aw Snap我尝试重新安装chrome 但是还是不行 目前还没有找到根因 但找到了一个解决办法原文出自黑山老雕亲测可用:Chrome 78 版本以后，很多人经常碰到 Aw Snap 的崩溃。尝试多种方法无效后，可以试试如下两种方案：右键选择Chrome，在属性中，在命令行最后添加 --disable-features=RendererCodeIntegrity 的参数。 在Chrome文件夹中把 Chrome.exe 重命名为 Ch...
2020-06-09 09:01:43
541
原创 RF(robotframework)安装后RIDE双击打不开的问题
我尝试用cmd中的命令行ride.py启动 但是出现如下问题启动ride时出现wx._core.wxAssertionError: C++ assertion网上有各种方法，让去修改配置的 有让删除什么库的 但是都感觉治标不治本我经过定位问题 应该是版本不匹配的问题 请pip list查看一下你的包 我发现我的python是2.7 我的robotframework-...
2020-04-26 20:23:18
4735
2
原创 Spark的Job Stage task关系
https://blog.csdn.net/hjw199089/article/details/77938688
2020-04-26 20:02:42
167
原创 spark学习
总是学了就忘记，spark都学了几遍了 总是深入不进去 唉 头疼 这里再次学习一遍 谁有更好的深入学习spark的方法给推荐推荐面试了大数据，盘点几个被问到的问题： spark一定会把中间结果放在内存吗？当然不是 可以是内存，也可以是磁盘 spark包括work和master work和master之间的沟通通过网络RPC进行交流沟通拷贝到其他节点...
2019-12-09 17:01:06
145
转载 Anaconda安装后默认python3.6 现在我想变成3.5 降级python版本 如何？
安装了Annconda 他自动升级当前的python版本 我的程序运行的话python3.6是不行的 需要降级 那么我该如何弄呢 查了网上很多东西 很心烦 比如说如何卸载anaconda安装的python这样的条目 搜索出来的都是个啥子 很烦人 想来想去还不如降级 https://blog.csdn.net/weixin_39278265/a...
2019-12-09 16:59:49
1137
原创 面试开发
为什么要三次握手：https://www.jianshu.com/p/e7f45779008a访问修饰符public,private,protected,以及不写（默认）时的区别？https://blog.csdn.net/lihua5419/article/details/80334095hashmap的底层存储：https://blog.csdn.net/tingting256/art...
2019-12-09 16:56:43
101
原创 构造自己的异常数据集合
在看论文的时候发现有的人工合成数据集合并没有提供出来 并且不知道如何用工具构造自己的数据集,于是就手动用Python自己实现一个数据集 其中共有263个数据 二维数组构成 便于二维平面画图 其中 异常数据13个 正常数据250个但正常数据又分为3个聚集的堆 第一个堆70 个 第二个 和第三个都是90个import numpy as nparray1...
2019-11-30 15:44:45
782
原创 启动hadoop成功后，再次启动datanode 和namenode都没有 但有nodeManager
安装hadoop 启动后发现成功 但之后因为某些原因重新启动 发现重新启动不起来了datanode和namenode都没有了 怎么找也找不到 但可以看到nodeManager还在 这是个什么幺蛾子我重新删除log tmp文件夹 然后format 啊哈 没有一点用最后发现后台进程中JVM占用了50010端口 这我就知道了 因为之前没有合理的关闭ha...
2019-07-24 10:58:11
1115
转载 如何远程连接一个主机并且执行一段命令呢
"ssh -o StrictHostKeyChecking=no -o ConnectTimeout=5 %s '%s'" % (host, mkdir -p your_path)如此可以远程ssh连接一个主机 执行命令https://www.cnblogs.com/Peter2014/p/8250119.html...
2019-07-16 10:40:21
404
转载 linux 用Backspace键突然出现^H的问题
今天运行了某个程序后突然发生这种情况 对使用Linux命令很不方便上网找到了解决办法 供大家参考https://blog.csdn.net/weixin_42760394/article/details/82051477linux执行下列命令即可：stty erase '^H'...
2019-06-14 17:44:48
679
转载 spark 提交集群的各种方式
https://blog.csdn.net/hellozhxy/article/details/80483376其中 deploy-mode 可以是cluster 和client形式 两者有什么区别呢：请看https://blog.csdn.net/Trigl/article/details/72732241...
2019-05-30 15:23:09
223
原创 下载apache的spark的时候总是网速很慢 下载好久的问题
下载个spark-2.2.2版本下载了一天 网速7k/s 什么鬼 然后用专业软件检测 发现并没有网速很慢呀 1M/s是没有问题的这是啥子个原因 哎 我也不知道到 总之能不去apache下载东西就不去 还是另寻他路 找个开源镜像什么的下载吧 ps:我配置了代理依然提高不了网速 估计在国外会快点吧 唉。。。。。...
2019-05-17 14:17:41
2734
转载 idea打包jar到spark集群运行
总是想打包一个程序 到集群 网上很多方法都是要用maven管理 用pom 和maven工具来进行 而此时我只想直接打包一个程序成为一个jar文件怎么搞呢 看下面连接https://www.cnblogs.com/xugh/p/9680256.html...
2019-04-24 16:27:23
576
原创 ramp plan 是什么意思呢？
ramp up加强ramp英 [ræmp] 美 [ræmp] n.斜坡;坡道;(装车或上下飞机的)活动梯，活动坡道v.敲诈;使有斜面看到“敲诈”吓我一跳 难道是敲诈计划？ 问过之后发现是ramp plan就类似于一个成长计划 这完全相反的理解嘛...
2019-04-16 11:11:52
2446
原创 spark 配置historyserver进程 报错：failed to launch org.apache.spark.deploy.history.HistoryServer
查看日志 发现是Exception in thread "main" java.lang.reflect.InvocationTargetException 然后后面还有fail on connection 这个大概是接口防火墙错误了 我检查之后 端口没有被占用 ，防火墙也关闭了 那怎么回事呢？后来才发现，因为我配置historyserver的存储目录是hdfs:/...
2019-04-15 16:22:25
1936
1
原创 find根目录（查找某个字段）
linux中在所有文件中查找某个字段 最近在配置文件的过程中，发现有个配置不知道在哪个文件里配置着，试了很多配置文件都没找到 很是奇怪 干脆就在根目录下查找查找这个让人心烦的东西在哪个文件里面 如果强行find的话 会运行太慢，甚至Linux卡死 所以使用下面的命令 提高查询速度find / -maxdepth 5 -type f -size +10c -si...
2019-04-09 09:05:03
726
原创 flume使用注意事项
flume可以有多个source 多个channel 多个sink 为什么要把flume分为source chanel sink多个组件呢？有多个组件是为了更加灵活，可以得到不同的来源，传入不同的地方 也可以只有一个source channel 而没有sink也可以是其他情况agent---flumesource搜集数据(如：每次来一行数据，就读...
2019-03-21 11:24:39
810
转载 Java面试必看
最近找大数据开发，下面记录几个自己看的比较好的面经，供参考这个博主写的非常不错，总结的也很到位 java题汇总：https://www.cnblogs.com/java1024/p/7685400.html23种设计模式讲解：http://c.biancheng.net/design_pattern/HashTable和HashMap的区别以及ConcurrentHashMap...
2019-03-05 17:25:11
130
转载 ThreadLocal
参考下面写的不错：https://blog.csdn.net/zhangzeyuaaa/article/details/43564471https://www.iteye.com/topic/103804
2019-03-04 21:55:46
168
原创 短期工作总结
为期两个星期，主要完成了数据的查询，调用接口传入数据进行功能的调用出现的错误：网站后台报错：400 后来经过核实，是我这边调用接口传入的参数不符合接口方的规定 所以造成了这种错误错误解释：https://www.cnblogs.com/wanglaowu/p/6229843.html后台报错：500 后台代码出错了 需要查找一下哪里多了“分号”（你懂的！！！）...
2019-01-29 10:16:50
364
原创 地址栏输入localhost:8080后跳转到windows查找的问题
今天出了一个错误 还要把我气吐血了 我在地址栏输入localhost:8080后就跳转到了windows的一个“需要新应用打开此localhost”界面 上网各种查找，都没找到这个奇葩问题的答案 然后解决： 改成http://localhost:8080试试，然后就可以了 （指定下协议就会视为ur...
2019-01-24 15:57:09
2683
2
原创 SSH需要的关键技术
1 代理 （用来进行类的增强 和service实现类一样都继承相同的接口） 静态代理---------创建一个代理类，运行之前就已经确定了代理某个service实现类 动态代理---------不需要创建代理类，通过工厂产生代理对象，在运行时才生成代理 jdk动态代理：target=Proxy.newProxyIns...
2019-01-21 09:50:49
570
1
原创 svn出现不能访问url的情况解决
右击svn checkout一下url链接 但是报错 提示url不对明明我的url存在也正确呀 怎么搞的 这时候一定去看看自己的hosts配置里面 是不是出问题了 当时配置的svn路径是不是被系统或者360给干掉了 ...
2019-01-18 18:03:11
12313
2
原创 svn提交或者更新的时候出现错误 svn: Working copy 'D:\...'locked.
今天从svn更新项目中的文件内容 但出现了如下问题 解决方案：https://blog.csdn.net/mynameisyaxuan/article/details/79528445可参考该博主连接1.右键文档-->TortoiseSVN-->clean up 2. 再次更新就能更新了原因：这里主要是上次处理相关操作，没有处理成功就直接将我的eclips...
2019-01-15 18:02:38
5678
原创 javaee开发 之Servlet
servlet接口 开发网页版本需要实现自己的servlet 即继承servlet接口如果要访问servlet需要配置内容到WEB-INF下的web.xml <servlet> <serlvet-name>HelloServlet</servlet-name> <serlvet-class>com.ite....
2019-01-13 23:40:41
159
原创 python线程
threading.Thread父类来实现自定义的类全局变量在线程中是共享的最近面试出现一个问题 是num=num+1是线程安全的吗 如果是，为什么，如果不是，如何实现线程安全呢？答案是不安全的 那么让其线程安全 ，就要回答如何能让一个线程安全的问题，可以在网上查一下如果实现线程安全 https://blog.csdn.net/galaxyxupt/article/det...
2018-12-11 21:25:48
119
原创 python进程
本来的主进程是当前运行的程序 执行到os.fork()时候，又创建了一个子进程 主进程向下执行，子进程也继续向下运行，根据返回值的不同分别执行下面的代码 可以使用os.getpid()得到当前进程的父进程的进程号如果父进程先执行完毕，那么先退出，子进程可以继续执行，即他们各自执行，代码是同一份代码，但数据是各自独有的，互不影响，哪怕是全局变量，也不互相影响。fork只能用在...
2018-12-10 11:41:20
142
原创 pep8规则 Python的书写规范
import 的时候 顺序如下：1先标准库 2 相关第三方库 3 本地库 之间用空行隔开 python默认使用utf-8格式
2018-12-05 21:03:19
286
原创 pdb调试
1 python -m pdb some.py 使用下列命令进行程序的调试2 import pdbpdb.run("test(args)") 进行交互式调试 3import pdbpdb.set_trace() 埋断点 执行到这里开启pdb模式 ...
2018-12-05 20:56:01
290
原创 python的gc（Garbage collection）
小整数池[-5,257）共用对象，长驻内存python的intern机制 共用同一段内存（单个单词，不可修改，默认开启intern机制）Java c#都有垃圾回收机制引用计数简单，但维护引用消耗资源，出现循环引用的时候出现无法回收对象的风险 python（一旦没有引用立刻清除）和ruby（先申请大量的内存，全部用完后再清除内存,标记-清除）python以引用计数为主，...
2018-12-05 20:18:19
509
原创 Scala
一门运行于JVM并将面向对象和函数编程完美结合的语言。 在Scala中main函数需要存在于object对象中函数体最后一行的值就是整个函数的返回值。当函数不带参数时候可以省略括号 调用函数可以直接使用函数名即可双箭头=>的使用 参考：http://blog.sina.com.cn/s/blog_764943770102whmx.html第一种 函数类型：...
2018-12-04 22:01:49
132
原创 spark补充
每个应用在一个WorkerNode上只会有一个Executor。每个partition都会由一个task负责运行，有多少partition就有多少task。DAGScheduler给TaskScheduler发送任务时候以stage为单位提交的TaskSet 其实就是task组成的一个数组...
2018-12-04 10:50:12
170
原创 spark运行模式 standlone mesos yarn
不同的运行模式的主要区别就是他们有自己特定的资源分配和任务调度模块，这些模块用来执行实际的计算任务。常用spark-submit提交spark application 格式如下submit可选参数如下： standalone模式：资源调度是spark框架自己实现，节点分为master和worker节点如果是运行spark-shell等交互式的运行spark任务，那...
2018-12-03 23:36:43
467
原创 简单 解析spark RDD
弹性分布式数据集 RDD(只读，可分区) 这个数据集的部分或者全部可以缓存在内存中。所谓弹性，是指内存不够时可以与磁盘进行交换。RDD 作为数据结构，本质上是一个只读的分区记录集合。一个rdd可以包含多个分区，每个分区就是一个数据集片段。 宽依赖和窄依赖的区别：narrow dependecies 可以支持同一个cluster node 还是哪个以pipeline形式执行多条命...
2018-12-02 21:18:07
266
1
用最简单的方式删除excel某一行
2019-03-13
基于改进的logistics的人口预测模型 数学建模报告
2018-09-30
Hadoop实践报告 分布式系统设计报告
2018-09-30
蚁群算法在TSP问题上的应用与实现（代码+论文+相关截图）
2018-09-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人