- 博客(53)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 MySQL批量修改数据库中字符集
当在使用数据库的时候发生报错：简单看其实就是这个course字段不符合插入数据的字符集。回来一看果然数据库中使用的字符集是那就改呗这一看不知道，看了吓一跳，整个数据库50多个表都是用的默认的这个字符集。想做个伸手党，找了一个博文简单浏览明白了怎么改数据库中的表的默认字符集，发现没作用。
2023-07-06 09:20:35
605
原创 SQL Server开启CDC的完整操作过程
鉴于老旧数据的结构和项目都在sqlserver上存储，且迁移成本巨大，当下要为sqlserver的存储过程减负。要将一部分流式的动态数据实现实时查询并存储数仓。那在现有的数据环境下， 将sqlserver的数据通过flink 接管实现数据输出和仓库存储。
2023-02-28 12:49:54
2190
原创 用Python获取视频中所有静帧图片
代码基本逻辑没什么难点，不过在提取图片之后做前后两帧画面对比的时候，需要查验相似度，相似度结果出来之后，需要设定一个阈值，在多大范围内的相似度差异视为视频画面没有变化。拿到一批视频 ，视频内容是一些 课程的讲解，画面中都是一些ppt的页面，在视频中将ppt的画面都提取出来，并保存。这里没有用到目标识别，没有区分重复的画面内容，甚至阈值可能不是很灵敏，会有很多相同画面，后续阅览者可以自行调试。读取视频，逐帧解析视频画面 ，对比前后两帧视频画面是否有区别，如果有区别则将图片保存，没区别则进行下一帧。
2023-02-13 12:17:11
241
转载 【spark工具库】spark sql读写es操作
本文主要介绍spark sql读写es、structured streaming写入es以及一些参数的配置文章转自：https://www.cnblogs.com/upupfeng/p/12205657.htmlES官方提供了对spark的支持，可以直接通过spark读写es，具体可以参考ES Spark Support文档(文末有地址)。以下是pom依赖，具体版本可以根据自己的es和spark版本进行选择：<dependency> <groupId>org.
2021-03-19 16:22:37
2143
原创 【用Java写mapreduce】报错：org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0
算是开篇吧，既然要写就要写全套的这里解决一个异常报错处理报错的内容如下：Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V at org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirecto
2020-09-27 09:24:38
341
原创 【从零开始写MapReduce】四处是坑
本地安装jdk1.8下载地址 https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html本地下载安装idea编辑器你配置本地maven更改为阿里源写入配置pomreimport下载对应版本的hadoop.dll下载地址如果不添加就会报错还有一个地址更全一些Exception in thread "main" java.lang.NullPointerException at java.lang.
2020-09-26 14:13:43
341
原创 numpy.reshape的使用说明
技术想要了解更多，还是得看源码。参数解释numpy.reshape(a, newshape, order=‘C’) [source]以下为源码source的内容源码中已经解释了很多通俗易懂的例子，只不过阅读起来有点费劲（英文）。后面我会给出相应的中文理解说明参数列表a需要处理的数组数据，当使用numpy.reshap()的这种方式时，需要传入这个参数，当直接使用ndarray.reshap()时，无需传入这个参数。newshap与其说是新的形状，不如说是新的矩阵维度信息格式。可
2020-09-12 01:01:25
651
原创 python使用http请求POST提交上传二进制Binary文件
最近瞎玩，构建了一个项目，后来因为数据提交要通过程序来将历史数据迁移一下，因为历史数据使用的内容和新接口内容相同，但是结构完全不同了。苦于无法实现这样高大上的操作（其实就是懒，找找资料还是可以的）ps：这里接口提交的是一个图片文件，提交的方式是以图片二进制文件流的形式提交的。后来发现了这篇文章，以下内容为正文，各位看官各自分辨，吸取干货。Python Http POST Binary File最近接触到了上传图片的API，所以就学习如何使用Python上传图片等二进制文件。Python自带的ur
2020-07-22 00:13:42
13958
6
原创 【视频爬虫】简单代码实现守望先锋CG动画爬虫
游戏，无所欲也动画，亦我所欲也不得不说，守望先锋真的是一款很好的游戏，暴雪公司也是很好的CG公司。最近迷恋上了守望先锋的画面效果，浏览官网的时候发现了很多官方公开的很不错的CG作品。想保存下来作为一些剪辑素材。简单查一下竟然好几十个，这一个一个点，得到什么时候。那么，一个小爬虫就诞生了import osimport requestsfrom fake_useragent import UserAgentfrom lxml import etreeua = UserAgent()
2020-06-09 15:51:17
465
转载 配置本地使用阿里的maven镜像
简介Maven 公共仓库提供了对 maven central、jcenter、google、spring 等常用的 Maven 仓库的镜像功能。用户可以通过页面浏览仓库内容、检索和下载制品。在构建时使用 Maven 个公共仓库地址下载制品速度更快，更稳定。配置方法Maven 配置打开 Maven 的配置文件(windows机器一般在maven安装目录的conf/settings.xml)，...
2020-02-28 00:16:54
200
原创 CDH集群中添加组件Hbase
我们这里使用的是5.8.5版本1选择添加服务2点选Hbase，下一步3设置角色分配4点击继续，启动就可以了5提示我们，需要重启服务
2019-11-25 09:59:44
1105
原创 cloudera-manager5.8.5图形页面安装操作
以下内容都为使用admin用户第一次登录所示内容1234这里如果没有添加过主机的情况下，可以通过左边的新主机进行添加，一样的56开始互相分配、解压、激活，这块需要的时间久一点，视网络情况吧。我的是千兆网，2分钟左右。7非要查我一下子！查完了要我升级内核版本，哎，净扯淡这个位置还有另外的两个警告一个是让我去修改vm的swappiness,对于这个文件的解释，...
2019-11-25 09:06:00
212
原创 记一篇windows本机使用IDEA打包Flink--【社会主义好】
首先，上来什么也不说，先感谢这位大佬的杰出贡献。提点了小弟。刚刚接触Flink，磕磕绊绊的写了一些Flink的代码，本想着打包到服务器上跑一下。结果给我报错[ERROR] Failed to execute goal org.apache.maven.plugins:maven-checkstyle-plugin:2.17:check (validate) on project dsssan...
2019-11-21 11:51:27
1344
原创 kafka 消费者异常：Error reading field 'brokers': Error reading array of size 65535,
kafka 消费者异常：Error reading field 'brokers': Error reading array of size 65535,这个问题都是客户端版本高于服务端版本…目前没出现其他引发的情况。检查mvn中配置的kafka版本信息，对应的服务上的版本信息，如有出入进行版本降级如果使用的spring boot配置的kafka则可参照一下对应的版本mvnk...
2019-11-08 18:32:35
1566
转载 【图片爬虫】40行代码用Python爬取"王者农药"，"英雄脸萌"英雄皮肤
写在前面：写这篇博客的原因，看到一个3万到30万的it程序猿的博客就是这里，发现文中有些内容挺有意思，但是代码整体上并不整洁，新手入门可能还欠些内容（其实就是想玩一下）直接贴代码王者农药import requestsfrom fake_useragent import UserAgentua = UserAgent()url = 'http://pvp.qq.com/web2016...
2019-06-10 17:06:06
980
原创 树莓派入手排坑指南
总结收集了一入手树莓派中的安装上出现问题的解决方法和方案，仅供参考npm方向树莓派入手排坑——解决npm一直停在"checking installable status"的问题树莓派入手排坑——解决npm一直停在"node ./download-chromedriver.js"的问题...
2019-06-08 00:51:27
649
转载 树莓派入手排坑——解决npm一直停在"node ./download-chromedriver.js"的问题
运行状态，一直卡在这个状态不动> [email protected] install /home/pi/MagicMirror/node_modules/electron-chromedriver> node ./download-chromedriver.js解决方法npm install chromedriver --chromedriver_cdnu...
2019-06-08 00:48:15
8217
2
转载 树莓派入手排坑——解决npm一直停在"checking installable status"的问题
npm install卡在checking installable status在使用NPM过程中经常会用到npm install命令，发现有时候会卡在checking installable status不动，在网上搜寻了各种解决方法之后在这里做一个记录。原因修改过仓库源（淘宝源之类的）远程仓库连接旧的npm缓存与项目冲突解决方案清理npm历史缓存sudo npm cache...
2019-06-08 00:32:07
7581
2
原创 树莓派魔镜——树莓派无显示器安装系统并连接vnc
系统安装下载镜像下载工具购买sd卡，4G刚够用，按点东西就满了，建议8G，速度越快越好，启动和性能上有很大差异镜像写入SD卡重点来了！5.1 写完镜像的sd卡就剩下一个boot目录，很小40多M吧，在这里面创建文件wpa_supplicant.conf内容如下(当然这步如果没有WiFi环境，可以不做，但是添加文件后就可以连接WiFi了)ctrl_interfac...
2019-06-06 14:59:05
2776
5
原创 树莓派魔镜——MagicMirror使用（一）：开启MagicMirror
启动命令npm install && npm start其实魔镜的内容就是一个网页，只不过将网页全屏显示了如果我们开启开发者模式，使用如下命令npm start dev关闭魔镜没有关闭的shell命令，这是目前探索的魔镜工具中，最尴尬的，但是可以使用快捷键关闭alt + q或者按alt 调出菜单，点击`file`,点击关闭...
2019-06-06 10:27:29
10026
原创 Phoenix常用函数列举及说明
这里写自定义目录标题函数来源于：https://blog.csdn.net/lihui6636/article/details/40835645AVG ( numericTerm ) 计算括号内的平均值COUNT (Term)COUNT (DISTINCT Term)MAX ( term )MIN ( term )SUM ( numericTerm )PERCENTI...
2019-04-21 12:17:06
5710
转载 dataframe操作集锦（提取前几行，合并，入库等）
spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。首先加载数据集，然后在提取数据集的前几行过程中，才找到limit的函数。而合并就用到union函数，重新入库，就是registerTemple注册成表，再进行写入到HIVE中。不得不赞叹dataframe的强大...
2019-03-15 10:27:35
18261
原创 【图片爬虫】60行代码带你看婚纱摄影——金夫人
#!/usr/bin/env python# -*- coding: utf-8 -*-from urllib import requestimport refrom fake_useragent import UserAgenturl = 'http://www.bjjfr.com/kezhao/'listpage = 6imgDIR = r'./kepian//'ypimgD...
2019-03-04 17:25:37
428
原创 从无到有的搭建pyspark环境（windows10）
导航下载安装所需文件安装java环境安装python环境安装hadoop1. 首先是[下载hadoop2.6.0安装包](http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz)，这里点击就可以下载。2. 下载之后进行解压到一个目录中3. 推荐目录的地址中也没有空格。4. 然后要[下载binaries]...
2018-12-21 10:45:38
574
原创 广志大兄弟发放支付宝红包了
别人已经过月入过十万了，我怎么还在看着？？--------------此处省略一个黑人一脸问号的部分------------好了放上正题，别人家都已经躺着领红包了，你怎么还在看着？？？拿出手机打开支付宝，扫描下方二维码，领取红包你没有看错，是你领红包，不是广志大兄弟在要赞赏当然你领的红包我也会得到一丢丢的收入每天都有效，每天都能过来领一次走过路过不要错过拿出手机...
2018-09-29 10:46:56
286
原创 error: Microsoft Visual C++ 14.0 is required解决方案
安装python库的时候容易出现的错误，尤其是安装scrapy的时候，需要build一些组件库。报错如下：由于电脑的Visual C++ 版本过低，导致编译失败，解决办法有两个。error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://lan...
2018-09-12 11:51:04
1296
原创 使用pymysql报错err.ProgrammingError: execute() first
Exception in thread Thread-7261:Traceback (most recent call last): File "C:\Users\UCS-TREMBLE\AppData\Local\Programs\Python\Python36-32\lib\threading.py", line 916, in _bootstrap_inner self.ru...
2018-09-04 13:03:26
26873
4
原创 猫眼爬虫-验证码解决问题
最近猫眼可能发现了我这篇博客，把验证码关闭了，皆大欢喜。而且爬虫开始肆无忌惮起来，有的时候都503 了 ------------------------------------------------------ 众多帖子中，都拿猫眼来做爬虫，爬虫内容都大同小异的，这个说猫眼的数字编码有门道，那个说猫眼TOP100数据随便拿。或者就是猫眼专业版的信息怎么获取，但是真正的猫眼网站...
2018-07-11 14:17:25
5267
7
原创 【Hive WARN】Column order_discount had to be cast to a less precise type in Hive
最近无聊，随表拷了一个业务数据库中的订单明细表，自己查看了一下导表的日志，发现一直在报一个异常，而且还不少。具体日志如下：18/06/19 13:41:56 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `order_info` AS t LIMIT 118/06/19 13:41:56 WARN hive.T...
2018-06-19 13:56:47
2731
1
原创 cloudera manager安装CDH版本的spark 无法连接解决办法
前提：在很久很久以前，搭了一套cloudera manger 的集群，全组件安装上之后，一直没有使用spark ，安装时出现了很多问题，这个权限不足，那个权限不足的，到最后只将用的那几个组件给调试好了，其他的一直都没管。最近使用了spark 发现7077无法连接。 这个都无法连接，你让我在这上面怎么跑我风骚帅气的代码，找找原因吧。毕竟是cloudera manger安装的，而且安装过程中还出现了一...
2018-05-28 20:38:40
5471
3
原创 cloudera manager 忘记admin 密码怎么办？
人生百态，世事无常。突然有一天你玩cloudera manager心血来潮的时候，给自己改个密码吧，第二天回来清理了电脑的缓存，再次登录贵公司的cm的时候，发现，哎呦，密码是啥来着？cloudera manager 忘记登录密码修改密码第一步链接数据库后修改数据库内容注意cloudera manager 忘记登录密码前言内容纯属扯淡，记住，你的能力决定你的权限，既然没有那个脑袋能记住复杂的密
2018-04-23 14:09:05
4434
原创 Hexo博客首页自动添加Read More标记-不在首页显示全部文章全部内容
原文来自背景解决过程原文代码处理方法注意背景hexo 在写作的时候，如果在文中添加(解决过程在 hexo 的 github 上看到有人说是跟主题有关，费死八难找到了代码的关键部分： 文件/themes/[主题名]/layout/_partial/article.ejs其中有一段为：原文代码无论是哪个主题，都有这个文件，请寻找以<div class="article-entry" ……
2018-03-10 17:37:12
6970
原创 使用github创建个人博客出错
自己创建了github的个人网页，想修改一下自己的username，改变github访问的链接。修改方法如下，进入github，点击settings注意这里的name并不是username选择account，点击change username系统提示你是否真的要修改，会有那些危害。点击按钮表示我知道以上这些内容了此时，开始修改这些内容了。修改之后，再次去创建修改后的用户名.github.io的云端...
2018-03-08 09:07:54
1141
2
转载 oracle中 connect by prior 递归算法 -- 理解
oracle中 connect by prior 递归算法Oracle中start with…connect by prior子句用法 connect by 是结构化查询中用到的，其基本语法是：
2017-11-30 16:37:20
299
原创 linux系统安装VNC服务端
安装1 - 安装tigervnc-server yum -y install tigervnc-server2 - 启动并设置链接密码 vncserver3 - 页面提醒并设置链接密码password verify4 - 注意页面生成的内容链接地址为 主机名or IP地址:1
2017-11-30 16:35:28
483
原创 关于加班与面试
面试中关于加班的问题，于面试官是一种试探，看你的压力承受能力、你的工作意愿；于你而言是一种态度选择。对于长期加班，相信绝大多数人都会反对，对此深恶痛绝，我们不能牺牲健康而生活，这家公司文化和管理可能也有问题。对于偶尔的加班，觉得可以理解，紧急情况需要处理，或因为新人效率不高导致的加班，合情合理，所以，大可不必苦大仇深、掀桌而起，面试时淡定地表露意愿即可。当然，如果确实因身体原因或者家庭情况等无法加班
2017-11-01 17:32:44
638
原创 入职如何谈薪资
1、确认期望薪资薪资问题如何回答，首先得确认自己的底牌；你的期望薪资是多少？职业的价值通常与工作经验，专业能力，所在城市，行业情况，学历背景等因素有关系，简单来说：随行就市。 1. 评估自身与应聘职位的匹配度； 2. 了解业内行情（招聘求职网站或者百度检索信息、职业QQ群里询问在职的老鸟等，方法总比问题多），然后判断自己在应聘职位上能贡献的额外价值以及获得的成长机会，确认自己的期望薪资。无所准备
2017-11-01 17:32:08
14554
原创 如何回答：你有什么样的职业规划
这个面试题顶有意思，说得专业一点是“你有什么样的职业规划”；说得通俗一点是“你未来三到五年有什么目标”；再说得的粗暴一点，“你在公司能干得多久”其实，都是一件事，职业规划。很多求职者对这个问题非常头疼，不知道如何回答，有的不理解问题的含义，答非所问； 有的对职业规划没概念，不知道说什么；有的心里点小想法，但不好意思说出来。“我就是为了积累经验，方便以后桃槽”，这事情你没有必要直接告诉面试官；“我计划
2017-11-01 17:31:02
14732
2
空空如也
flink CDC启动报错
2023-09-01
cloudera安装中host monitor和service monitor都无法启动
2018-03-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人