- 博客(37)
- 收藏
- 关注
RSS订阅原创 ftp在window和Linux之间传文件UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0x8a in position : invalid
读文件时报错UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8a in position 2428: invalid start byte
2022-08-15 18:06:14
855
原创 离线安装Levenshtein cannot import name ‘_levenshtein‘
安装python编辑距离依赖Levenshtein 报错cannot import name '_levenshtein'和 No module named 'rapidfuzz'
2022-08-01 18:20:38
1447
原创 Bert分类将检查点ckpt模型转成saved model的pb模型
使用官方提供的Bert中文模型做分类之后，由于某些方面的需求，需要将训练的checkpoints模型转换成pb模型，但是由于对Bert模型不是很了解，一些方法没法使用，最后找到一些工具，成功转换。这里记录一下。如果有和我情况完全一致的人，可以使用和我一样的方法来转换。下面记录下我的出错流水账。我的情况：1.使用的是Bert模型的分类模型（见2.2第一个参考博文，里面说别的模型可能会出错）2.没有仔细看代码，不清楚Bert模型的输入输出变量都是什么（知道的就能用2.1的通用方法了）。这里顺便记
2021-06-22 11:16:09
1301
3
原创 安装torchversion报错ERROR: Could not find a version that satisfies the requirement torch==1.4.0 (from ve
先去官网看了对应的版本，发现好像现在还没有1.7.0对应的torchversion。可以安装torch1.6.0 对应的torchversion版本是0.7.0参考这个帖子下载对应版本安装https://www.jianshu.com/p/f54a01419330?utm_campaign=haruki安装在虚拟环境的话，别忘记在下载的位置打开命令行之后还要进虚拟环境再安装。这里安装的是win上的cpu版本，只考虑python版本也一致就没啥问题了。如果是安装的gpu版本应该还要考虑cuda。.
2021-02-19 11:31:41
743
原创 python docx转换成txt文本
使用python将docx文件转换为txt文件，网上找了几个跑了下都报错。终于找到了一个能用的，这里记录一下，免得以后又要用的时候又找不到。参照：https://blog.csdn.net/wenzhunpu/article/details/49966139在python3，win10系统下亲测可用。中间的核心代码就是这部分，这里是将一个文件input.docx转换为output.txt：# -*- coding:utf-8 -*-from win32com import client
2021-01-14 17:28:01
4631
2
原创 python3代码和打开的文件中有中文，因为编码问题导致在python2中程序运行出错
python2 3 open file的方式，编码方式哪种方式是兼容的
2021-01-05 10:10:05
830
原创 SyntaxError: Non-ASCII character ‘\xe5‘ in file ../utils/load_data.py on line 11, but no encoding de
在python3的机器上跑的代码转到python2上执行的时候出现了这个错误SyntaxError: Non-ASCII character '\xe5' in file ../utils/load_data.py on line 11, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details出错的原因是编码的方式，Python2中默认使用ascii，Python3中默认使用utf-8，如果
2021-01-04 10:18:40
638
原创 tf.train.latest_checkpoint()报错，路径错误
最近使用这个tf.train.latest_checkpoint()的时候出现了问题。这里记一下。这部分的代码如下，主要就是用了tf.train.latest_checkpoint()来寻找最新训练出的模型文件。sess=tf.Session(config=config)model=LSTMDSSM(...)If os.path.exists(train_dir+"checkpoint"): model.saver.restore(sess,tf.train.latest_checkpoi
2020-12-29 16:09:26
1784
3
原创 TensorRT运行TensorFlow和Python的TensorRT“ Hello World” 踩坑记录
安装tensorRT之后，官网有很多小的sample，也就是使用的案例，可以按照教程运行一下这些案例来入门如何使用tensorRT。我再使用其自带的sample时，发现也有一些小问题，这里记录一下运行的过程和遇到的一些问题以及解决方法。环境：docker中的Ubuntu18.04（虽然是容器，但是这里使用的操作和普通机器也没有区别，使用普通机器的也可以参考）conda 10.0.130.tensorRT6.0.15-cuda10.0tensorflow-gpu 1.141.首先是sampl
2020-12-13 23:49:15
1257
4
原创 deb安装tensorRT踩坑以及安装方法
尝试安装tensorRT，中间遇到一些问题，这里记录一下。1.安装之前需要先调查一下自己电脑的基本状况。1.1先看一下电脑的系统。我的电脑是Ubuntu18.04.这里是一个docker容器，不过安装过程并没有遇到和一般机器不一样的地方。cat /etc/issueUbuntu 18.04.3 LTS \n \l1.2查看电脑的cuda版本。可以看到我的cuda版本是10.0.130.cat /usr/local/cuda/version.txtCUDA Version
2020-12-04 15:56:43
7822
4
原创 hadoop学习之hadoop完全分布式集群安装
要自己搭一个完全分布式的Hadoop，之前只做过伪分布式的，还是有很大差别的，就又看了一些资料，发现一篇很好的博客，我就粘贴过来，按照这个做，顺便记录一下各个参数，免得用的时候忘了部分参数，导致用不了。这篇转载的文章是http://blog.csdn.net/ab198604/article/details/8250461作者：ab198604要想深入的学习hadoop数据分析技术，首...
2020-12-04 15:07:22
621
原创 Linux虚拟环境离线安装python包pandas
在conda的python27虚拟环境里缺少包pandas，pip安装失败，换源之后还是失败。决定离线安装。参考https://blog.csdn.net/michael2008bj/article/details/50899676大致步骤如下：指令进入conda创建的虚拟环境py27。source activate py27在https://pypi.python.org/pypi上找到需要的包，上传到机器后（这里放到自己定的一个位置即可，不必放到虚拟环境放package的位置），然
2020-12-03 09:40:01
5156
7
原创 Python虚拟环境virtualenv的安装过程记录
在新电脑上把Python各种使用环境之类的东西都装一装，这里把过程和问题记录一下，避免以后又要用的时候已经忘记怎么做 了。找帖子安装的时候发现了这个帖子：Python为什么要使用虚拟环境-Python虚拟环境的安装和配置-virtualenv讲的非常好，如果完全按照这个大佬博主的顺序安装的话是不会出问题的，不过我开始的时候跳着做，导致出了很多问题，这里把出现的问题都记录一下。首先按照这个大佬博主三 虚拟环境的安装和使用 部分，先安装虚拟环境virtualenv，激活环境后再退出。这里我出现问
2020-07-21 18:02:42
259
原创 使用adobe reader XI写论文信息备案表遇到的问题
学校让用使用adobe reader XI写论文信息备案表。开始尝试用其他软件替代。WPS没法改上面的二维码信息。福昕PDF编辑器如果要无水印保存文件需要会员，最低要买一年198。最后还是用学校规定的adobe reader XI写。期间用到问题两个，一个是软件打开10多秒就闪退。另一个是里面的中文字体时而宋体，时而黑体的问题。最后使用下面帖子里的方法一解决。adobe reader XI打开大约十几秒就闪退问题解决方法大全 ：https://www.fengjunzi.com/blog-5
2020-07-03 18:45:55
373
原创 Python装包报错 pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host='f
网络问题导致的，等会儿再试一次、把wifi换成流量，把ssr关掉之类的。变动一下让网络状况改变，可能就好了。什么都不改过，会再试一次，网络状况好点也可能自动就好了。也可以试下面的方法，在别的帖子看的，也不错。pip --default-timeout=100 install 库名称 -i http://pypi.douban.com/simple/ --trusted-host pypi.do...
2020-03-31 00:13:35
1946
原创 grafana里通过写html前端代码来实现自定义的按钮等，grafana未提供的功能的解决方案
最终的解决方案：使用textpanel来写html脚本。mode需要改成html。同时修改一个配置文件 etc/grafana 里的grafana.ini文件里 panels disable_sanitize_html改成true。------------------------------使用资料：Text框没法显示html脚本需要设置https://github....
2020-02-19 13:56:35
7465
6
原创 尝试使用TensorFlowjs
今天尝试使用TensorFlowjs，因为对js了解不够之类的原因，一直没有成功使用。搞了好几个小时，终于能跑起来。总结的时候发现其实超级简单，自己之前乱跳坑才总是失败。这里记录一下成功步骤。昨天发现了TensorFlowjs这个可以在浏览器跑TensorFlow搞人工智能的好东西。于是准备尝试一下。按照官网教程开始使用https://tensorflow.google.cn/js/tut...
2020-01-10 09:49:01
507
原创 win10安装使用yarn代替npm
原先一直使用npm管理js的包，但是npm安装起来实在是太慢了，而且还时不时会完全卡主。曾经安装过smart npm cnpm 还换源成淘宝的源过，但是都效果不佳，因为公司网的原因，在用淘宝源的同时再用自己手机热点才能把包装上。速度依旧很慢。然后本地包和全局包也因为不熟悉操作的原因搞的乱七八糟。今天下载TensorFlowjs的时候又出现了总是安装失败的问题。就又尝试了一下换源等操作...
2020-01-09 11:18:53
1366
原创 树莓派debian安装阿里云物联网平台要求的Apache Qpid Proton
设备：树莓派3B ：系统：debian阿里云物联网之前可以客户端HTTP2上传消息到物联网平台，现在HTTP2改成AMQP了，不过旧的HTTP2暂时也可以用。之前的实验使用Java编写模拟信息传到阿里云物联网平台，现在用树莓派连接真实传感器收集信息，来传输到物联网平台，因为树莓派的Python可以通过PRI.GPIO命令控制GPIO，资料也很丰富，打算用Python来传输信息，然后发...
2019-12-03 11:21:01
477
原创 Grafana的Worldmap插件地图不显示
这两天用Grafana的Worldmap插件，填写是照着这个帖子做的https://blog.csdn.net/py_wang/article/details/79186634。帖子里用的不是经纬度而是geohash的格式。然后用influxdb传入数据之后，只显示点，地图一直不显示出来。后来发现是网络的问题，地图的URL是外面的，国内看不到。这里我曾经想过，grafana也提供云服务，直接用...
2019-11-22 17:24:20
3603
1
原创 xmind zen 同步问题解决 坚果云
最近在用xmindzen 真的非常的好用。界面好看，操作方便，一个文件里可以放很多个画布，所以做很多个思维导图也不占地方，用来记知识点，整理思路都很好。但是有几个设备的话，同步就很成问题了，官方给的方法是用苹果的云来同步，但是电脑不是苹果的就很麻烦。我之前曾经尝试用百度云来同步，每次要上传文件，还要删除旧文件，又总是忘记上传，就非常麻烦。看到一个帖子说用坚果云来同步，下载使用了一下，真...
2019-11-21 13:48:17
2128
原创 Win10安装.NET Framework 3.5
安装坚果云的时候，一直提示要安装.NET Framework 3.5，然后安装总是失败。然后就去网上查怎么安装.NET Framework 3.5。网上提供了很多种方法，也有很多安装包，然后又开始花式失败。网上也有说开启win10update服务手动为自动开启就可以在线下载的，我尝试之后还是不行。最后尝试了用win10的iOS安装包才成功。发现这种方法是最快的，除去下载iOS文件的时间比...
2019-11-21 10:36:43
1382
原创 grafana连接influxdb Network Error: Bad Gateway(502)
尝试把物联网数据写入influxdb，然后用grafana连接来显示。结果连接数据源的时候一直显示Network Error: Bad Gateway(502)。这里记录一下，免得以后再碰到。使用的是windows本地的influxdb，下载了比较新的版本，1.7左右。稍微修改了一下配置文件，但是一般改配置文件都是为了打开web管理窗口的，而1.2版本之后没有8083端口的web管理页面了...
2019-11-14 09:35:31
9554
5
原创 禁用Chrome的“请停用以开发者模式运行的扩展程序”提示
新电脑打开谷歌浏览器总是蹦出来这个提示，非常烦。又没办法关掉。找到了解决办法，这里记录一下。2019年10月的时候还可以用。浏览器版本是 版本 77.0.3865.90（正式版本） （64 位）。本来找到网上一个帖子，讲的很详细。彻底禁用Chrome的“请停用以开发者模式运行的扩展程序”提示https://www.cnblogs.com/liuxianan/p/disable-...
2019-10-09 12:16:17
122
原创 Windows和ubuntu互传文件
用winSCP的很多，虚拟机的ubuntu和主机连也可以用这个，试了一下确实可以，这个教程可以用：https://blog.csdn.net/haojiahuo50401/article/details/6280681这里下载的winscphttp://www.onlinedown.net/soft/20088.htm...
2019-04-23 20:09:04
2537
原创 主机eclipse连接虚拟机hadoop管理HDFS 边做边记
背景：已经在虚拟机上安装了三个Hadoop节点，Ubuntu16.04，Hadoop2.6.4。也配置好了Hbase1.2.11，使用自带的zookeeper。现在任务是在Windows环境下来操控Hbase数据，把数据进行上传，读取等操作。https://www.cnblogs.com/yjmyzz/p/how-to-remote-debug-hadoop-with-eclipse-an...
2019-03-19 20:30:00
794
原创 安装分布式Hbase 边做边记
要虚拟机安装分布式的Hbase，之前只装过伪分布式的，这次跟着帖子安装，遇到问题有记录查看起来也比较方便。之前写的博客给了参考的帖子，这次又找了一些，挑一个详细的跟着做吧。先是下载Hbase，要Hadoop安装对应版本的Hbase，https://blog.csdn.net/sunny05296/article/details/54089194我的Hadoop是2.7.6，1.2版本以...
2019-03-17 17:14:09
162
原创 hadoop完全分布式集群虚拟机网络设置
前面准备跟着一个帖子把Hadoop设置好，结果网络一直弄不好，这里专门记录一下网络怎么搞，希望这次能成功，已经浪费一上午了。背景是拷了别人的虚拟机，Hadoop已经安装好了，就是网络问题了，这个其实别人也已经设置好了，但是我的IP和人家不一样，就又无法联网了。之前看帖子已经知道，编辑那里的网络配置是专门改三种方式的设置的，选择使用哪个方式是在开机之前设置，编辑那里是改不了的。VMWar...
2019-03-15 16:44:06
853
原创 跨平台键鼠共享synergy和常见问题
手上一个win7笔记本，一个Ubuntu系统，每次打字都超级麻烦，两个鼠标，两个键盘。想找个办法可以键鼠共享，然后发现用软件就可以了。好像用Mac和win的还有win的有别的好软件可以用，但是Ubuntu就一个软件可以用的。最后找到了synergy。早期好像不收费，现在收费了。网上好多破解版，用了一个1.7的，但是失败了，卸载了之后又找到了一个好用的帖子https://www.52poji...
2019-01-15 10:13:37
1555
原创 关于pycharm进去后indexing不停，不能run的问题
只找到折中方法，彻底解决估计只能换固态硬盘了。电脑是win7，pycharm community2018.1.4*64 Python原先是anaconda5.1 后来换成4.1.1我的pycharm一直开启很慢，因为开始的时候会loading project，但是打开之后就正常运行了。某一天开始，突然进pycharm之后就没有办法run，run和debug都是灰色，后来发现下面显示in...
2018-08-25 15:20:38
38025
7
原创 MapReduce安装作业
MapReduce基本操作及应用开发l MapReduce简介1 MapReduce编程模型MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是”任务的分解与结果的汇总”。在Hadoop中，用于执行MapReduce任务的机器角色有两个：1.JobTracker用...
2018-06-04 19:09:36
1996
原创 hadoop安装作业
Hadoop安装与配置安装环境：Ubuntu 16.04 64位hadoop 2.4.1实验在win7、Ubuntu双系统环境下进行，伪分布式安装。 实验准备：先安装Ubuntu双系统，常见方法有硬盘安装和U盘安装。我开始使用的是硬盘安装，安装之后进入界面没有任何图标，找了很多帖子也没有解决，后来使用了U盘安装。使用软通牒制作安装盘进行安装，我参照网上帖子安装的，这里不再赘述。参考书：《hadoo...
2018-06-02 15:26:48
211
原创 Hive安装配置
参考贴：https://blog.csdn.net/just4you/article/details/79981202http://dblab.xmu.edu.cn/blog/hive-in-practice/#more-509https://www.cnblogs.com/K-artorias/p/7141479.html 参考书：Hadoop大数据处理技术基础与实践 p196-217 本次实验...
2018-05-25 16:19:29
191
原创 zookeeper安装配置
参考贴：https://www.cnblogs.com/lsdb/p/7297731.htmlhttps://blog.csdn.net/shatelang/article/details/7596007安装步骤:1.下载zookeeper 书P185 3.4.6(hadoop2.4.1 openjdk version "1.8.0_151")2.解压到 /usr/local 重命名为zook...
2018-05-20 13:37:18
106
原创 hbase安装与配置
参考书P163-178参考网站：https://blog.csdn.net/xqshi/article/details/53022623 https://blog.csdn.net/wuruiaoxue/article/details/533406181.下载：官网下载，在过去版本中，选择与hadoop配适的版本https://blog.csdn.net/su...
2018-05-20 13:35:04
135
原创 win7系统安装Anaconda3后jupyter notebook不知道密码问题
使用win7系统，之前安装了最新Anaconda3（Python3.6.4），一路傻瓜安装。可能是因为点选了所有用户，而不是只有我，的选项（也可能是其他原因）。打不卡jupyter notebook。 查了很多文章，发现可以直接输网址打开，然后进入网页之后，发现又需要密码才能进入。我根本没有设置密码。试了试各种方法也不行。有几个文章可以实施，但有的地方又和我的情况不符。这里总结下自己的情...
2018-04-11 16:43:28
3974
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人