qq_42444621的博客

原创 Python爬虫之——爬取全国省市对应信息

表链接https://pan.baidu.com/s/14ywiV2aOAJwJIpPJvJ0jbA源码：（粘贴可用）import reimport requestsdef getCity(num): province = '' city = '' url = 'http://www.maps7.com/china_province.php' ...

原创 Python爬虫之——爬去湖北所有网吧名和位置信息（附爬去数据表）

表链接 https://pan.baidu.com/s/1ZDmSqRoJTNyG8YvTRVnhpw源码import requestsimport re# 获取网吧信息def getWB(url,head,city_name):page = requests.get(url,head)html = page.textwb_name = re.findall('<li...

原创 启动spark，master正常启动，worker无法启动

查看worker节点上日志信息，如果报下述错误：Service 'sparkWorker' could not bind on a random free port. You may check whether configuring an appropriate binding address.解决的方法：在spark-env.sh中加入一条 SPARK_LOCAL_IP=12...

原创 启动kafka秒退

原因：（1）未启动zookeeper，kafka需要zookeeper进行协调，必须先启动zookeeper （2） kafka需要大量内存，磁盘内存不足，kafka无法启动，默认启动为1G解决：（1）free -h 查看内存使用率如果free不够1G，就需要更改kafka启动参数（2）进到kafka的bin目录下修改kafka-server-start.sh 文件...

原创 java - HBase configuration not found using key 'null'

背景：通过java编写将数据从kafka中输入到storm中处理后输出到hbase中错误：java - HBase configuration not found using key 'null'原因：没有将设置的hbase配置文件与创建的hbaseBolt进行关联...

原创 kafka（java客户端）消费者取不到消息，生产者消息也没发送成功

问题背景：在服务器上进行kafka的消费和订阅正常运行，通过客户端无法进行发布，订阅，或者消费消息不全解决：在客户端上将zookeeper所有节点的IP进行映射...

原创 NameNode is still loading. Redirecting to the Startup Progress page.

解决办法：(1)通过IP进行访问例如：123456：aa123456---------------------外网IPaa----------------------------本地映射通过 http://123456:50070进行访问                 (2)删除浏览器的历史记录原因：未解  ...

原创 Call exception, tries=14, retries=35, started=152917 ms ago, cancelled=false, msg=

问题：使用eclipse操作hbase数据库进行DDL操作，报出上述错误解决：在本机的C:\Windows\System32\drivers\etc目录下，将服务器的IP进行映射如果修改后不能保存，需要更改该文件的权限方法如下...

原创 hadoop集群子节点的所有进程都起来了，网页上显示子节点为0

查看子节点的/etc/hosts文件中的映射，一一核对，因为映射写错了，子节点无法和主节点之间进行通信进行映射时最好复制IP防止出错

原创 HBASE系统表meta表结构

原创 shutdown -a now 无法登陆服务器

重启服务器使用的命令是shutdown -r now 写错成shutdown -a now无法连接到服务器解决：登陆到服务器 点击重启

原创 Problem binding to 映射名/IP地址:60020 : Cannot assign requested address

日志内容解决：（1）本机在/etc/hosts里面的IP选用内网的IP                   即使用命令ifconfig生成的ip （2）  其他服务器在该服务器/etc/hosts的IP映射使用外网IP...

原创 Caused by: java.sql.SQLException: Access denied for user 'root'@'wjn1' (using password: YES)

问题：MySQL拒绝该用户访问解决：进入MySQL：grant all privileges on *.* to 'root'@'%' with grant option上述方法不行，可能是hive-site-xml文件损坏hive-site-xml下载https://pan.baidu.com/s/1Ut3z_gBQtQh_250zrJ-oUA 密码：x4fs踩到的坑...

原创 URLDecoder: Illegal hex characters in escape (%) pattern - negative value

1、前提：使用URLDecoder.decode(“字符串”“utf-8”)；进行解码出现上述问题2、原因：字符串的内容出现%后不是一个16进制的数（即从0——FF）3、解决方法：检查传入的字符看是否%后有不是16进制的数补充：（1）原码（2）16进制表...

原创 ==和equals如何区分

1、结论==比较的是reference            即两个对象引用的对象是否相同equals比较的是value            即两个对象的值是否相等2、注意如果自定义的类不重写equals方法，则调用的是Object类中的equals方法（相当于==）3、String类中equals（）解析...

原创 什么是java的自动拆装箱

    首先数据类型总共分为两大种，基本数据类型和引用数据类型，基本数据类型不是对象，所以若将数据类型作为对象处理，据需要将该数据包装成对象。   8种数据类型的包装类    byte---------Byte    short---------Short    int -----------Integer     char----------Character    float---------...

原创 eclipse运行run可以运行debug卡死

1、进入cmd，是否提示命令提示符已被系统管理员停用2、如果有这提示解决方法https://jingyan.baidu.com/article/2f9b480d6c4fcd41cb6cc2c7.html3、修改后，即可运行

原创 Application state is completed. FinalApplicationStatus=FAILED. Redirecting to job history server

解决：启动historyserver进程mr-jobhistory-daemon.sh start historyserver 

原创 hadoop集群namenode无法启动

1、查看/etc/hosts        该文件中的域名映射主节点必须为外网IP                获取外网IP                             输入ifconfig2、之前搭建后重新搭建需要删除3、如果上述修改还不行，可以查看日志文件很多人说查看日志文件，但对于我这个新手还是弄了半天，才搞明白，怎么查看（1）首先，日志文件存放的位置             ...

原创 小白之-----------shell脚本批量管理服务器

简单思路（1）创建一个文件file用于存放username，hostIp ,password（2）编写expect，用于登录服务器（3）编写一个shell脚本，在脚本中循环调用expect程序进行批量管理服务器一、用vim编辑器创建file二、编写expect程序$username@*就是登录成功后接收到的类似下图语句的正则表达式三、编写shell脚本，循环执行expect程序四、测试...

原创 linux中sed查询的替换命令

一、语法sed 's/old/new/'二、如何使用（1）首先将sed替换命令的格式写出sed 's///'理解------------------中间三个/，前后两个/是开始和结束的标志，中间/为新旧字符的分割线（2）添加逻辑                1、 old处添加要替换的部分（可以通过正则表达式，不过需要使用转义字符\  ）                 2、new处添加替换后的部...

原创 mysql事务详解

1、什么是事务用户访问数据库时，数据库会为用户开启一个进程，用户可以通过这个进程对数据库进行增、删、改、查的操作，这个进程就称为事务。2、事务的特性（1）原子性：   指事务是一个不可分割的工作单位，事务中的操作要么都发生，要么都不发生（例如：在一个事务中，对t1表添加一个数据，并对t2表删除一个数据，这两步操作要么都成功，要么都不成功，不会只运行一个，另一个失败）（2）一致性：指事务的操作使数据...

原创 数据库备份、还原，数据的导出、导入

数据库的备份、还原1、备份：在MySQL下进行mysqldump -h localhost -u root -p123456 wjn>/root/wjn.sql;root----------------用户名123456--------------密码wjn-----------------需要备份的数据库名/root/wjn.sql-------备份文件的位置2、还原：在MySQL下进行s...

原创 MySQL中的timestamp类型，time类型，date类型，datetime类型

1、time类型创建：create table t1 (t time);增加该类型字段：alter table t1 add t time;添加值：insert into t1 (t) values('2018-6-28');格式为：年-月-日2、date类型创建： create table d1 (d date);增加该类型字段：alter table d1 add d date;添加值：ins...

原创 解决MySQL中datetime类型的数据插入显示为0

datetime类型格式为    年-月-日 时:分:秒插入日期时必须将日期加上引号不然插入结果都为0

原创 MySQL创建自增字段，并设置初始值

创建自增字段create table table_name (id INT AUTO_INCREMENT PRIMARY KEY );更改初始值alter table table_name AUTO_INCREMENT=100

原创 The annotation @Test is disallowed for this location

错误意思为:@Test注解指向不准，即@Test不知道指向的哪个函数解决办法：    将@Test放在要进行测试的方法（即函数）外。

原创 Variable or condition declaration after cursor or handler declaration

使用MySQL创建游标错误代码更改后

转载 MySQL导入导出数据

导出数据：1.创建一个目录，如:/2018，修改目录属主为mysql:mysql2.select * from zty1.STUDENT INTO OUTFILE '/2018/1.txt' fields terminated by ',' lines terminated by '\n';导入数据load data local infile '/root/mysql.txt' into tabl...

原创 MySQL查询语句运行顺序，即表之间的连接查询

表table1内容： 表table2内容： 1，左外连接（右外同理）SELECT t2.id,t2.name,t1.id,t1.name,t1.salary FROM table2 t2 LEFT JOIN table1 t1 ON t2.id=t1.dept_id;语法：被连接的表名 别名 left join 连接的表名 别名 on 过滤条件2、内连接SELECT t2.id,t2.name,t...

原创 mysql 如何将一个结果嵌套成一个表

事务：指对数据库中的数据进行操作的过程事务的特性：        1、原子性：指事务是一个不可分割的单位，事务中进行的操作要么都发生，要么都不发生        2、一致性：事务操作数据库bixu...

原创 MYSQL更改事务隔离级别仍旧出现脏读

可能原因：没有更改表格的存储引擎    默认为MYISAM该引擎不支持外键，事务   方法：     将引擎更改为INNODB    ALTER TABLE 表名 ENGINE=INNODB;

原创 {{PWD}}<CPS>{{HADOOP_CONF_DIR}}<CPS>{{HADOOP_COMMON_HOME}}/share/hadoop/common/*<CPS>{{HADOOP_COMMON

集群跑mr依赖组合前两个正常运行，最后一个job总失败修改位置：1、字典表路径必须为文件路径（*/part-r-00000）；                2、前后路径保持一致（我的job2的路径为（midPath+"/sate"）,job3的写成（midPath+"sate"）,少了“/”）                                最好复制粘贴              ...

原创 : Call From ACER-PC/192.168.0.104 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectE

在mapred-site.xml配置文件中添加以下两个属性         &lt;property&gt; &lt;name&gt;mapreduce.jobhistory.address&lt;/name&gt; &lt;value&gt;主节点IP（或者映射后的名称）:10020&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &amp

原创 /bin/bash: line 0: fg: no job control简单解决办法

出现该错误是eclipse的版本过高办法：进入window---Preferences----java-----Compiler

原创 构造代码块，静态构造代码块，局部代码块，构造方法的区别

在java中，使用 {}括起来的代码称为代码块1、局部代码块      在方法中出现；限定变量生命周期，及早释放，提高内存利用率2、构造方法        在类中，用于初始化对象3、构造代码块 在类中方法外出现；多个构造方法中相同的代码存放到一起，每次调用构造都执行，并且在构造方法前执行4、静态代码块：就是静态构造代码块。        （1）静态构造代码块执行的次数与对象创建的次数无关，只执行一...

原创 HDFS架构原则分析

1、元数据与数据分离                在HDFS 中存放数据时，文件本身的属性是存放在NameNode节点上，而文件所持有的数据是存放在DataNode节点上，这样可以对大量的数据进行一个统一的管理2、master/salve架构（主从架构）                一个HDFS集群由一个NameNode节点和一定数目的DataNode节点组成3、移动计算比移动数据更划算   ...

原创 MapReduce三种分区方法

何时分区当map函数输出数据到循环内存缓冲区，数据达到循环内存缓冲区的阀值时，会将数据溢写到文件中，在写入文件之前会对数据进行分区分区分类及如何实现第一种：默认分区            系统自动调用HashPartitioner类进行分区，原码如下：该类通过继承Partitioner类实现分区，将key的哈希值与integer的最大值做&amp;运算，并%1来设置分区第二种：自定义分区第三种：全...

原创 byte,short,int,long的最大最小值范围

数据类型占用字节范围byte1字节    -2^（8-1）~2^（8-1）-1short    2字节-2^（16-1）~2^（）     -2^（16-1）~2^（16-1）-1   

原创 expect脚本连接远程终端思路

1，创建vim文本编辑器；vim text.expect2，编辑脚本内容        （1）#！/usr/bin/expect               #约定标记，告诉系统该脚本使用的解析器        （2）set timeout 5                        #设置超时时间，单位为秒，默认为10s        （3）set username [ lindex $a...