- 博客(123)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 360导致某些页面变为淡绿色
之前使用360安全管家，不知何时，它又偷偷篡改了我的系统设置 —— 把很多页面（浏览器、搜索框、显示内容背景）变为淡绿色很受不了。。。马上卸载360，发现没有卵用，寻找解决方法，很久之后，终于找到可以解决问题的方法了。修改回来的方法如下：1、按键 Win + R ,输入regedit 打开注册表2、在 HKEY_CURRENT_USER —— Control Panel —— Colors，右侧找到window右键修改，输入值255，确定 3、重启...
2021-04-15 01:05:39
1050
原创 你的Windows 版本即将终止服务。请单击以下下载更新版本的Windows10以继续获得支持
今天打开电脑后发现Windows update提示：你的Windows 版本即将终止服务。请单击以下下载更新版本的Windows10以继续获得支持。如图：这是由于本机安装的Windows 10 版本将要终止服务，只需将安装的版本进行升级即可。1.查看本机 Windows10 系统版本，在任务栏搜索 winver，打开 winver 即可查看当前系统版本。2.官网查看Windows 10 版本信息，当前最新版本为20H23.我们更新只需前往微软官网的...
2021-03-16 17:57:57
18241
原创 虚拟机安装OEM版系统，解决错误： Please check with yourcomputer manufacturer to resolve any issues ...
1. 场景描述安装虚拟机操作系统如果使用的是物理服务器OEM操作系统介质，那么在安装过程中会遇到以下错误导致安装失败：Please check with yourcomputer manufacturer to resolve any issues you are having with this computer.These tools are built to only run ...
2020-01-31 09:52:21
1363
原创 Win10安装TensorFlow-GPU版本
安装环境：Win10家庭版+GTX1650+python3.6+cuDNN:7.4+CUDA:9.0+tensorflow1.13.1本来安装的TensorFlow2.1.0，然而出现了cuda/cudnn版本和tensorflow版本不一致的问题，报错为：‘Could not load dynamic library 'cudart64_101.dll'，建议参考：https://www.t...
2020-01-31 09:51:20
930
原创 RedHat7.5修改Yum源为CentOS
1.卸载rhel自带Yum包#rpm-qa|grepyum # 查看原来的yum源# rpm -qa|grep yum|xargs rpm -e --nodeps # 强制卸载# rpm-qa|grepyum # 再次查看，确认已经卸载完成2.下载Yum包# mkdir /tmp/pkg &&a...
2020-01-14 17:54:16
749
2
转载 转：BAT 等技术团队博客
BAT 技术团队博客1. 美团技术团队博客： 地址：http://tech.meituan.com/ 2.腾讯社交用户体验设计(ISUX) 地址：http://isux.tencent.com/ 3.京东设计中心 地址：http://jdc.jd.com 4.QQ游戏设计中心 地址：http://gdc.qq.com 5.百度搜索用户体验中心...
2019-07-19 22:07:45
423
原创 记：Chrome浏览器以及插件安装
1、下载最新版Chrom，地址链接：https://www.google.com/intl/zh-CN_ALL/chrome/2、安装Chrom完成之后，我们可以安装一些插件，这里我们可以通过这个网站来下载Chrom插件：https://www.gugeapps.net/webstore/category/extensions比如安装去广告插件Adblock,直接输入...
2019-07-08 22:19:16
2558
1
原创 HBASE启动后，HRegionServer起不来
HBASE启动后，HRegionServer起不来，查看日志：org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server hadoop02.brz.com,60020,1556013927947 has been rejected; Repor...
2019-04-23 18:16:54
1521
原创 tomcat启动web项目时出现乱码
在启动web项目时出现乱码：22-Apr-2019 11:11:35.376 淇℃伅 [main] org.apache.catalina.startup.VersionLoggerListener.log Server.鏈嶅姟鍣ㄧ増鏈�: Apache Tomcat/9.0.1422-Apr-2019 11:11:35.381 淇℃伅 [main] org.apache.c...
2019-04-22 11:22:37
4944
2
原创 BatchUpdateException: Incorrect string value: '\xE9\x87\x8D\xE5\xBA\x86...'
在往数据库中插入数据时，出现错误：BatchUpdateException: Incorrect string value: '\xE9\x87\x8D\xE5\xBA\x86...'最后发现是数据库表中的字符集编码不是utf8，只需要把此字段这一列的编码改过来即可。...
2019-03-29 17:20:14
1514
转载 各领域数据集
上网找到了个数据集的整理，原文地址：https://zhuanlan.zhihu.com/p/25138563金融美国劳工部统计局官方发布数据房地产公司 Zillow 公开美国房地产历史数据沪深股票除权除息、配股增发全量数据，截止 2016.12.31上证主板日线数据，截止 2017.05.05，原始价、前复权价、后复权价，1260支股票深证主板日线数据，截止 2017....
2019-03-09 10:43:12
4854
1
原创 如何下载CDH版本的Hadoop生态圈工具
最近下载CDH版本的Hadoop工具，点击下载链接发现都跳转到Apache官网上去了，最后通过在后面加上.tar.gz就可以下载了 。CDH的下载工具都在http://archive.cloudera.com/cdh5/上，现在是cdh5的版本。比如下载zookeeper：只需在http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-c...
2019-03-08 18:19:26
1031
原创 Client does not support authentication protocol requested by server; consider upgrading MySQL client
今天使用MySQL往数据库插入数据时IDEA报错：Client does not support authentication protocol requested by server; consider upgrading MySQL client.解决方法：use mysql;alter user 'root'@'localhost' identified with mysql_n...
2019-01-09 11:46:25
619
转载 Linux 启动之init
1.init初探 init是Linux系统操作中不可缺少的程序之一。init进程，它是一个由内核启动的用户级进程，然后由它来启动后面的任务，包括多用户环境，网络等。 内核会在过去曾使用过init的几个地方查找它，它的正确位置（对Linux系统来说）是/sbin/init。如果内核找不到init，它就会试着运行/bin/sh，如果运行失败，系统的启动也会失败。 根...
2019-01-04 20:41:52
271
原创 kafka
KAFKAkafka简介分布式流处理平台，可以实时简单处理流数据，而且是一个分布式的，容错的，多副本的临时存储系统。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。一般应用在大数据日志处理或对实时性（少量延迟），可靠性（少量丢数据）要求稍低的场景使用。官网：http://kafka.apache.orgkafka特点：Apache...
2018-11-15 15:01:16
346
1
原创 消息队列
消息队列简介消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境，使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。消息队列应用场景介绍以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流...
2018-11-10 21:25:22
153
原创 Spark --补充
RDD 编程补充：1.数值RDD的统计操作Spark对包含数值数据的RDD提供了一些描述性的统计操作，Spark的数值操作是通过流式算法实现的，允许以每次一个元素的方式构建出模型。这些统计数据都会在调用stats()时通过一次遍历数据计算出来，并以StatsCounter对象返回。方法含义count()RDD中的元素个数mean()元素的平均值sum()...
2018-11-10 21:04:18
245
原创 Spark Streaming
Spark StreamingSparkStreaming概述SparkStreaming概念Spark Streaming类似于Apache Storm，用于流式数据的处理。官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输...
2018-11-10 20:54:32
389
原创 Spark SQL and DataFrames
Spark SQL and DataFramesSpark SQLSpark SQL概述什么是Spark SQL？SparkSQL是spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrames，并且作为分布式SQL查询引擎的作用。为什么要学SparkSQL?SparkSQL将Spark SQL转换为RDD，然后提交到集群执行，执行效率非常快，比如hive是将hi...
2018-11-09 21:14:04
598
原创 Spark学习（二）
RDD（resilient distributed dataset）RDD概念RDD（Resilient Distributed Dataset）是一个弹性分布式数据集，是SPark提供的抽象的弹性分布式数据集(RDD)，它是可以并行操作的跨集群节点的元素集合。RDDs是从Hadoop文件系统中的一个文件(或任何其他Hadoop支持的文件系统)或驱动程序中现有的Scala集合开始创建的，并对其...
2018-10-30 20:37:21
313
原创 Spark学习（一）
SparkSpark简介Lightning-fast unified analytics engine(快如闪电的统一分析引擎),是一个用于大规模数据处理的统一分析引擎。Apache Spark 是一个快速的, 多用途的集群计算系统。它提供了 Java, Scala, Python 和 R 的高级 API，以及一个支持通用的执行图计算的优化过的引擎. 它还支持一组丰富的高级工具, 包括使用...
2018-10-29 20:34:35
4562
原创 Scala（四）-- Actor编程
Actor编程1.Actor模型1.1 什么是Actor一个Actor指的是一个最基本的计算单元。它能接收一个消息并且基于其执行计算。这个理念很像面向对象语言，一个对象接收一条消息（方法调用），然后根据接收的消息做事（调用了哪个方法）。Actors一大重要特征在于actors之间相互隔离，它们并不互相共享内存。这点区别于上述的对象。也就是说，一个actor能维持一个私有的状态，并且这个...
2018-10-27 17:46:28
410
原创 Scala（三）常用功能
1.模式匹配和样例类1）模式匹配Scala是没有Java中的switch case语法的，相对应的，Scala提供了更加强大的match case语法，即模式匹配，来替代switch case，match case也被称为模式匹配match case的语法如下：变量 match { case 值 => 代码 }如果值为下划线“_”，则代表了不满足以上所有情况下的默认情况如何处理。...
2018-10-27 17:02:28
324
原创 Scala（二）-- 类、对象、继承、特质
1.类1）在scala中，类并不用声明为public如果没有定义构造器，类会有一个默认的无参构造器var修饰的变量，对外提供getter setter方法val修饰的变脸，提供getter方法，没有setter方法var name:String = __表示一个占位符，编译器会根据你变量的具体类型赋予相应的初始值使用占位符，变量类型必须指定，val修饰的变量不能使用占位符class...
2018-10-27 16:21:18
383
原创 hbase(二)
hbase与hive的整合数据存储、查询 数据分析整合的目的：hbase中表的数据在hive中能够查询到hive中表的数据在hbase中能够查询到整合的步骤：1、在hive中创建hbase能看到的表create table if not exists hbase2hive(uid int,uname string,age int)stored by 'org.apache....
2018-10-22 21:16:19
156
原创 Scala（一）-- 语法简介
scalaScala(Scalable Language)以一种简洁、高级的语言将面向对象和函数式编程结合在一起.Scala的静态类型有助于避免复杂应用程序中的bug，它的JVM和JavaScript运行时允许您构建高性能的系统，可以轻松地访问庞大的库生态系统。1、scala的特点：（1）、面向对象scala是一个纯面向对象的语言，所有的值都是对象、类和对象行为用类和特质来描述（2）、函...
2018-10-22 21:10:25
4253
原创 影评项目（hive）
现有如此三份数据：1、users.dat数据格式为： 2::M::56::16::70072对应字段为：UserID BigInt,Gender String,Age Int,Occupation String,Zipcode String对应字段中文解释：用户id，性别，年龄，职业，邮政编码2、movies.dat数据格式为： 2::Jumanji (1995)::Adventur...
2018-10-21 10:08:47
1248
原创 hbase（一）
为什么有hbase?随着数据量越来越大，传统的关系型数据库不能满足存储需求，hive虽然能满足存储，但是不能满足非结构化或者半结构化的数据存储和高效查询。HBASE是什么？Apache HBase™ is the Hadoop database, a distributed, scalable, big data store.Use Apache HBase™ when you need ...
2018-10-10 20:35:08
201
原创 hive详解（函数）
内置函数：show functions; 查看函数desc function; 查看用法排名函数：（3种）row_number():没有并列，相同名次按顺序排（同分不同名）rank():有并列，相同名次空位dense_rank():有并列，相同名次不空位班级成绩排名前三的：create table stu_score(classId string,userN...
2018-10-08 21:43:39
990
转载 Java通过出生日期计算星座、(生肖)
Java根据生日得出是十二星座的哪一个星座方法一：public static String star(int month, int day) { String constellation = ""; if (month == 1 && day >= 20 || month == 2 && day &
2018-10-08 21:19:15
7050
1
原创 hive查询时怎么显示字段名？
在hive查询中我们发现hive的查询输出不显示列名，怎么解决呢？解决办法：进入hive cli后： set hive.cli.print.header=true;hive> select * from ratings limit 5;OKratings.userid ratings.movieid ratings.rating ratings.timestamped1 1193 ...
2018-10-04 16:55:46
10632
4
原创 shell 脚本替换文件中的某个字符串
1、将当前目录下包含"qwe"串的文件中的"qwe"字符串替换为"abc"sed -i "s/qwe/abc/g" `grep "qwe" -rl ./`2、将某个文件中的"qwe"字符串替换为"abc"sed -i "s/qwe/abc/g" test.txt如果将某个文件中以"qwe"开头的字符串修改为“abc”：
2018-10-04 11:50:06
32100
1
原创 git.exe百度云链接及在官网下载总是失败的解决方法
百度云链接：链接：https://pan.baidu.com/s/1yvpe84Ddh53RKRwV7dz0MA 密码：peon1、进入git官网下载页面：https://git-scm.com/download/win2、选择自己的windows版本进行下载，注意：这里我们需要复制链接地址到迅雷或者其他下载工具下载，右键，复制链接地址即可。例如：https://github.com/...
2018-09-30 08:33:40
19059
5
原创 hive详解（分区&分桶）
分区&分桶分区为什么有分区？随着系统运行时间增长，表的数据量越来越大，而hive查询时通常是是全表扫描，这样将导致大量的不必要的数据扫描，从而大大减低查询效率。从而引进分区技术，使用分区技术，避免hive全表扫描，提升查询效率。可以将用户的整个表的数据在存储时划分到多个子目录，从而在查询时可以指定查询条件（子目录以分区变量的值来命名）eg:year=‘2018’。怎么分区？根...
2018-09-29 21:20:39
20769
1
原创 hive详解（操作）
hive操作创建表的本质：在hdfs的/user/hive/warehouse下的对应的库目录下创建表目录删除表的本质：删除表数据对应的目录加载数据：（1）values（不建议使用，耗时太长）insert into t_2 values('1','zhangsan');我们可以看到，这个时间（虽然与我的集群运行速度有关），但实在是太慢了。（2）put操作（即上传文件）hdf...
2018-09-29 20:54:27
804
原创 hive详解（一）
1、Hive简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。Hive是由Facebook开源用于解决海量结构化日志的数据统计的工具。 在Hadoop生态系统中，HDFS用于存储数据，Yarn用于资源管理，MapReduce用于数据处理，而Hive是构建在Hadoop之上的数据仓库，包括以下方面： （1）使用HQL作...
2018-09-28 20:51:07
1323
原创 Hadoop知识点总结（一）
HADOOPhadoop的概念Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。它主要有以下几个优点：高可靠性:Hadoop按位存储和处理数据的能力值得人们信赖。高扩展性:Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。...
2018-09-28 17:54:28
3609
1
原创 HDFS读写流程
HDFS存储数据架构图HDFS 采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成，分别为HDFS Client、NameNode、DataNode和Secondary NameNode。Client：就是客户端。 1、切分文件：文件上传 HDFS 的时候，Client 将文件切分成 一个一个的Block，然后进行存储。 2、与 NameNode ...
2018-09-23 14:31:08
275
原创 Centos:Zookeeper安装与配置详解
zookeeper：Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务zookeeper是为别的分布式程序服务的 Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务） Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务…… 虽然说可以提供各种服务，但是zookeepe...
2018-09-19 17:30:28
2250
原创 HDFS
一、HDFS前言设计思想：分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务二、HDFS介绍HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据...
2018-09-17 23:56:20
300
飞行棋,通过设置关卡，竞速小游戏
2018-08-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人