技术何

原创 scala中类型检查和转换

基本介绍要测试某个对象是否属于某个给定的类，可以用instanceOf方法，用asInstanceOf方法见引用你转换为子类的引用，classOf获取对象的类名1.classOf[String]就如同Java的String.class2.obj.inInstanceOf[T]就如同Java的obj.instanceof T判断obj是不是T类型3.obj.asInstanceO...

原创 CDN访问网站过程

CDN访问网站过程①当用户点击网站页面上的内容URL，经过本地DNS系统解析，DNS系统会最终将域名的解析权交给CNAME指向的CDN专用DNS服务器。②CDN的DNS服务器将CDN的全局负载均衡设备IP地址返回用户。③用户向CDN的全局负载均衡设备发起内容URL访问请求。④CDN全局负载均衡设备根据用户IP地址，以及用户请求的内容URL，选择一台用户所属区域的区域负载均衡设备，告诉用...

原创 首页的效益评估体系

1.优秀电商首页的维度评估首页效益量化评估表 分类 指标 价值 品牌 品牌形象 调研在用户心中品牌形象的认知是否符合企业需求 品牌服务品质 服务品质可反映出用户对品牌服务质量的评价 品牌人气度 ...

翻译 中国如何解决STEM问题：访问者的观点

Rossier的APRISE全球考察团队发现了我们的教学和学习共性和区别Nadia Hillman和上海戛纳实验学校的学生。强大的STEM劳动力被视为一个国家维持自身能力的指标。国际学生成就计划（PISA）是STEM成果的一项评估。最近，上海的学生在数学和科学方面都名列前茅，美国学生的得分远低于这一水平。虽然可以说单一措施并不能说明整个故事，但从STEM教育的角度来看，这些结果是否有待...

原创 数据分析技能树

转载 python中zip 和 izip , izip_longest比较

 zip是build-in方法而izip是itertools中的一个方法 这两个方法的作用是相似的，但是具体使用中有什么区别呢？今天来探究一下。zip文档中这样描述：This function returns a list of tuples, where the i-th tuple contains the i-th element from each of the...

原创 ETL数据处理笔记-kettle基础

1.Kettle里的数据以数据行的形式,由转换里的步骤来处理。2.作业项是作业的基本组成部分，每个作业项根据前一个作业项的结果顺序执行。3.可以在转换或作业里定义数据库连接,可以在数据库等设置对话框里使用参数。4.kettle有不同类型的资源库，每种资源库都有自己的使用场景。5.kettle使用灵活的虚拟文件系统，可以访问各种不同位置的文件。6.通过变量和命名参数可以使转换或者作业更加灵...

原创 zookeeper思维导图

标题 

转载 数据集整理

数据集整理1.data.gov( https://www.data.gov/ )这是美国政府公开数据的所在地，该站点包含了超过19万的数据点。这些数据集不同于气候、教育、能源、金融和更多领域的数据。640?wx_fmt=jpeg&wxfrom=5&wx_lazy=12.data.gov.in( https://data.gov.in/ )这是印度政府公开数据的所在地，...

原创 程序员思维结构-写作思维

思维导图

原创 STEM创新教育-scratch编程与语文写作

  QQ资源联系方式：1426589814（何鹏） 

转载 Nginx配置中的log_format用法梳理（设置详细的日志格式）

nginx服务器日志相关指令主要有两条：一条是log_format，用来设置日志格式；另外一条是access_log，用来指定日志文件的存放路径、格式和缓存大小，可以参加ngx_http_log_module。一般在nginx的配置文件中日记配置(/usr/local/nginx/conf/nginx.conf)。123456789101112131415161718192021222324252...

转载 python-将DataFrame中的 pandas 系列从字符串(财务缩写)转换为数字

这个问题已经在这里有了答案：>Converting characters to numerical values in a dataframe2个>How to convert numbers represented as characters for short into numeric in Python...

原创 开源协议图例

开源软件活跃度比较工具https://www.openhub.net/p/_compare?project_0=Activiti&project_1=camunda+BPM+platform&project_2=Flowable

转载 ByteBuf

ByteBufJava原生ByteBuffer使用Buffer读写数据一般遵循以下四个步骤：写入数据到Buffer（写） 调用flip()方法（写->读） 从Buffer中读取数据（读） 调用clear()方法或者compact()方法（读->写）属性 属性名 说明 byte[] buff 内部用于缓存的数组。 ...

原创 Kafka监控-Eagle工具

Kafka监控-Eagle

原创 Atlas非实时应用场景

具体操作过程如下：（1）现在Hive里创建表在Atlas及其依赖服务正常启动的前提下，在主节点上，使用HDFS用户在任意目录下进行建表操作create table czl(id int,name string,age int,tel string) ROW FORMAT hive > DELIMITED FIELDS TERMINATED BY '\t' STORED A...

转载 Ganglia  详细安装配置教程

Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次结构模式，才使得 Ganglia 可以实现良好的扩展。gmond 带来的...

原创 STEM教育活动一览

原创 STEM教育-制作纸飞机游戏

制作纸飞机游戏一.概览两节课：每节课各90分钟STEM说明：工程，技术，几何写作活动：科技写作，创意写作二.教学材料：关于纸飞机折叠的一些失败的方法指南的复印件（你可以用本教案中为你提供的例子，也可以自己另外准备）一些折叠好的纸飞机模型(用于课堂展示)纸飞机图纸（可从网上下载） 一些制作纸飞机的材料：纸张（必不可少，如果有不同重量的纸张更好）尺子，回形针，剪刀，...

原创 STEM创新教育-热量与马铃薯含水量之间的关系

介绍实验开始更科学地思考的最好方法之一是更详细地查看日常用品和经验。您的第一个实验将基于日常过程 - 烹饪。请记住，在达到步骤1.5 - 实验1：马铃薯实验之前，请不要开始实验。您将看到热量与马铃薯含水量之间的关系，测量在烹饪过程中热量传递到马铃薯时水含量的变化。如果您以前曾经对马铃薯微波炉，您会注意到蒸汽在此过程中被排出。通过将马铃薯煮熟至破坏，您的目标是驱除其中的所有水，使您能...

原创 STEM教育-生物-手跨度和高度实验探究活动

姓名：__________________________________作图手跨度和高度数据通常以图表表示，尽管有不同类型的图表可以帮助您理解变量之间的关系或比较平均值。在这个练习中，你将使用一个图表来表示你的同学的手跨度，并决定手的跨度与身高的关系。第1部分：条形图柱状图通常用于比较数据和显示平均值。如果你是一个手套制造商，并且想知道为了适合大多数人的尺寸，这些数据可能会很有用。使...

原创 STEM创新教育-数学活动设计

专注STEM教学资源，课件

原创 用HTTP核心模块配置一个静态web服务器

1. 虚拟主机与请求的分发2. 文件路径的定义3. 内存几磁盘资源的分配4. 网络链接的设置5. MIME类型的设置6. 对客户端请求的限制7. 文件操作的优化8. 对客户端请求的特殊处理9. ngx_http_core_module模块提供的变量...

转载 Jacoco覆盖率工具使用(已测试)

1两种方式1.1 eclipse直接安装插件测试install new soft 安装插件 eclemma java code coverage运行 结果 插件导出单元测试报告 1.2 通过maven加入插件，打印单元测试报告pom.xml文件中加入对应的部分，plugin部分project xmlns="http://maven.apa

转载 Jacoco覆盖率工具使用之maven篇

说明之前的文章已经介绍过如何使用apacheant 执行jacoco工具，下面开始介绍如何使用maven使用jacoco工具。 1.首先新建一个maven项目      如图所示：       2：HelloWorld    新建一个测试类helloworld，code 如图所示：     3：HelloWorldTest  新建一个测试类hello

转载 正则表达式中的"^"这个符号的一些思考

学习正则表达式的时候，一些常见的规则我们都不难理解，但是有 一个正则表达式中的特殊字符让我一直有点搞不懂，就是”^”这个字符，文档上给出了解释是匹配输入的开始，如果多行标示被设置成了true，同时会匹配后面紧跟的字符。比如/^A/会匹配"An e"中的A，但是不会匹配"ab A"中的A1然后他还有第二种用法就是当这个字符出现在一个字符集合模式的第一个字符时，他将会有不同的含义。

转载 使用Jsoup加代理发送get请求

public static String get(String uri){                          System.setProperty("https.proxySet", "true");              System.getProperties().put("https.proxyHost", ip);              Syst

转载 使用urlconnection下载文件或图片并保存到本地

import java.io.FileOutputStream;   import java.io.InputStream;   import java.io.OutputStream;   import java.net.URL;   import java.net.URLConnection;     /**   * 使用URLConnection下载文件或图片并保存到本地

转载 使用 Elasticsearch 实现博客站内搜索

Reference:  http://www.open-open.com/lib/view/open1452046497511.html 一直以来，为了优化本博客站内搜索效果和速度，我使用 bing 的 site: 站内搜索做为数据源，在服务端获取、解析、处理并缓存搜索结果，直接输出 HTML。这个方案唯一的问题是时效性难以保证，尽管我可以在发布和修改文章时主动告诉 bing，但它什么

转载 ElasticSearch常用的基本查询语句详解

1、term 过滤term主要用于精确匹配哪些值，比如数字，日期，布尔值或 not_analyzed 的字符串(未经切词的文本数据类型)： { "term": { "date":   "2017-07-01" }} { "term": { "title":    "内蒙古"  }}完整的例子， hostname 字段完全匹配成 saaap.wangpos.com 的数据：{

转载 redis : 桌面管理工具 redis-desktop-manager使用指南

目录(?)[+]概要：一款好用的Redis桌面管理工具，支持命令控制台操作，以及常用，查询key，rename，delete等操作。下载软件，请点击下面链接，进入下载页，选择对应版本：https://redisdesktop.com/download  redisdesktop桌面管理工具操作使用如下图：      一、新

转载 elasticSearch java api基本操作

默认进行了elasticsearch安装和ik安装, 超时配置, 分页压力配置等添加maven依赖 org.elasticsearch elasticsearch 2.4.0 com.fasterxml.jackson.co

原创 zookeeper之windows配置集群出现的问题

伪集群, 是指在单台机器中启动多个zookeeper进程, 并组成一个集群. 以启动3个zookeeper进程为例1、找到zk目录，复制两份cp -r zk zk2cp -r zk zk32、分别修改配置文件zoo.cfgdataDir=/opt/zk/zk/datadataLogDir=/opt/zk/zk/logsserver.0=127.0.0

原创 爬虫技能

爬虫技能：1.初见爬虫浅析HTTP协议Requests库的7个主要的方法【requests,requests.get,requests.head,requests.post,requests.put,requests.patch,requests.delete】2.Robots协议【User-Agent,Disallow,URL,ALLOW,Sitemap】

原创 BeautifulSoup总结

四大对象种类：1.Tag2.NavigableString3.BeautifulSoup4.Comment遍历文档树1.直接子节点2.所有子孙节点3.节点内容4.多个内容5.父节点6.全部父节点7.兄弟节点8.全部兄弟节点9.前后节点10.所有前后节点搜索文档树1.find_all name attrs recursive text kwargs2.find

原创 crontab笔记

1.相关工具2.安装并检查Crontab服务3.Crontab的基本组成4.Crontab的配置文件格式5.Crontab工具的使用6.Crontab的日志7.Crontab常见错误

原创 python-numpy实战

1.Numpy库2.Array3.Array数组操作4.矩阵基本操作5.矩阵的创建与初始化6.常用函数案例7.排序与索引8.实例

原创 机器学习-推荐系统

1.推荐系统应用2.推荐系统要完成的任务3.相似度计算4.基于用户的协同过滤算法5.基于物品的协同过滤算法7.隐语义模型8.隐语义模型求解9.模型评估标准10.使用Surprise库建立推荐系统12.Suprise库使用方法13.得出商品推荐结果14.使用Tensorflow构造隐语义模型15.模型架构16.损失函数定义17.训练网络

原创 自然语言处理Word2Vec词向量模型

1.自然语言处理与深度学习2.语言模型3.N-gram模型4.词向量5.神经网络模型6.Hierarchical Softmax7.CBOW模型实例8.CBOW求解目标9.梯度上升求解10.负采样模型