52Pig-CSDN博客

翻译 ChatGPT: Optimizing Language Models for Dialogue

一个这样的模型是ChatGPT，这是一个基于transformer的语言模型优化的对话。总之，ChatGPT模型是一个强大的语言模型，专门为对话而设计。在一个应用中，使用ChatGPT模型开发的聊天机器人达到了67%的准确率，这远远高于传统方法所能达到的准确率。除了能够生成真实和吸引人的对话外，ChatGPT还可以接受训练，以识别对话中的重要关键词和主题，从而轻松理解用户输入。ChatGPT是一种聊天机器人，其语言模型基于OpenAI的GPT-3模型，但专门设计为能够提供更自然、更吸引人的对话。

2023-02-08 21:31:27 1677

原创 BERT原理

预训练模型架构中的不同。BERT使用双向Transformer。OpenAI GPT使用left-to-right的Transformer。ELMo使用训练好的left-to-right和right-to-left的LSTM的拼接为下游任务形成特征。在这3方面中，只有BERT表示在所有层中同时受坐上下文和右上下文约束。层数L，隐藏层大小H，自注意力头(self-attentio...

2019-11-07 20:25:47 559

原创基于神经双重蕴含的问题释义识别

最近在学习自动聊天机器人相关技术时，从paper中学习到卡内基梅隆大学自动问答组设计开发的模型，也是17年自动问答领域效果最好的模型，该模型的目标判断任意两个问题是否是同一种含义。对该模型的学习简记如下：释义识别概念1、两个问题具有相同的语义(二分类)，即如果两个问题的回答完全相同，那么这两个问题是相互释义的。2、检验检索出来的问题是否是一个输入问题的释义。模型架构 ...

2018-07-13 20:19:17 698 2

原创 winpython升级tensorflow遇到的小问题

pip install tensorflowFatal error in launcher: Unable to create process using '"此时需要强制升级pip，使用下列命令即可：python -m pip install --upgrade --force-reinstall tensorflow当安装好winpython后自带版本0.5.0很老。再次

2017-08-21 23:37:42 1347

原创 hive drop table报错：FAILED: SemanticException MetaException(message:Timeout when executing method: g

hive中drop 一个表时，报错：FAILED: SemanticException MetaException(message:Timeout when executing method: get_partitions_by_expr)元数据异常，网上有说将表中数据删除然后再drop表，删除部分hdfs上数据后重新drop表发现还是报此错。由于表中数据太多，删除hdfs

2016-01-15 18:59:12 6186

原创 Itellij IDEA启动报错

打开idea启动报错：Internal error. Please report to http://jb.gg/ide/critical-startup-errorsjava.lang.IllegalStateException: failed to create a child event loop at io.netty.util.concurrent.Multith

2016-01-05 19:18:31 22236 3

原创 hibernate复合主键中为什么要复写equals和hashcode方法？还要implement Serializable?

implements Serializable是将要永久化的对象先进行序列化，覆盖hashcode是为了在返回hash编码的时候，可以按照自己的意图进行返回，覆盖equals方式是为了能够正确的比较内容，而不是只比较其中的地址是否相同

2016-01-03 16:02:25 707

原创严重: An incompatible version 1.1.1 of the Apache Tomcat Native library is installed, while Tomcat req

严重: An incompatible version 1.1.1 of the Apache Tomcat Native library is installed, while Tomcat requires version 1.1.3意思是说刚才下的版本过低，需要下载一个更高高版本的。具体下载地址：tomcat.heanet.ie/native/

2016-01-03 16:01:17 1394

原创警告: [SetPropertiesRule]{Server/Service/Engine/Host/Context} Setting property 'source' to 'org.eclips

警告: [SetPropertiesRule]{Server/Service/Engine/Host/Context} Setting property 'source' to 'org.eclipse.jst.jee.server:skny1' did not find a matching property.出现SetPropertiesRule警告的原因是因为Tomcat

2016-01-03 15:58:41 924

原创 org.apache.catalina.core.AprLifecycleListener init

org.apache.catalina.core.AprLifecycleListener init 信息: The Apache Tomcat Native library which allows optimal performance in production environments was not found on the java.library.path: C:\Java\jr

2016-01-03 15:57:16 9205

原创 centos上安装R语言

centos 6.7 R-3.2.3.tar.gz从R官网下载R源码包，我是从http://mirror.bjtu.edu.cn/cran/ 北交大的cran中下载的R-3.2.3.tar.gz再编译R之前需要安装以下依赖包： yum install gcc-gfortran #否则会报错：configure: error: No F77 compiler f

2015-12-27 16:11:26 1472

原创 Scala List中的上界下界以及逆变、协变

package com.dt.scala.listabstract class Big_Dataclass Hadoop extends Big_Dataclass Spark extends Big_Dataobject List_Constructor_Internals { def main(args: Array[String]): Unit = { val had

2015-08-19 07:09:19 905

原创 Scala中ListBuffer高效遍历

package com.dt.scala.listobject ListBuffer_Internals { def main(args: Array[String]): Unit = { val list = List(1,2,3,4,5,6,7,8,9) increment(list) increment_MoreEffective(list) inc

2015-08-19 06:26:10 4146

原创 Scala中的Type与Class

示例代码：//Type与Class实战详解/** * 类型系统与类 * * 无论java还是scala都是基于jvm虚拟机 * java1.5以前一个具体对象的类型和他的class是一一对应的，后来由于引入了泛型。 * 例如数组，数组里面有可能是字符串也可能是整数类型等等， * 虚拟机本身并不关心泛型，或者类型系统，在虚拟机中泛型在编译和运行时是被擦除掉的。 * 在运行时是通

2015-08-06 23:10:58 990

原创 Scala模式匹配下提取器构造

示例代码：object :> { def unapply[A] (list:List[A]) = { Some( (list.init,list.last) ) }}object Extractor_Advanced { def main(args: Array[String]): Unit = { (1 to 9).toList match{ cas

2015-08-06 21:49:39 677

原创 Scala模式匹配下的赋值语句

示例代码：object Assinment_Internals { def main(args: Array[String]): Unit = { //@是别名，变量b的值是1000,同时把a绑定到b上，可以认为a是b的别名，其实使用模式匹配完成的。// 模式匹配完成之后会同时返回a和b的内容 val a@b = 1000 //a = 1000, b =

2015-08-06 21:45:16 772

原创 Scala模式匹配下的for循环

示例代码：object For_Advanced { def main(args: Array[String]): Unit = { /** * for循环内部调用的源码其实是： * * @inline override final * def foreach[B](f: A=> B){ * var these

2015-08-02 10:04:22 1467

原创从spark源码的角度思考scala中的模式匹配

1.scala中模式匹配2.spark源码中的模式匹配思考spark中master会收到worker发过来的akka的消息，此消息是case class即(Master.class中)：case class RegisterWorker( id:String, host:String, port:Int, cores:Int, memo

2015-08-02 09:35:47 529

原创 Scala界面事件处理

示例代码：import scala.swing.SimpleSwingApplicationimport scala.swing.MainFrameimport scala.swing.Buttonimport scala.swing.Labelimport scala.swing.Orientationimport scala.swing.BoxPanelimport s

2015-07-29 23:58:32 1181

原创 Scala界面Panel、Layout初探

示例代码：package com.dt.scala.guiimport scala.swing.SimpleSwingApplicationimport scala.swing.MainFrameimport scala.swing.Buttonimport scala.swing.Labelimport scala.swing.Orientationimport scala.s

2015-07-28 21:13:24 974

原创 scala界面GUI编程实战初步了解

示例代码：import scala.swing._//SimpleSwingApplication继承自SwingApplication类(此类中有main方法，因此可以运行显示界面)object Hello_GUI extends SimpleSwingApplication { def top = new MainFrame{ //顶级容器 title = "Hello

2015-07-27 22:30:22 1208

原创 Scala并发编程react、loop代码实战详解

Scala并发编程react、loop代码实战详解

2015-07-26 15:12:23 1022

原创 scala并发编程原生线程Actor、Case Class下的消息传递和偏函数实战

scala并发编程原生线程Actor、Case Class下的消息传递和偏函数实战

2015-07-25 22:45:09 713

原创 shell命令之split

听人说做文本分类时处理100G的文本文件，居然不用大数据，处理方法就是用shell的split去分割成若干小文件。split命令NAME split - split a file into piecesSYNOPSIS split [OPTION] [INPUT [PREFIX]]DESCRIPTION Output fixed-

2015-06-17 20:59:14 8887

原创 hive udaf 用maven打包执行create temporary function 时报错

用maven打包写好的jar，在放到hive中作临时函数时报错。错误信息如下：hive> create temporary function maxvalue as "com.leaf.data.Maximum";java.lang.SecurityException: Invalid signature file digest for Manifest main attribu

2015-06-06 16:24:51 1766

原创 spark中各种连接操作以及实用方法

val a = sc.parallelize(Array(("123",4.0),("456",9.0),("789",9.0)) val b = sc.parallelize(Array(("123",8.0),("789",10))) val c = a.join(b) c.foreach(println) /* (123,(4.0,8.0))

2015-06-04 21:23:41 2385

原创 mllib之随机森林与梯度提升树

随机森林和GBTs都是集成学习算法，它们通过集成多棵决策树来实现强分类器。集成学习方法就是基于其他的机器学习算法，并把它们有效的组合起来的一种机器学习算法。组合产生的算法相比其中任何一种算法模型更强大、准确。随机森林和梯度提升树(GBTs)。两者之间主要差别在于每棵树训练的顺序。随机森林通过对数据随机采样来单独训练每一棵树。这种随机性也使得模型相对于单决策树更健壮，

2015-04-13 21:53:22 2308 1

原创 mllib:Exception in thread "main" org.apache.spark.SparkException: Input validation failed.

当我们使用mllib做分类，用到逻辑回归或线性支持向量机做分类时，可能会出现下面的错误：15/04/09 21:27:25 ERROR DataValidators: Classification labels should be 0 or 1. Found 3000000 invalid labelsException in thread "main" org.apache.spark.S

2015-04-09 22:31:30 3509 1

原创 mllib:java.lang.IllegalArgumentException: GiniAggregator given label 2.0 but requires label < numCla

报错信息： java.lang.IllegalArgumentException: GiniAggregator given label 2.0 but requires label 在用mllib做分类，当用到一些分类算法时，常常需要加入基尼系数。程序代码：RandomForest.trainClassifier(validData,2,Map[In

2015-04-09 21:16:31 3945

原创 spark WARNTaskSchedulerImpl:Initial job has not accepted any resources; check your cluster UI to

spark在提交任务时，出现如下错误：从警告信息上看，初始化job时没有获取到任何资源；提示检查集群，确保workers可以被注册并有足够的内存资源。如上问题产生的原因是多方面的，可能原因如下：1.因为提交任务的节点不能和spark工作节点交互，因为提交完任务后提交任务节点上会起一个进程，展示任务进度，大多端口为4044，工作节点需要反馈进度给该该端口，所以如果

2015-03-26 22:26:03 28405 3

原创 mllib之梯度下降公式推导

梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路，下面从公式和实现的角度对两者进行分析，如有哪个方面写的不对，希望网友纠正。下面的h(x)是要拟合的函数，J(theta)损失函数，theta是参数，要迭代求解的值，theta求解出来了那最终要拟合的函数h(theta)就出来了。其中m是训练集的记录条数，j是参数的个数。

2015-03-25 00:15:14 2186

原创 mllib之高数篇

机器学习的目标是：对于给定的一个训练数据集，通过不断地分析和学习产生一个联系属性集合和类标的分类函数(Classification Function)或预测函数(Prediction Function),这个函数称为分类模型(Classification Model)或预测模型(Prediction Model).通过这个模型可以对输入对象的特征向量预测或对对象的类标进行分类。超定方程

2015-03-24 21:40:01 938

原创 spark开发程序编写注意点

看书时发现书中写的不一定是正确的。eg：scala> val line = sc.textFile("hdfs://Spark:9000/user/root/README.md")15/03/19 20:03:04 INFO MemoryStore: ensureFreeSpace(202004) called with curMem=744765, maxMem=2802489751

2015-03-19 20:08:55 1021

原创 spark之map与flatMap区别

scala> val m = List(List("a","b"),List("c","d"))m: List[List[String]] = List(List(a, b), List(c, d))scala> m.flattenres8: List[String] = List(a, b, c, d)scala> val n = List(List(1,2),List(3,

2015-03-19 19:51:39 4316

原创 IDEA的auto import 与 Scala的隐式转换

设置IDEA的auto import 之后，编写Spark应用程序时的一些自动导入情况及其说明。1.普通类的自动导入var cnames = new ArrayBuffer[String]()var ips = new ArrayBuffer[String]()直接根据提示alt+enter便可以导入ArrayBuffer类包2.需要隐式转换val joinRDD = r

2015-03-05 23:08:05 3527

原创后台执行shell脚本

执行方式：nohup sh export_data.sh 20150102 >20150102.log 2>&1 &[1] 29531其中 0、1、2分别代表如下含义： 0 – stdin (standard input) 1 – stdout (standard output) 2 – stderr (standard error)nohup+最

2015-01-04 20:08:49 4852

原创 Pig初探

Pig环境安装pig的安装非常简单，将pig-0.14.0.tar.gz解压到合适的目录下tar -zxvf pig-0.14.0.tar.gz修改环境变量：#pig export PIG_HOME=/usr/local/cloud/pig-0.11.1/pig-0.11.1export PATH=.:$PIG_HOME/bin:$PATHexport PIG_CLASSP

2014-11-25 00:08:04 1925

原创解惑rJava R与Java的高速通道

阅读导读：1.什么是RJava？2.如何安装RJava？3.如何用RJava实现R调用Java？1. rJava介绍rJava是一个R语言和Java语言的通信接口，通过底层JNI实现调用，允许在R中直接调用Java的对象和方法。rJava还提供了Java调用R的功能，是通过JRI(Java/R Interface)实现的。JRI现在已经被嵌入到rJa

2014-11-12 22:43:16 1530

原创用R语言进行文件系统管理

阅读导读：1.R语言如何检查文件或目录是否存在？如何重命名一个文件？2.R语言如何查看和修改目录的权限？3.R语言如何删除一个文件？4.用R语言管理一个文件系统时，都有哪些特殊的目录？5.如何查看R软件指定包所在目录？1. 文件系统介绍计算机的文件系统是一种存储和组织计算机数据的方法，它使得对其访问和查找变得容易，文件系统使用文件和树形目录的抽象

2014-11-04 23:17:49 2936

原创写hive sql和shell脚本时遇到几个蛋疼的问题！

错误一：Hive的where中不能用别名，错误二：hive的groupby中不能用自定义函数，否则报错（用嵌套select代替）错误三：执行：$ ./hive_game_operationstatis5.sh 报错信息如下：./hive_game_operationstatis5.sh:line 11: [: missing `]'./hive_ga

2014-10-14 19:05:57 2755