- 博客(646)
- 收藏
- 关注
RSS订阅原创 No compiler is provided in this environment. Perhaps you are running on a JRE rather than a JDK?
JAVA_HOME不能配置为jre路径。
2023-01-01 15:15:41
215
原创 vscode代码补全
https://stackoverflow.com/questions/42660670/collapse-all-methods-in-visual-studio-code
2022-09-14 10:38:43
335
原创 ModuleNotFoundError: No module named ‘keras.engine.topology‘
代码】ModuleNotFoundError: No module named 'keras.engine.topology'
2022-08-14 12:47:03
5825
1
原创 获取tensorflow中各个tensor的名字
原文：https://stackoverflow.com/questions/36883949/in-tensorflow-get-the-names-of-all-the-tensors-in-a-graphI’ll try to summarize the answers:To get all nodes in the graph: (type tensorflow.core.framework.node_def_pb2.NodeDef)To get all ops in the graph: (ty
2022-06-10 08:41:29
431
1
原创 AttributeError: module ‘tensorflow‘ has no attribute ‘Session‘
问题：解决：https://stackoverflow.com/questions/55142951/tensorflow-2-0-attributeerror-module-tensorflow-has-no-attribute-session
2022-06-06 11:00:05
82
原创 tensorflow_datasets.core.features‘ has no attribute ‘text‘
FYIhttps://github.com/tensorflow/datasets/issues/2647Indeed, the API is deprecated. Please use tfds.deprecated.text or update your code to use tensorflow_text https://www.tensorflow.org/datasets/api_docs/python/tfds/deprecated/text
2022-04-07 09:51:41
341
原创 ValueError: not enough values to unpack (expected 2, got1)
numpy array的shape 为 （1000，），需要进行显示的shape转换 ,不然读不到x和y上的维度np.array([np.array(line) for line in data['embeding'].values])
2021-12-05 15:05:33
1237
原创 Linux - tr用法
tr 用法1.tr string1 string2替换正则表达式string2替换strin1 echo 'hello' | tr 'ho' 'ab'aellb2. tr -d string1删除匹配string1正则的字符echo 'hello123test' | tr -d '0-9'hellotest3. tr -s string1将匹配到的重复字符串用单个字符串替换...
2021-08-24 09:20:24
293
原创 Only Size-1 Arrays Can Be Converted To Python Scalars Error
参考https://www.pythonpool.com/only-size-1-arrays-can-be-converted-to-python-scalars-error-solved/
2021-07-14 15:29:38
661
原创 雅克比迭代与高斯赛德尔迭代法
雅克比迭代和高斯赛德尔迭代法可以用来求线性方程组的近似解，与雅克比迭代不同的是，高斯赛德尔迭代法在第k+1次迭代求 xik+1x_{i}^{k+1}xik+1时，会用到 x1k,x2k..xi−1kx_{1}^{k},x_{2}^{k}..x_{i-1}^{k}x1k,x2k..xi−1k 的值。假设有如下的线性方程组：a11⋅x1+a12⋅x2+…+a1n⋅xn=b1a21⋅x1+a22⋅x2+…+a2n⋅xn=b2⋮=⋮an1⋅x1+an2⋅x2+…+ann⋅xn=bn.\begin{al
2021-06-05 16:45:09
4071
原创 Uplift modeling for clinical trial data 论文阅读
P(Y=1∣X1,…,Xm,G=T)−P(Y=1∣X1,…,Xm,G=C)=PT(Y=1∣X1,…,Xm)−PC(Y=1∣X1,…,Xm)\begin{array}{l}P\left(Y=1 \mid X_{1}, \ldots, X_{m}, G=T\right) \\\quad-P\left(Y=1 \mid X_{1}, \ldots, X_{m}, G=C\right) \\\quad=P^{T}\left(Y=1 \mid X_{1}, \ldots, X_{m}\right)-P^{C}
2021-06-05 14:09:51
481
原创 cpp虚函数
当基类指针指向一个子类对象，通过这个指针调用子类中和基类同名成员函数的时候，基类声明为虚函数时机会调用子类的成员函数，不声明就会调用基类。举个例子#include <iostream>using namespace std;class A { public : virtual void foo() = 0; // { // cout << "class_A" << endl; //
2021-05-27 22:36:47
517
原创 vscode-coderunner 将c++ build文件生成到指定目录
"cpp": "cd $dir && g++ -std=c++11 $fileName -D LOCAL -o /xx/$fileNameWithoutExt && /xx/$fileNameWithoutExt",/xx 指绝对路径
2021-05-27 20:29:25
932
1
原创 vscode tf2.0无法自动补全问题
workspace的setting中加上"python.autoComplete.extraPaths": ["/Users/xx/opt/anaconda3/envs/tensorflowcpu_env/lib/python3.7/site-packages/"]注意后面是个数组，之前参考了这个链接，起始没必要（改__init__文件）https://github.com/tensorflow/tensorflow/issues/32982...
2021-04-06 11:23:52
1222
原创 Initializing libiomp5.dylib, but found libiomp5.dylib already initialized.
加上import osos.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
2021-04-02 15:51:04
175
原创 ValueError: Object arrays cannot be loaded when allow_pickle=False
ValueError: Object arrays cannot be loaded when allow_pickle=False添加如下代码np_load_old = np.loadnp.load = lambda *a, **k: np_load_old(*a, allow_pickle=True, **k)
2021-04-02 14:39:34
130
原创 VsCode py代码标红
代码没问题，但是会被标红打开workspace, 在settings中加入"python.linting.pylintArgs": ["--generate -members"]
2021-03-14 13:23:03
1473
原创 hive合并多个数组
hive> select split(concat_ws(',',array("john", "james"), array('peter'), array("sam","peter")), ",") as a;OK["john","james","peter","sam","peter"]https://stackoverflow.com/questions/53958869/hiveql-merge-array-columns
2021-02-22 23:49:51
9785
原创 Hive grouping sets、cube 、rollup
背景假设有如下数据with query1 as ( select stack (5, 'A', 'x', '1', 1, 'B', 'x', '1', 2, 'C', 'x', '0', 3, 'D', 'y', '0', 4, 'E', 'y', '0', 5 ) as (a,b,c,d))假设a、b、c、d是数据中的四种属性现在想通过group by 操作统计出这四种属性不同组合的结
2020-12-06 16:27:21
929
原创 Hive in、exists 和 left semi join
with query1 as ( select stack(4, 'A', 1, 'B', 2, 'C', 3, 'D', 4) as (k,v)),query2 as ( select stack(4, 'A', 5, 'B', 6, 'E', 7, 'F', 8) as (k,v))数据：A:B:从保留A中k在query2中出现的数据1.常规写法select t1.k as k, t2.v as vfrom ( select k,
2020-12-05 12:54:16
1798
原创 Hive case when 两种写法
case when uid = 1 then 1 when uid = 2 then 2 else 3end as new_uidcase uid when 1 then 1 when 2 then 2 else 3end as new_uidbtw: case when不同条件之间是互斥的，下层的when条件肯定不满足上层所有when的条件
2020-12-02 23:14:12
2670
原创 maven项目 java.lang.NoClassDefFoundError
pom的dependency的scopeprovided–> 改为 compile 或者注释掉，因为后者为默认值
2020-11-30 17:18:53
1488
原创 更新pom后下载对应的包
下面三种方法都可以mvn install mvn packagemvn dependency:resolve参考https://stackoverflow.com/questions/8563960/maven-command-to-update-repository-after-adding-dependency-to-pom
2020-11-28 13:09:37
367
原创 hive生成连续日期或数字
with subquery as ( select split(space(datediff('2020-11-30','2020-11-01')), ' ') as x) select date_add('2020-11-01', idx) as new_datefrom subquery t lateral view posexplode(x) pe as idx, ele
2020-11-19 20:25:09
3917
1
原创 Linux vim升级到8并支持python3
git clone https://github.com/vim/vim.gitcd vim#make distclean # if you build Vim beforemake -j8sudo make installcp src/vim /usr/bin如果遇到no terminal library found checking for tgetent()... configure: error: NOT FOUND! You need to install a terminal
2020-11-11 16:54:18
492
原创 c++匿名函数前的[]
摘自 stackoverflowhttps://stackoverflow.com/questions/39789125/what-does-mean-before-functionIt means that the lambda function will capture all variables in the scope by reference.To use other variables other than what was passed to lambda within it, we c
2020-11-07 00:28:25
471
原创 Mac下配置maven
1.下载mvnhttp://maven.apache.org/download.cgi2.解压到/Library 目录下tar -zxf souce destination3.配置.bash_profile没有的话先创建一个touch ~/.bash_profile编辑open ~/.bash_profile添加JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-15.jdk/Contents/HomePATH=$PATH:$JAVA
2020-09-20 13:31:28
1136
原创 c++创建对象方式
#include<iostream>using namespace std;class people{public: people(string name, int age){ _name = name; _age = age; } people(); ~people(){ cout << "class people end" << endl; } void getA
2020-09-12 16:08:45
359
原创 Hive使用with...as建立子查询
基本格式with sub_query_name1 as ( select xx from xxx), -- 注意这里用逗号分割sub_query_name2 as ( --注意这里没有as，上面一个as跟多个sub_query select xx from xx)select --正式查询语句，与上面的with as直接没有符号分割 xxfrom xx注意事项sub_query直接用逗号分割，一个sub_query用圆括号扩起来with 只能使用一次，后面
2020-08-30 17:00:51
2048
原创 Hive用直接传入的数据生成表
需求想通过fixed的数据直接生成一个hive 表，不是select from其他表的那种。类似pandas 生成dataframedata = pd.DataFrame([[1,2,3], [4,5,6]], columns=['a','b','c'])在Hive中可以通过stack来实现，stack APIhttps://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-stack(v
2020-08-30 12:06:31
326
原创 Vscode coderunner运行环境问题
现象conda装了各种包，coderunner运行py项目显示环境有问题解决办法打开setting文件添加如下信息，输入“code-runner”会自动补全，修改python对应的环境路径即可"code-runner.executorMap":{ "javascript": "node", "java": "cd $dir && javac $fileName && java $fileNameWithoutExt",
2020-08-27 00:24:18
2344
原创 Vscode终端python环境不一致问题
现象mac终端下可以使用conda环境，VS终端下输入python启动的是自带的py2解决办法打开全局setting.json(不是.vscode下的那个）添加如下（path后面为空str） "terminal.integrated.env.osx": { "PATH": "" }保存重启即可...
2020-08-27 00:20:39
4994
2
原创 Hive条件count
记住一件事count时， null不coutsum 时，null不统计，相当于0条件count1.用ifcount(if(substr(uid,0,1)='4',uid,null))if(条件，条件成立值，条件不成立值）2.用case whencount(case when substr(uid,0,1)='4' then uid else null end)count(case when substr(uid,0,1)='4' then uid end )case when可以
2020-08-26 01:06:53
5000
5
原创 广告竞价-广义第二出价
定义广义第二出价（GSP）是暗拍的一种（明拍就是电视上常看到的实时举牌叫价），竞拍一次报价，一次竞价出结果，竞拍方互相不知道对方的出价，商品最终以竞拍者出价的第二高的价格卖出，目前各大互联网公司的广告竞价系统基本都是基于GSP来做的。为什么GSP成为主流？1.广告平台视角：A和B竞拍一些商品，第一次A出价100获胜，第二次A出价99又获胜，接下来的竞价中，A通常会继续压低自己的价格，因为基于前两次竞价A大致能感觉到B出价不高，在后续的竞拍中继续压低自己的价格，给广告平台带来损失；2.竞拍方视角：可以
2020-08-10 00:17:25
2529
原创 深入理解XGBoost
目标函数的基本形式模型对于某个样本的预测值：fkf_{k}fk是基学习器，最终模型是多个基学习器最初的目标函数可以写成y^i(t−1)\hat{y}_{i}^{(t-1)}y^i(t−1)：是前t-1个集成学习器对样本的预测值ft(xi)f_{t}\left(\mathbf{x}_{i}\right)ft(xi)：是当前学习器对样本的预测值Ω(ft)\Omega\left(f_{t}\right)Ω(ft)：是第t个学习器的正则项对目标函数进行泰勒二阶展开gi=∂y^(t.
2020-08-09 23:25:46
989
原创 深入理解GBDT
基本概念概述Gradient Boosting Decision Tree，梯度提升决策树。GBDT是一个Boosting算法 ， Boosting算法将弱分类器集成成一个强分类器，相比于bagging：boosting算法中当前的分类器会受到之前的学习器的影响，比如adaboost当前学习器中样本的权重是前n轮学习器改变后的结果，比如GBDT中当前学习器要拟合东西是前n个学习器产生的残差。而bagging算法中每一个学习器都是相对独立的，不会受到其他学习器的影响。GBDT 相当于 Grad
2020-08-09 23:05:25
841
2
原创 逻辑回归——你想知道的全在这里
概述逻辑回归是一个假设样本服从伯努利分布，利用极大似然估计和梯度下降求解的二分类模型，在分类、CTR预估领域有着广泛的应用。公式推导逻辑回归是用来解决分类问题用的，与线性回归不同的是，逻辑回归输出的不是具体的值，而是一个概率。除去了sigmoid函数的逻辑归回和线性回归几乎是一样的。有人说逻辑回归不是回归，因为输出的不是回归值。也可理解为逻辑回归是先求回归函数，再将结果通过逻辑函数转化一下得到最终的结果。基本步骤：构造hypothesis构造损失函数通过损失函数最小化求目标函数的各个参数
2020-08-09 22:27:53
398
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人