发表于 | 更新于 | 分类于

java基本了解jvm:java虚拟机,java跨平台的关键,实现将程序转换成操作系统可识别的指令jre:java runtime environment,java运行环境,包含jvmjdk:java development kit,java扩展包java1.0-java15版本的发展及LTS版本, ...

阅读全文 »

发表于 | 更新于

核心要点sql的规范非常重要： 1. sql语法使用的是clickhouse（目前使用ch） 2. 需要输入的参数使用{}括起来 3. 参数以sql_开头的会将传入的参数值作为整个sql的一部分,如BENCHMARK_IDS="333,444,555"会将它转 ...

阅读全文 »

发表于 | 更新于

Python:基础知识,mysql操作,爬虫,机器学习算法,numpy,pandas,数据分析,cython,numba,pypy,dask,pp了解,xgboost,clickhouse,nlp基础了解,pandarallel,pyspark,linux基础命令,数据结构与算法,复杂网络了解,接口 ...

阅读全文 »

发表于 | 更新于 | 分类于

整体概括pip3 install jupyter notebook1.在服务器安装jupyter notebook 并启动服务(jupyter notebook --ip 0.0.0.0)2.在windows浏览器输入地址,具体可看上面第一步的打印信息

阅读全文 »

发表于 | 更新于 | 分类于

联邦学习概念理解 ####PHE加密 from phe import paillierpublic_key, private_key = paillier.generate_paillier_keypair() #创建公钥和私钥secret_number_list = [3.141592653, ...

阅读全文 »

发表于 | 更新于 | 分类于

clickhouse:列式存储,一个用于(OLAP–>联机分析)的列式数据库管理系统(DBMS) clickhouse为啥快: ​ 1.有多少CPU吃多少资源 ​ 2.Clickhouse不支持事务,不存在隔离级别 ​ 3.IO方面,mysql是行存储,Clickhouse是 ...

阅读全文 »

发表于 | 更新于 | 分类于

1.安装1.安装curl系统包yum install -y curl2.安装clickhouse repositoriessudo yum install -y clickhouse-server clickhouse-client3.查询clickhouse包yum list 'clic ...

阅读全文 »

发表于 | 更新于 | 分类于

1.rdd转换成dataframe ---->rdd需要时列表或者元组构成的rdd1 = sc.parallelize([('a',1),('b',2)])df = spark.createDataFrame(rdd1)df.show()输出结果:+---+---+| _1| _2|+---+ ...

阅读全文 »

发表于 | 更新于 | 分类于

#####基本的RDD转换操作—————->将一个Rdd转换成宁一个Rdd 1.map()--->最基本的转换操作========================>对rdd的每一个元素做处理word = sc.parallelize(['a b','c d'])word.map(l ...

阅读全文 »