发表于 | 更新于 | 分类于

Linux基础 根目录下的文件 /bin 存放着系统必备执行文件 /boot linux启动核心文件 /dev linux的外部设备(device) /etc 配置文件和子目录 /home 用户目录 /lib 类似于windowns里的dll文件,动态 ...

阅读全文 »

发表于 | 更新于 | 分类于

必备知识概念 数据挖掘,最简单的就是统计应用,进一步基于用户的浏览点击,收藏推断用户的年龄,性别等,更深层次的如预测机器学习是实现数据挖掘的一种方法和手段数据的最基本形式是数据库数据、数据仓库数据、和事务数据数据仓库:是一个从多个数据源收集的信息存储库数据挖掘(data mining):旨在从大量的 ...

阅读全文 »

发表于 | 更新于 | 分类于

###pandas数据算术运算 pandas元素相加 df1+df2 pandsa和series相减 df1-s1 apply和applymap #apply操作DataFrame的每一列,而applymap操作DataFrame的每一个元素f1 = lambda x : "%.3f"%xdf1.a ...

阅读全文 »

发表于 | 更新于 | 分类于

mysql引擎 水平分表:当一个表的数据太大时效率大大降低,水平分表就是将整个大表拆成不同的小表,每一次查询会判断数据在哪个表中,每一次查询会判断在那个表中,然后对应去查找,提高效率垂直分表:当表中某些字段不常用的时候可以把不常用的字段切到宁一个表中,然后建立关联关系innodb:最常用的引擎,支持 ...

阅读全文 »

发表于 | 分类于

针对Series和Pandas如果传入的列没有数据则默认全部为nan值 Series方法s1.valuess1.indexs1.reset_indexs1.isnulls1.notnulls1.sort_valuess1.sort_indexdf.reindex([]) 重造索引,不存在的值为na ...

阅读全文 »

发表于 | 更新于 | 分类于

函数规范#声明函数的作用以及各个参数的用法def func(a,b,c): ''' :param a: :param b: :param c: :return: ''' 缩进四个空格或者直接使用tab符号 行最大长度每行代码最大字符不超过80个 类类与类之 ...

阅读全文 »

发表于 | 更新于 | 分类于

方法1:推荐ls = [i for i in range(15)]n = 3 #大列表中几个数据组成一个小列表ls[i:i+n] for i in range(0,len(ls),n) #####方法2: def list_of_groups(init_list, childern_list_le ...

阅读全文 »

发表于 | 更新于 | 分类于

对于xxx这种格式当我们想要获取title的标题内容的时候,方法一是通过的括号分组实现,宁外一种方法就是断言 pattern = re.compile(‘(?<=title>).*(?=)’)re.findall(pattern,’xxx‘) 断言条件 解释 (?=exp) ...

阅读全文 »

发表于 | 分类于

PCA主成分分析1.降维的概念: 降维是一种对高维度数据预处理的方法,保留重要的特征,去除噪声和不重要的特征,从而实现提升数据处理速度的目的.降维的方法:1.SVD奇异值分解2.PCA主成分分析(使用最广泛)3.FA因子分析4.ICA独立成分分析 2.PCA的概念 思想是将n为特征映射到k维上,k维 ...

阅读全文 »

发表于 | 更新于 | 分类于

2.Series重命名s1.name='hello',rename不好使3.方差是协方差的特殊情况，两者公式基本无差别，方差针对一维，协方差针对二维，n-1对应无偏估计4.re模块.想要匹配换行符时候,可以在pattern里面添加re.DOTALL eg:pattern = re.compile(' ...

阅读全文 »