Tag
#大数据
spark学习笔记
是可以在不安装Hadoop的情况下，直接单击运行spark。可以直观的感受下。
Presto 入门教程
之前遇到需求对dt，陪访人,陪访对象三列进行去重统计。多列去重统计可以用子查询或者拼接字符串来实现，很明显这里不适合子查询。于是使用拼接。presto 拼接字符串 concat只能是两个参数，可以使用||来拼接字符串非常方便。
数据库系列之hbase
hbase在测试环境下允许我们配置文件中将数据文件存到本地文件中（file:///表示本地文件），意味着我么可以不启动hdfs,但是java版本必须1.6以上。用实验楼的环境，在运行status和创建数据库的时候，报zookeeper的错误
Hadoop入门系列之Hive
Hive Hadoop 系列Hive本质上并不是一个数据库，是个数据仓库。是一个sql引擎，通过将sql语句转换成mapred任务运行。应该Hive带着许多Hadoop特性。比如适合统计分析，但是由于其速度太慢，所以不太适合做实习查询。（这个还是mapred导致的）
大数据problem记录
问题集锦 Hadoop篇 排序的意义到底在哪里？ 每个节点一般是100map 每个block一个map mapred的master jobtracker 以及tasktracker与hdfs有关系吗 有没有那种对应关系 pkg格式的怎么安装 reduceTask任务个数怎么理解。分区个数将会决定re
Hadoop学习笔记
尚学堂-肖冰在讲node1的公钥内容直接复制给node中的认证文件中，想以此实现免密码登陆，但是没有成功。最后的解决办法是在node2,node3,中生成密钥文件，实现本地免密码登陆。然后在node1生成认证文件，然后直接将该文件通过scp将文件传输到node2,然后将该内容重定向追加到认证文件中。
利用Python进行数据分析
利用Python进行数据分析其实学习工作中碰到的数据分析许多多是sql直接搞定了。但是sql的灵活性还是不弱真正的编程语言灵活，其科学计算方法也显得单薄，远不如Python的科学计算包丰富。比如之前在特征集中一般会有前一天、前两天、前三天的三列，但是如果我们需要计算这三列的方差什么的就不好算了。有些