Hive相关点小结 启动指令 hive == hive –service cli不需要启动server，使用本地的metastore，可以直接做一些简单的数据操作和测试。 启动hiveserver2hive –ser

hbase积累 细节点1.Rowkey设计原则 1.1 长度原则 rowkey 在hbase以二进制码流,可以是任意字符串, 最大长度是64kb,实际应用主要是100~100bytes 长度尽量为8的整数倍,因为现在的系统主要是64位

spark 学习 1spark 作为主流的实时计算引擎,需要高度掌握 spark介绍Apache Spark是一用于实时处理的开源集群计算框架.持多种语言编程,Spark Streaming有高吞吐量和容错能力强等特点.数据输入后可以

spark学习2spark 运行的四种模式 本地模式如 1./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[1] ./lib/spark

spark 算子 1234sparkRDD封装的函数方法又称算子,通过这些算子可以对RDD进行相关处理,从而获我们想要的结果,因为可能涉及的算子较多.因此单独开篇进行粒度更细,更集中的总结.总得来讲spark的算子,本就是scala集合的一

将Mysql数据导入Hive中 命令: 12345678sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true --connect jdbc:mysq