此处简介 flume记录from kafka 123456789101112131415161718192021222324252627282930313233343536373839a1.sources = source1a1.sour

spark编程积累 spark编程Inputhdfs操作hdfs比较常规,直接通过context.textfile(path) //即可实现 hbasehbase 则要通过newAPIHadoopRDD来实现 123

对hbase常规api进行封装 hbase日常api类封装

发现对hadoop的相关版本的组件,进程还有些模糊,借着针对hadoopHA模式搭建的过程,对hadoop进行一次细统的回顾. hadoop HA搭建与总结什么是HAHA即高可用 HA相关配置core-site.xml基本一致 hdfs

Hive相关点小结 启动指令 hive == hive –service cli不需要启动server，使用本地的metastore，可以直接做一些简单的数据操作和测试。 启动hiveserver2hive –ser

hbase积累 细节点1.Rowkey设计原则 1.1 长度原则 rowkey 在hbase以二进制码流,可以是任意字符串, 最大长度是64kb,实际应用主要是100~100bytes 长度尽量为8的整数倍,因为现在的系统主要是64位

spark 学习 1spark 作为主流的实时计算引擎,需要高度掌握 spark介绍Apache Spark是一用于实时处理的开源集群计算框架.持多种语言编程,Spark Streaming有高吞吐量和容错能力强等特点.数据输入后可以

spark学习2spark 运行的四种模式 本地模式如 1./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[1] ./lib/spark

spark 算子 1234sparkRDD封装的函数方法又称算子,通过这些算子可以对RDD进行相关处理,从而获我们想要的结果,因为可能涉及的算子较多.因此单独开篇进行粒度更细,更集中的总结.总得来讲spark的算子,本就是scala集合的一

将Mysql数据导入Hive中 命令: 12345678sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true --connect jdbc:mysq