此处简介 sed & awk小结一直想认真掌握sed与awk已经很久了，但一直未找个以特别详细的资料和时间来做这件事，正好这两天受到启发，转而翻墙搜索国外资源，有了很大的收获，趁次机会攻克下来 前言sed与awk总得来说是两样东

此处简介 反射小结什么是反射反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反射机制。对于反射

此处简介 异常处理机制小结 在 Java 中，所有的异常都有一个共同的祖先 Throwable（可抛出）。Throwable 指定代码中可用异常传播机制通过 Java 应用程序传输的任何问题的共性。 Throwable：

此处简介 #测试环境搭建小结因一些原因，最近协助搭建测试服务器，主要涉及到了一服务器系统安装，环境配置，参数调优，软件使用，自动化建设等内容，因为主要是协助，所以着重小结我参与的部份 参数调优这里的参数调优主要针对的是服务器的调优，主要

此处简介 文本处理小结此处的文本处理主要针对的是日常工作中主要遇到的一些场景小结，小结主要围绕技能展开，但不局限于某一技术点， 文本处理的主要类型 排序 去重 合并 切割 取集 打乱排序 模糊匹配 替换 1总得来说，目前主要的文本处

此处简介 这阵子主要研究的爬虫方向，主要以java为语言基础,nutch为自动框架，jsoup作为自主爬虫插件开发基础，进行了一些有针对性的实站，在这些过程中，也遇到了一些问题和心得，觉得有必要总结一下 爬虫之nutchnutch使用

此处简介 kafka小结消息系统术语kafka特性 分布式的 可分区的 可复制的 在普通的消息系统的功上，还有自己独特的设计 Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers

sparkstreaming时间窗口设置 说明通过sparkstreaming设置窗口函数,可达到如,每10秒计算前30秒内数据的效果 如上 主要有两个参数 窗口大小 滑动距离 val windowedWordCounts 

spark依赖说明 种类spark的依赖关系大致有两类 narrow dependency wide dependency 说明narrow dependency父Partition ===> 子

spark中如何实现全局count 说明两种方式都可以实现对同一key的累计统计 区别updateStateByKey会返回无增量数据的状态,所以会相对较大的数据资源开销mapStateWithKey 相当于增量统计 使用updateS