概述

NetCat，在网络工具中有“瑞士军刀”美誉，其有Windows和Linux的版本。因为它短小精悍（1.84版本也不过25k，旧版本或缩减版甚至更小）、功能实用，被设计为一个简单、可靠的网络工具，可通过TCP或UDP协议传输读写数据。同时，它还是一个网络应用Debug分析器，因为它可以根据需要创建各种不同类型的网络连接。

准备工作

1) 安装java和python（略）
2) 安装zookeeper

storm是什么？

• 免费、开源、分布式、高容错的实时计算系统；
• 支持每秒每个节点百万tuple的实时处理；
• supervisor 无状态(状态都保存在ZK或者磁盘上)和快速失败(每当遇到任何意外情况进程自动毁灭)的，因此supervisor的失败不会影响当前正在运行的任务，只要及时将他们重新启动即可；

DataX简介

设计理念

为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。

hadoop完全分布式(fully)安装

主机资源的整体规划

1
2
3
4
5
6

host01        host02              host03            备注 (测试机器配置 32vCPU 128gMem 2tDisk)
#----------------------------------------------------------------------------------------#
namenode      secondarynamenode   redourcemanager   实际环境中nn、snn、rm重要节点必须单独部署
datanode      datanode            datanode          主要消耗硬盘
nodemanager   nodemanager         nodemanager       主要消耗CPU
                                  historyserver     MR任务历史记录服务