星环大数据TDH简介

1.1. Transwarp Data Hub介绍

2006年Hadoop技术的出现标志着大数据技术时代的开始，经过10多年的蓬勃发展，大数据技术已经真正承托起一大批企业的数据基础架构。经过4年的快速演进，Transwarp Data Hub（简称TDH）已成为国际一流的大数据平台。从2016年起，TDH正式成为Gartner认可的Hadoop国际主流发行版本。

TDH是国内外领先的高性能平台，比开源基于Hadoop MapReduce计算框架的版本快10x~100x倍。TDH应用范围覆盖各种规模和不同数据量的企业，通过内存计算、高效索引、执行优化和高度容错的技术，使得一个平台能够处理GB级到PB级的数据，并且在每个数量级上，都能比现有技术提供更快的性能；企业客户不再需要混合架构，TDH可以伴随企业客户的数据增长，动态不停机扩容，避免MPP或混合架构数据迁移的棘手问题。

TDH主要提供5款核心产品：Transwarp Inceptor是大数据分析数据库，Transwarp Slipstream是实时计算引擎，Transwarp Discover专注于利用机器学习从数据中提取价值内容，Transwarp Hyperbase用于处理非结构化数据，Transwarp Search用于构建企业搜索引擎。通过使用TDH，企业能够更有效的利用数据构建核心商业系统，加速商业创新。
TDH产品的主要技术优势包括以下几个方面：
1. 极致的性能与可扩展性
TDH的批处理速度是开源Hadoop的10-100倍，是MPP的5-10倍，可以对从GB到PB级的数据量实现复杂的查 询和分析。TDH具有高可扩展性，用户可以通过增加集群节点数量，线性提高系统的处理能力。
2. 容器技术与大数据平台
TDH支持部署于TCOS之上。TCOS是为大数据应用量身订做的云操作系统，基于Docker和Kubernetes，支持一键部署TDH、扩容、缩容，同时支持基于优先级的抢占式资源调度和细粒度资源分配。
3. 完整的SQL和ACID支持
Transwarp Inceptor是第一个实现完整SQL支持的Hadoop发行产品。它不仅支持SQL 2003，Oracle PL/SQL以及DB2 SQL PL，还实现了完整的ACID和CRUD功能。TDH提供JDBC和ODBC驱动连接，方便第三方工 具运行于TDH之上。
4. 低延迟的流处理
Transwarp Slipstream是同时支持事件驱动和微批处理的流处理引擎，计算延迟最低可至5ms。它提供标准的SQL编程接口，还支持高可用性（HA）和Exactly-Once的语义，从而支持7x24小时的生产业务。
5. 丰富的机器学习和深度学习功能
Transwarp Discover支持用户通过R语言和Python开发机器学习项目，也可以用图形化的工具做分析。
6. 大数据上的全文搜索
Transwarp Search支持通过SQL实现大数据上的秒级全文搜索，它利用层次化存储、堆外内存管理等创新性技术，极大的提高了系统的可用性。此外，Search还可以结合Inceptor提供较强的数据分析能力。
7. 图形化的大数据开发工具套件
Transwarp Studio是TDH中的大数据开发工具集，包括元数据管理Governor、工作流Workflow、数据整合工具Transporter，Cube设计工具Rubik以及报表工具Pilot。用户可以使用这些图形化工具来提高大数据的开发效率，降低技术门槛。
8. 多样化的数据处理功能
Transwarp Hyperbase用于存储和计算结构化或非结构化数据，包括日志记录、JSON/XML文件以及二进制数据（如图像和视频）。Hyperbase底层是KV的数据库，因此其非常适合高频次的数据入库、高并发精确 检索等业务。
9. 简易的操作和管理
Transwarp Transwarp Manager是专门用于部署、管理和运维TDH集群的组件。它支持产品一键安装、一键升级和图形化运维，并提供了预警和健康检测功能，帮助用户简化运维过程。
10. 统一的安全/多租户管理
Transwarp Guardian是TDH平台中实现安全控制和资源管理的中央服务平台，它支持Kerberos和LDAP认证，可以做细粒度的权限控制，并且提供租户管理功能。
1.2. 集群结构
创建一个集群前，首先必须对整个集群进行规划，规划包括集群节点、网络、软件模块分布等部分。运维人员必须保证将用于构造集群的服务器满足Transwarp Data Hub系统的基本要求。这些要求包括硬件要求、软件要求、内存要求、网络要求等。第二章将对这些要求进行详细介绍。Transwarp Data Hub通过网络连接所 有服务器并实现整个集群的服务，因此架构师需要仔细计算应用服务对网络带宽和延迟的需求并规划整个网络拓扑，如您需要规划帮助可以咨询星环科技的售前人员和架构师。在应用规划中您需要根据应用的特点决定哪些软件模块和组件需要安装。我们将列出安装前的硬件和软件要求，在满足这些要求的基础上，您才可以开始进行系统安装。系统安装包括以下步骤：
1. 在集群中所有的节点上安装所需要的操作系统。
2. 在管理节点上安装Transwarp Manager。
3. 通过Transwarp Manager来把所有的节点加到集群中、对这些节点部署相关软件和配置，并安装服务。