1、中台架构学习

1、实时计算之解决之道

（1）服务器端日志抓取

（2）Jstorm程序分析

  (3)  入库列式存储,形成OLAP-Cube

1、消息顺序发布-->全局顺序Topic（先入先出原则）--消息顺序消费

2、全局顺序(先入先出原则、减少前端应用耗时或者使用分区顺序消息提升整体的并发能力)

3、分区顺序:

顺序Topic

sharding Key（分区字段）

、

EDAS产品特性：

1，服务化

2，应用全生命周期

3，数字化运营

4，高可用管控

产生背景：

烟囱式应用，

业务支持缓慢，

数据孤岛

无法进行数据全局分析

功能介绍：

1，高性能服务框架，去中心化系统架构。

2，对容错的支持

3，服务安全性，基于服务组

4，服务化基础设施，分布式任务调度服务，实时配置推送服务，分布式事务处理

5，分布式应用生命周期管理

6，弹性伸缩，采用CPU，RT和load三个指标进行扩容，缩容

7，分布式服务调用的链路跟踪与分析，鹰眼监控系统

8，服务监控，HTTP服务，RPC服务，消息服务和数据库服务

9，基础监控，CPU，内存，负载，网络和硬盘，支持实时和一周，单机与集群

10，链路容量计算。单机CPU使用率阈值70%为最佳

11，限流降级：针对非核心服务调用者限流（在服务提供者端，通过QPS和线程控制实现），针对系统需要调用的非核心服务进行降级（在服务消费者端，通过响应时间控制实现），保障核心业务的正常运行

自动化体系：弹性伸缩，限流降级，容量规划，线上演练，监控报警。

特征：运维标准规范和平台化，弹性伸缩自动化，部署自动化，故障处理自动化

优势：云计算的基本属性，人不能随着机器增加而增加

DRDS核心功能

分库分表

读写分离

全局事务服务-GTS

特性：服务化、应用生命周期、数据化运营、高可用管控

服务鉴权：发布、订阅、调用（分布式鉴权中心）

容量规划：单机CPU使用率70%最佳

EDAS Agent安装：控制台只有脚本，需要通过ssh登录后台才能安装

部署应用：有新版本war包时，不需要停止正在运行的应用，直接部署应用将自动覆盖

启动应用：HSF服务需要指定分组，否则发布不成功

监控大盘：针对应用的监控数据

基础监控：针对节点（单机/集群）的监控数据

服务监控：HTTP服务、RPC服务、消息服务、数据库服务

超大规模系统架构设计的一般规则：

1、尽可能拆分：业务的拆分，数据的拆分。

ECS（云服务器）和SLB（负载均衡）

异构索引 -- 空间换效率