学习 Druid(九):数据规划

Druid 为数据规划提供了 Tier 和 Rule 机制。 Tier 数据温度就是以数据的访问频次划分: 热数据,访问频次高 温数据,访问频次中 冷数据,访问频次低 为了最大限度的利用资源,热数据存放在速度快的介质(如内存),冷数据存放在廉价的介质上(如硬盘)。 Tier 是 Druid 提供的用于区分不同 Historical 使用介质的特性。通过编辑 »

学习 Druid(八):数据合并

Druid 提供了两种数据合并的方式: 手动合并:提交合并任务 自动合并:系统周期提交合并任务 手动合并 提交任务,以合并 2019 年 10 月 1 日至 2019 年 10 月 8 日期间的数据,时间粒度为天(day): { "type": "compact", "dataSource" »

学习 Druid(七):初识 Segment

更新至 Druid 0.15.1 版本 生命周期 Druid 参考了 LSM-Tree(日志结构合并树 Log-structured merge-tree)的实现,即提供了数据的快速摄入的能力,也提供了数据的海量存储的能力。 与经典 LSM-Tree 不同的是,Druid 没有 WAL 的过程也没有 SSTable 合并的过程。 生命周期: »

学习 Druid(四):HDFS 数据摄入

由于业务调整,需要批量修正历史数据。 或者,在 Lambda 架构 中,使用 Druid 作为 Serving 层,使用 Flink 作为 Speed 层,使用 Spark 作为 Batch 层。 Druid 提供了两种批量数据摄入的方式: 原生批量摄入,适用于小批量和大批量数据索引; »