Deven Home

市场报表

Fri, 31 Mar 2023 05:48:29 GMT

车商城数据日报、双十二活动报表与数据看板的指标口径梳理。

技术

Sun, 26 Feb 2023 13:36:23 GMT

数据同步工具、任务调度与数据仓库的技术选型笔记。

数据字典平台

Wed, 22 Feb 2023 06:09:48 GMT

数据字典平台的数据预览、HQL 拼接关联与大文件下载问题梳理。

数据治理浅谈

Tue, 21 Feb 2023 02:26:22 GMT

数据治理的概念、必要性、目标与落地路径梳理。

Flink CDC 与 CEP

Mon, 20 Feb 2023 12:07:50 GMT

Flink 思维导图笔记，梳理 Flink CDC 与 Flink CEP 的核心概念与使用场景。

yarn-cluster模式下AM和Driver启动过程

Mon, 20 Feb 2023 02:28:01 GMT

Yarn-cluster 模式下 ApplicationMaster 与 Driver 的完整启动流程梳理。

task读写数据过程

Sat, 18 Feb 2023 11:08:30 GMT

Task 读写数据的过程梳理，从上游读取到落盘的完整链路。

flink启动全流程

Sat, 18 Feb 2023 09:56:44 GMT

Flink 作业从客户端提交到 JobManager、TaskManager 启动的完整流程梳理。

watermark

Fri, 17 Feb 2023 07:54:21 GMT

Watermark 的产生、传播与触发机制梳理。

商用车资产台账

Wed, 08 Feb 2023 03:22:42 GMT

商用车资产台账的数据结构与业务字段梳理。

jvm

Tue, 27 Dec 2022 10:51:15 GMT

不能先去数据库查询再判断再去扣减，多线程去查然后扣减肯定有超卖的情况

Wed, 07 Dec 2022 14:28:31 GMT

不能先去数据库查询再判断再去扣减，多线程去查然后扣减肯定有超卖的情况

Kafka 启动命令

Wed, 09 Nov 2022 02:27:09 GMT

./bin/zookeeper-server-start.sh config/zookeeper.properties &

git使用技巧

Mon, 11 Jul 2022 01:39:31 GMT

如果commit注释写错了，先要改一下注释

去重不仅仅有 count distinct 还有强大的 deduplication

Wed, 15 Dec 2021 02:40:30 GMT

下面即是文章目录，也对应到了本文的结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助：

finkSQL

Wed, 15 Dec 2021 02:28:38 GMT

1. 背景及应用场景介绍：join 作为离线数仓中最常见的场景，在实时数仓中也必然不可能缺少它，flink sql 提供的丰富的 join 方式（总结 6 种：regular join，维表 join，temporal join，inter...

大型开源项目参与经验分享：从 Good First Issue 到核心贡献者

Mon, 20 Sep 2021 16:30:00 GMT

参与 Kubernetes、React 这类大型开源项目的完整路径：如何找到切入点、读懂贡献流程、让 PR 被合并，最终成为核心贡献者。

sql优化

Wed, 11 Aug 2021 09:06:56 GMT

某个列唯一键（Distinct_Keys）的数量叫作基数。比如性别列，该列只有男女之分，所以这一列基数是2。主键列的基数等于表的总行数。基数的高低影响列的数据分布。

java lamda

Thu, 05 Aug 2021 10:35:20 GMT

List list = new ArrayList();

BF与BM与KBM

Mon, 26 Jul 2021 03:41:57 GMT

让bf算法让模式串一位一位挪动

数据仓库分层

Mon, 05 Jul 2021 03:04:09 GMT

想要知道数仓要分几层，那就必须得先回答另一个问题：就是数据仓库为什么要分层？分层思想到底是在干什么？

Hbase优化

Wed, 30 Jun 2021 02:49:18 GMT

1. 读请求是否均衡

debezium使用

Wed, 16 Jun 2021 09:51:44 GMT

docker run -it --rm --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 debezium/zookeeper:latest

数据指标是什么

Wed, 16 Jun 2021 08:31:54 GMT

数据指标就是将大数据之“大”的精髓给提炼出来，展现每日观察数据的使用者最迫切想要看到的统计量。数据指标体系并不是第三方服务公司的专利，只要对埋点科学地进行数据采集，每个成型的互联网公司都可以自己搭建数据指标体系。

Kubernetes Operator 开发：用 CRD 和控制器封装运维知识

Tue, 15 Jun 2021 17:00:00 GMT

深入 Operator 模式：自定义 CRD，用 controller-runtime 编写 Reconcile 循环，把有状态应用的运维经验代码化。

数据湖与数据仓库的区别

Tue, 25 May 2021 02:51:27 GMT

我们都知道，进行数据分析工作的时候会用到很多的工具，比如说数据湖和数据仓库，不过这两者之间的差异和区别，可能会让人困惑。那么大家知道不知道数据湖和数据仓库的区别是什么呢？下面我们就给大家介绍一下数据湖和数据库的相关知识。

大型 Monorepo 协作经验分享：工具链与分支策略

Mon, 24 May 2021 17:00:00 GMT

当仓库长到几十 GB、几百人同时提交，Git 原生工作流开始失效——分享 monorepo 协作中工具链与分支策略的落地经验。

超大流量的多层嵌套日志ETL作业过程优化经验总结

Thu, 20 May 2021 07:21:32 GMT

流量超大，每秒钟160条至800条日志记录流入，每条记录有近2M字节；每天流入500万到1100万记录

SparkSQL优化分享

Wed, 19 May 2021 09:22:16 GMT

在大数据处理中，基于spark计算引擎在大数据离线计算领域所占的比例越来越高，同时也会产生越来越来多的性能问题。下面根据自己使用的spark sql的经验，并参考业界的经验，总结出以下优化方法。一般而言，常见的影响spark任务快慢的因素主...

深入 ProtoBuf

Wed, 19 May 2021 03:21:16 GMT

之前在网络通信和通用数据交换等应用场景中经常使用的技术是 JSON 或 XML，而在最近的开发中接触到了 Google 的 ProtoBuf。

yarn相关命令

Wed, 19 May 2021 01:52:07 GMT

yarn applicationattempt -list application_1437364567082_0106

Spark sql 小文件问题得解决方案分享

Tue, 18 May 2021 10:40:02 GMT

Spark sql 小文件问题得解决方案分享

高性能队列Disruptor

Sat, 08 May 2021 02:54:30 GMT

Disruptor是英国外汇交易公司LMAX开发的一个高性能队列，研发的初衷是解决内存队列的延迟问题（在性能测试中发现竟然与I/O操作处于同样的数量级）。基于Disruptor开发的系统单线程能支撑每秒600万订单，2010年在QCon演讲...

spark的join原理

Thu, 06 May 2021 02:25:27 GMT

当前SparkSQL支持三种join算法：Shuffle Hash Join、Broadcast Hash Join以及Sort Merge Join。

maven导包出现问题

Thu, 01 Apr 2021 09:35:49 GMT

在Maven命令后加入参数“-Dmaven.wagon.http.ssl.insecure=true -Dmaven.wagon.http.ssl.allowall=true”

阿里二面：什么是mmap

Mon, 22 Mar 2021 02:21:38 GMT

平时在面试中，你肯定会经常碰见的问题就是：RocketMQ为什么快？Kafka为什么快？什么是mmap？（注意是mmap，不是mmp）

ES优化

Wed, 03 Mar 2021 10:59:53 GMT

Linux系统资源限制优化

zuul

Tue, 23 Feb 2021 03:10:37 GMT

在微服务的架构中，服务网关就是一个介于客户端与服务端之间的中间层。在这种情况下，客户端只需要跟服务网关交互，无需调用具体的微服务接口。这样的好处在于，客户端可以降低复杂性；对于需要认证的服务，只需要在服务网关配置即可；同样也方便后期微服务的...

presto原理简介

Fri, 19 Feb 2021 07:09:46 GMT

Presto是一个facebook开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。presto的架构由关系型数据库的架构演化而来。presto之所以能在各个内存计算型数据库中脱颖而出，在于以下几点：

自定义udf函数

Fri, 19 Feb 2021 02:31:30 GMT

使用Intellij工具开发Hive的UDF函数，进行编译；

开源合规经验分享：License 选择、DCO 与 CLA 签署

Mon, 15 Feb 2021 15:40:00 GMT

梳理主流开源 License 的区别与选择建议，解释 DCO 和 CLA 的作用，以及贡献开源前必须知道的合规常识。

ES搜索策略

Tue, 22 Dec 2020 09:58:21 GMT

1. 为帖子数据增加content字段

ES的路由机制

Mon, 21 Dec 2020 02:03:11 GMT

一条数据是如何落地到对应的shard上的？

数据库原理知识

Thu, 17 Dec 2020 10:09:50 GMT

首先说一下,在最原始的数据库理论中,是没有MVCC这个概念的.如果现在的DBA学习数据库理论,用一些比较老的教材,会发现,课本上理论的实现,与实际上操作的数据库之间,是有很大差别的.

Hive cube rollup 与 groupingsets

Mon, 14 Dec 2020 06:52:46 GMT

介绍 Hive cube 的 rollup 和 groupingsets 语法。

orc文件格式

Mon, 14 Dec 2020 05:51:46 GMT

ORC的全称是(Optimized Row Columnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和P...

InfluxDB简介

Thu, 10 Dec 2020 03:19:09 GMT

在 InfluxDB 中，我们可以粗略的将要存入的一条数据看作一个虚拟的 key 和其对应的 value(field value)。格式如下：

nifi调优

Wed, 09 Dec 2020 02:57:08 GMT

java.arg.13=-XX:+UseConcMarkSweepGC

GitHub Actions 经验分享：为开源项目搭建 CI 流水线

Mon, 16 Nov 2020 16:20:00 GMT

从零搭建开源项目的 GitHub Actions CI：PR 检查、测试矩阵、缓存加速与发布自动化。

Helm 知识分享：Kubernetes 应用的打包与多环境发布

Mon, 21 Sep 2020 15:30:00 GMT

用 Helm Chart 模板化 Kubernetes 资源，通过 values 分离环境差异，实现可回滚的多环境发布。

Git 底层原理经验分享：对象模型、引用与 reflog

Mon, 27 Jul 2020 14:10:00 GMT

深入 .git 目录，讲清楚 blob、tree、commit 三类对象和引用机制，理解之后 reset、rebase、reflog 都不再神秘。

Kubernetes Ingress：七层流量路由经验分享

Tue, 28 Apr 2020 11:15:00 GMT

用 Ingress 统一管理集群入口流量，实现基于域名和路径的路由、TLS 终止与灰度发布。

协作冲突处理经验分享：Merge Conflict 的预防与解决

Wed, 22 Apr 2020 15:30:00 GMT

系统梳理 merge conflict 的产生原因、解决流程与预防手段，包括 rerere 和锁文件等容易踩坑的场景。

Git rebase 与 squash 经验分享：保持干净的提交历史

Mon, 20 Jan 2020 11:40:00 GMT

讲清楚 rebase 和 merge 的区别、interactive rebase 整理提交的实战操作，以及团队何时该禁止 rebase。

Kubernetes 配置管理：ConfigMap 与 Secret 的正确用法

Tue, 12 Nov 2019 16:40:00 GMT

把配置从镜像中剥离出来，用 ConfigMap 和 Secret 管理不同环境的应用配置。

开源项目管理经验分享：用好 Issue、Label 和 Milestone

Mon, 28 Oct 2019 16:00:00 GMT

分享用 GitHub Issue、Label、Milestone 管理开源项目的经验，让贡献者来了就知道能做什么、怎么做。

Code Review 经验分享：如何做一个好的 Reviewer 和 Author

Mon, 17 Jun 2019 09:20:00 GMT

从 Author 和 Reviewer 双视角总结 Code Review 的实用经验：小步提交、描述先行、对事不对人。

Kubernetes 知识分享：你的第一个 Deployment 和 Service

Mon, 18 Mar 2019 14:20:00 GMT

从零开始在 Kubernetes 上部署第一个应用，理解 Pod、Deployment 和 Service 的关系。

分支管理经验分享：Git Flow vs GitHub Flow 怎么选

Mon, 25 Feb 2019 14:30:00 GMT

对比 Git Flow 与 GitHub Flow 两种主流分支模型，分析各自适用场景，帮团队选出合适的协作方式。