欢迎来到我的博客
由于业务变更，需要将原有的 Kafka 集群物理搬迁至新地方，或者直接迁移至新机器上。在保证数据的一致性的基础上，根据集群情况不同选择了不同的方案。
从 0 到 1 搭建及优化针对某网站信息的爬虫系统，并使用 Airflow 调度任务。
使用 Python 将数据写入 Mysql 中，重点关注“无则写入/有则更新”功能的实现。
对 Flink 1.12 部分源码进行学习和记录。
结合工作经验，梳理数据平台小文件过多的危害、预防以及处理相关知识。
简单分析并使用 Java 语言实现常见排序、查找算法，以及十余种其他较为经典的算法。
在 Scala 程序中遇到了一个 Error: forward reference extends over definition of variable，研究后发现是在 main 方法中定义和调用函数的顺序及位置导致，找到了一些解决办法。
测试了一些显示效果。