Celery同一时刻只执行一个相同任务

前记最近由于业务原因在接触Celery,Celery的理念挺不错的,但是只从文档很难去知道改去怎么订制Celery,希望我过段时间会有一篇Celery的源码分析文章. 最近在用Celery调用...

Celery调用不同项目的任务

前记PS: 水文笔记… Celery的示例或者常用使用方式中, Celery的Woker以及任务调用经常都是在同一个项目里面.但是随着项目的拓展,很多时候Celery任务调用端与Woker的代码...

基于Python探针完成调用库的数据提取

前记最近在完善公司的监控系统, 发现在项目运行时经常会出现一些运行时的问题, 这些问题往往不是一个子服务引发的问题, 而可能是某个环节出现了问题, 这时候就需要引入APM系统。在收集APM数据时...

分布式ID的几种方案

前记在业务中, 我们经常需要有一个唯一id, 来区分每个数据, 如每个订单都有一个自己的id, 如果是一个单体应用, 实现起来会非常容易, 但很多时候是有多个应用同时索要id, 这时候就要确保任...

基于InnoDB的API分页设计

前记分页设计是一个常见的需求, 对于后端来说, 分页设计通常是跟数据库强绑定的需求. 一个后端API经常会返回成千上百条记录, 如果一下子返回所有结果对服务器, 客户端来说都是一个不小的挑战, ...

git

1.开发流程每个公司都有自己的一套git流程, 如果没有则推荐使用git-flow备完清单 2.log优雅的输出git日志 1git log --decorate --oneline --gra...

分布式事务

前记随着业务的快速发展, 业务会越来越复杂, 架构也会跟着变复杂.传统的单体应用逐渐变得力不从心, 而微服务架构却能很好的解决问题. 但是微服务也会带来一些问题, 如本文说到的分布式事务, 分布...

Es的字段过多的坑

前记前几天,突然发现线上Es有大量的错误日志,核心日志是Limit of total fields [1000] in index.经过查明发现是同事存api server日志时他是数据带有有很...

Python的TypeHints

前记现在,已经不是那个坚信动态语言+好用的工具就能写工程项目的时代,新出的语言都是走静态语言的路线,动态语言也都开始引入类型增强,解决自己的不足,而Python的也有自己的类型增强方案–Type...

由内存溢出的思考:如何监控内存?

前记最近在做监控系统,发现Linux的内存监控比较困难,主要是指标太多,不知道那些指标才是真正需要的,比如一开始我们就监控free命令输出的free,然而由于页缓存的原因,有些数据是不对的.恰好...

记一次ElasticSearch冷热分离索引无法正确分配的问题

前记一开始ElasticSearch是同事自己搭的一个单节点, 我在接手后开始使用mapping,集群等功能, 但很多旧index在单节点时被应用了很多奇怪的配置, 导致添加新的功能非常麻烦, ...

APScheduler原理分析

前记最近由于账单提交和脚本过多不好控制的原因,一直在寻找解决方案,发现APScheduler比较轻量级以及适合我的账单提交,和脚本运行控制(如果脚本运行需要依赖的话就可以上AirFlow).为了...

13456710