Gitlab 的 Backgroud jobs 队列如何监控,经常有队列任务积压
我还不知道为什么会堵住了,大家有遇到吗?
您好,
可以通过以下两种方式查看sidekiq任务:
1)可以通过前端界面查看任务,先停止轮询,然后查看各类任务信息
2)可以通过Rails Console查看Sidekiq队列和运行中的任务:
除了查看队列,我不知道如何解决这个问题啊,例如: [pipeline_processing:pipeline_process] 这个队列里面我发现了一个一周之前的pipeline,但是这个pipeline的所有job没有一个是在running或者pending的,这个pipeline应该是已经使用完的。所以对这个队列挺困惑的。
上周29号有发生一次队列积压,
Hi!
1.sidekiq队列积压的时间点是差不多固定的吗?
2.确认下积压的时间点PostgreSQL数据库的访问量和平常的差异
3.积压时刻操作系统性能变化如何可以通过nmon或者sar看下历史性能统计
4.能否导出或者截图下积压时刻pg_stat_activity视图的统计数据看下
1.sidekiq队列积压的时间不固定,都是研发提交代码频繁的时候,要生成CICD pipeline部署产线
今天发生的队列积压
gitlab sidekip service 可用性下跌了
@xiangma
我重启之后,积压的队列在很短时间内就被消费完了。
重启之后数据库的性能怎么样?还是会出现峰值还是相对比较平稳?还有就是在积压的时候,操作系统性能怎么样?重启后恢复成什么样了?
数据库的这个时刻性能图发一下,数据库的日志附上来看一下?
今天早上有发生了一起积压事件
我删除BuildHooksWoker队列中Id最小的任务,我猜测是这个任务阻塞了队列。
之后1分钟内,队列被消费了,
我又去找了这个id的Job,这个Job状态时success,5分钟前就执行结束了。
去找了postgresql的日志,/var/log/gitlab/postgresql/current,日志只保存了昨天和今天的
current_0806 (11.5 KB)
@xiangma 急需您的帮助,队列阻塞已经成为我们使用GitLab最大的障碍了。
谢谢。
请教下GitLab的队列有没有说明文档,想知道这些队列的业务涵义,谢谢
这个目前还没有详细的说明文档,从数据库日志中看有一些会话并发阻塞,命令行执行下gitlab-rake db:migrate:status看下,然后gitlab-psql -c ‘select count(*) from ci_builds;’
等下次队列积压,我再执行这个命令。