自建 GitLab，备份迁移到 helm gitlab 后，流水线日志无内容是什么原因？

xuxiaowei-com-cn · 2023 年9 月 9 日 13:52

自建 gitlab 版本：v16.3.2-ce
自建 gitlab helm 版本：v16.3.2-ce，values 如下：

USER-SUPPLIED VALUES:
USER-SUPPLIED VALUES: null
gitlab:
  webservice:
    ingress:
      tls:
        secretName: gitlab.helm.xuxiaowei.cn
gitlab-runner:
  runners:
    config: |
      [[runners]]
        [runners.kubernetes]
        image = "ubuntu:22.04"
        [[runners.kubernetes.host_aliases]]
        ip = "172.25.25.220"
        hostnames = [ "gitlab.helm.xuxiaowei.cn", "nexus.xuxiaowei.cn", "hosted.docker.xuxiaowei.cn", "pig.docker.xuxiaowei.cn", "group.docker.xuxiaowei.cn" ]
        {{- if .Values.global.minio.enabled }}
          Path = "gitlab-runner"
          Shared = true
          [runners.cache.s3]
            ServerAddress = {{ include "gitlab-runner.cache-tpl.s3ServerAddress" . }}
            BucketName = "runner-cache"
            BucketLocation = "us-east-1"
            Insecure = false
        {{ end }}
global:
  edition: ce
  hosts:
    domain: helm.xuxiaowei.cn
  ingress:
    configureCertmanager: false
    tls:
      secretName: helm.xuxiaowei.cn
minio:
  ingress:
    tls:
      secretName: helm.xuxiaowei.cn
registry:
  ingress:
    tls:
      secretName: helm.xuxiaowei.cn

将 gitlab v16.3.2-ce 数据迁移到 gitlab helm v16.3.2-ce 之后，流水线日志为空，是什么原因？

Alex · 2023 年9 月 9 日 13:53

以下是AI自动回复，仅供参考。如对您无帮助，请您继续和论坛其他小伙伴人工交流。

可能的原因有以下几点：

GitLab CI/CD Runner未正确配置：如果GitLab CI/CD Runner未正确配置，可能会导致流水线无法正常运行，从而导致流水线日志为空。请确保GitLab CI/CD Runner已正确配置，并且已经连接到GitLab服务器。
GitLab Runner日志级别设置不正确：如果GitLab Runner的日志级别设置不正确，可能会导致流水线日志无法正常输出。请检查GitLab Runner的日志级别设置，并将其设置为正确的级别。
GitLab Runner日志文件权限不正确：如果GitLab Runner的日志文件权限不正确，可能会导致流水线日志无法正常输出。请确保GitLab Runner的日志文件权限正确，并且可以被GitLab服务器访问。
GitLab服务器配置不正确：如果GitLab服务器的配置不正确，可能会导致流水线日志无法正常输出。请检查GitLab服务器的配置，并确保其正确配置。

建议您检查以上几点，以确定问题的原因，并采取相应的措施解决问题。

xuxiaowei-com-cn · 2023 年9 月 9 日 13:56

历史流水线日志为空，查看 minio 可知，无历史日志文件。

xuxiaowei-com-cn · 2023 年9 月 9 日 13:57

minio 数据

[root@k8s-node-1 gitlab-helm-minio-pv]# du -h --max-depth=1
44K	./.minio.sys
0	./registry
0	./git-lfs
0	./runner-cache
180K	./gitlab-uploads
15M	./gitlab-artifacts
0	./gitlab-backups
0	./gitlab-packages
0	./tmp
0	./gitlab-mr-diffs
0	./gitlab-terraform-state
0	./gitlab-ci-secure-files
0	./gitlab-dependency-proxy
0	./gitlab-pages
15M	.

Alex · 2023 年9 月 9 日 13:58

以下是AI自动回复，仅供参考。如对您无帮助，请您继续和论坛其他小伙伴人工交流。

可能的原因有以下几点：

GitLab CI/CD Runner没有正确配置：在GitLab中，CI/CD Runner是负责执行流水线任务的工具。如果Runner没有正确配置，它可能无法正确地将流水线日志传输回GitLab服务器。您可以检查Runner的配置是否正确，并确保它与GitLab服务器通信。
日志文件权限问题：在GitLab中，流水线日志是存储在服务器上的文件。如果这些文件的权限设置不正确，GitLab可能无法读取它们。您可以检查日志文件的权限设置，并确保GitLab用户可以读取它们。
数据库迁移问题：如果您使用了数据库迁移工具将数据从一个GitLab实例迁移到另一个实例，可能会出现问题。在这种情况下，您可以尝试重新迁移数据，并确保所有数据都正确地传输到新实例中。
GitLab版本不兼容：如果您将数据从一个GitLab版本迁移到另一个版本，可能会出现兼容性问题。在这种情况下，您可以尝试将GitLab升级到与原始实例相同的版本，并重新迁移数据。

综上所述，您可以检查以上几点，以确定流水线日志为空的原因，并采取相应的措施解决问题。

xuxiaowei-com-cn · 2023 年9 月 9 日 14:06

将原始备份文件 1694181479_2023_09_08_16.3.2_gitlab_backup.tar 解压，得到 artifacts.tar.gz，解压 artifacts.tar.gz 得到下列日志数据

[root@k8s-control-plane-1 artifacts]# du -h
124K	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_07/303/355
124K	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_07/303
124K	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_07/302/354
124K	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_07/302
248K	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_07
3.6M	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_06/292/344
3.6M	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_06/292
44K	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_06/200/185
44K	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_06/200
3.7M	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_06/293/345
3.7M	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_06/293
124K	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_06/294/346
124K	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_06/294
1.6M	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_06/181/174
1.6M	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_06/181
80K	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_06/288/341
80K	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_06/288
80K	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_06/218/222
80K	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_06/218
1.4M	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_06/203/217
1.4M	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_06/203
216K	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_06/291/343
216K	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_06/291
11M	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451/2023_09_06
11M	./79/02/7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451
11M	./79/02
11M	./79

***

52M	./6b
32K	./85/27/8527a891e224136950ff32ca212b45bc93f69fbb801c3b1ebedac52775f99e61/2023_09_06/299/350
32K	./85/27/8527a891e224136950ff32ca212b45bc93f69fbb801c3b1ebedac52775f99e61/2023_09_06/299
972K	./85/27/8527a891e224136950ff32ca212b45bc93f69fbb801c3b1ebedac52775f99e61/2023_09_06/297/348
972K	./85/27/8527a891e224136950ff32ca212b45bc93f69fbb801c3b1ebedac52775f99e61/2023_09_06/297
1004K	./85/27/8527a891e224136950ff32ca212b45bc93f69fbb801c3b1ebedac52775f99e61/2023_09_06
1004K	./85/27/8527a891e224136950ff32ca212b45bc93f69fbb801c3b1ebedac52775f99e61
1004K	./85/27
1004K	./85
406M	.
[root@k8s-control-plane-1 artifacts]#

xuxiaowei-com-cn · 2023 年9 月 9 日 14:08

迁移后，运行 gitlab helm 的流水线，可以在 minio 中的 artifacts 文件夹中产生新日志文件

44K	./.minio.sys
0	./registry
0	./git-lfs
0	./runner-cache
180K	./gitlab-uploads
15M	./gitlab-artifacts
0	./gitlab-backups
0	./gitlab-packages
0	./tmp
0	./gitlab-mr-diffs
0	./gitlab-terraform-state
0	./gitlab-ci-secure-files
0	./gitlab-dependency-proxy
0	./gitlab-pages
15M	.

Alex · 2023 年9 月 9 日 14:12

以下是AI自动回复，仅供参考。如对您无帮助，请您继续和论坛其他小伙伴人工交流。

可能是因为 GitLab CI/CD 的日志存储位置发生了变化，导致无法正常显示日志内容。你可以尝试以下方法解决：

检查 GitLab CI/CD 日志存储位置是否正确。可以在 GitLab 管理界面中查看“Admin Area” → “Settings” → “Continuous Integration and Deployment” → “Runner settings” → “Runner log directory” 确认日志存储位置是否正确。
检查 GitLab Runner 是否正确配置。可以在 GitLab 管理界面中查看“Admin Area” → “Settings” → “Continuous Integration and Deployment” → “Runner settings” → “Runner registration token” 确认 Runner 是否正确注册。
检查 GitLab Runner 是否正确运行。可以在 GitLab 管理界面中查看“Admin Area” → “Overview” → “Runners” 确认 Runner 是否正常运行。
检查 GitLab Runner 是否正确配置日志输出。可以在 GitLab Runner 配置文件中添加以下配置：

[[runners]]
  ...
  [runners.custom_build_dir]
  [runners.custom_build_dir.tmpfs]
    size = "512m"
  [runners.cache]
    [runners.cache.s3]
      ...
  [runners.log]
    format = "json"
    level = "debug"

以上是一些可能的解决方法，如果问题仍然存在，建议查看 GitLab CI/CD 的日志文件，以便更好地定位问题。

xuxiaowei-com-cn · 2023 年9 月 9 日 15:36