Нет доверия

Имхо, в гитлабе нужно каким-нибудь образом указать на то, что сертификат (который у тебя самоподписанный) - валидный. Собственно, ошибка об отсутствии доверия и говорит.

Но скорее всего тебе сюда.

Но скорее всего тебе сюда.

Насколько я помню, такая ошибка была, если бы я использовал самоподписанный или неопознанный сертификат для самого реестра, а не для его связи с гитлабом. для REGISTRY_HTTP_TLS_CERT, а не для REGISTRY_AUTH_TOKEN_ROOTCERTBUNDLE

и это у докера, при попытке соединиться с реестром.

Generate the PEM or DER encoded public certificate from your private key certificate.Copy the public certificate file only into the /etc/gitlab/trusted-certs directory. Run gitlab-ctl reconfigure.

не помогло. ну, как.. cat domain.key > domain.pem && cat domain.crt >> domain.pem и переместил в эту директорию. ошибка на месте

Напиши в гитлабовскую поддержку.
Может подскажут. :)

Я правильно понимаю, что ты не используешь встроенный в гитлаб реестр, а пытаешься прикрутить внешний?

Какой докеровский реестр встроен в «гитлаб» ?

Не очень понял, почему тебе недостаточно DOCKER_AUTH_CONFIG (https://docs.gitlab.com/ee/ci/docker/using_docker_images.html#define-an-image-from-a-private-container-registry) и/или engine-registry-mirror (https://docs.gitlab.com/runner/configuration/autoscale.html#distributed-container-registry-mirroring )

https://docs.gitlab.com/ce/user/project/container_registry.html

На самом деле, тот же самый Docker Registry, только управляемый и устанавливаемый вместе с гитлабом.

Ага…

Чот как-то все запутано. Но спасибо.

Если чо, у меня так и неполучилось отпилить и вынести registry из контейнера gitlab. Буду рад если у тебя получится, отпишись тогда.

Судя по тому конфигу - там юзеры подготовлены заранее. А мне необходимо, чтобы не просто была авторизация по юзерам гитлаба (а там вообще лдап), но и чтобы можно было заливать образы только в те проекты, в которые есть доступ. И это уже работает.

Вообще, может это натолкнёт на мысль. Похоже, дело не в самоподписанном сертификате.

openssl s_client -connect registry.domain.com:443 CONNECTED(00000003) depth=0 OU = Domain Control Validated, OU = PositiveSSL Wildcard, CN = *.domain.com verify error:num=20:unable to get local issuer certificate verify return:1 depth=0 OU = Domain Control Validated, OU = PositiveSSL Wildcard, CN = *.domain.com verify error:num=21:unable to verify the first certificate verify return:1

Там ещё

No client certificate CA names sent Peer signing digest: SHA384 Server Temp Key: ECDH, P-256, 256 bits

Интересно, пасибо

к слову, всё работает у меня. Сейчас занят чутка своими штуками, нужно ещё zabbix агент настроить, бэкапы, выставить наружу и связать с нетестовым гитлабом. Потом, если интересно, могу тут описать конфигурацию

Опиши.

Docker Registry

Docker Registry - реестр образов в привязкой к нашему gitlab.domain.com

Сертификаты

Для работы реестра используется наш wildcard сертификат + key-pair для общения реестра с гитлабом.

$ openssl req -nodes -newkey rsa:4096 -keyout registry-auth1.key -out registry-auth1.csr -subj "/CN=gitlab-issuer" 
$ openssl x509 -in registry-auth1.csr -out registry-auth1.crt -req -signkey registry-auth1.key -days 3650

$  ls /home/regadmin/certs
registry.domain.com.crt  registry.domain.com.key  registry-auth1.crt

VM, nginx

vSphere. Nginx слушает на 443 порту и направляет все запросы внутрь на контейнер, который слушает на 5000 порту. Реестр выставлен наружу через наш прокси, следовательно, на прокси сервере тоже есть запись в nginx’e. При этом сертификата wildcard на прокси недостаточно. Заставить работать контейнер таким способом не удалось, поэтому сертификаты подключены и в nginx на сервере реестра. Иметь в виду при обновлении.

Контейнер

Запущен докер-контейнер реестра при помощи docker-compose up -d (в домашней директории лежит файл docker-compose.yml)

$ more docker-compose.yml
version: '3.2'
services:
  registry:
    restart: always
    image: registry:2
    ports:
      - 5000:5000
    volumes:
      - /home/regadmin/certs:/certs
      - "/home/regadmin/registry/storage:/var/lib/registry:rw"
      - "/home/regadmin/registry/conf/config.yml:/etc/docker/registry/config.yml:rw"
    logging:
      driver: "json-file"
      options:
        max-size: "100m"
        max-file: "3"
    network_mode: bridge

Таким образом, мы видим директории где хранятся все запушеные образы и так же конфиг реестра.

$ more /home/regadmin/registry/conf/config.yml
version: 0.1
log:
  level: error
  fields:
    service: registry
storage:
  filesystem:
    rootdirectory: /var/lib/registry
  delete:
    enabled: true
http:
  addr: :5000
auth:
  token:
    autoredirect: false 
    realm: https://gitlab.domain.com/jwt/auth
    service: container_registry
    issuer: gitlab-issuer
    rootcertbundle: /certs/registry-auth1.crt

Cron (очистка, бэкапы)

Ежедневно на 7 утра в кроне настроено выполнение скрипта /root/backup.sh Этот скрипт чистит реестр от мусора (это unmarked blobs) Если в гитлабе кто-то удаляет образ, то он остаётся на сервере реестра, но очищаются линки, указывающие что данный образ (хранящийся в blobs) связан с таким-то репозиторием на gitlabe. И при отсутствии этих линков, реестр считает эти блобы мусорными. Очистка происходит при помощи команды:

$ docker exec -t regadmin_registry_1 /bin/registry garbage-collect /etc/docker/registry/config.yml

Так же скрипт удаляет свои же старые логи, пакует storage директорию и складывает бэкапы на удаленный сервер и чистит старые локальные бэкапы. Локально бэкапы хранятся в директории /home/backup

Gitlab

Конфигурация

/etc/gitlab/gitlab.rb
   gitlab_rails['gitlab_default_projects_features_container_registry'] = true
   registry_external_url 'https://registry.domain.com'
   gitlab_rails['registry_enabled'] = true
   gitlab_rails['registry_host'] = "registry.domain.com"
   gitlab_rails['registry_api_url'] = "https://registry.domain.com/"
   gitlab_rails['registry_key_path'] = "/etc/gitlab/registry-auth1.key"
   gitlab_rails['registry_issuer'] = "gitlab-issuer"
   registry['internal_key'] = "-----BEGIN PRIVATE KEY-----\nMIICAQCjmfuqT......SExyWhYoh0pmM=\n-----END PRIVATE KEY-----" #При каждом выполнении gitlab-ctl reconfigure, указанный выше registry-auth1.key перезаписывается. Поэтому? нужно его содержимое указать тут в одну строчку, заменяя разрывы строки на \n
   registry['enable'] = false  #Выключает встроенный контейнер реестра

Логи

Если происходят ошибки, нам пригодятся:

• Лог гитлаба. На гитлабе /var/log/gitlab/gitlab-rails/production.log
• Лог работы скрипта выше. На реестре /var/log/registry/*
• Лог контейнера реестра. На реестре # tail -f docker inspect --format='{{.LogPath}}' regadmin_registry_1

Вывод последней команды докер пишет в файл /var/lib/docker/containers/container-id/container-id-json.log Если контейнер удалять и запускать заново, соответственно id будет меняться. Так же, настроена ротация для логов, которые создает докер. (и в частности, этого файла) Таким образом, максимальный размер файла 100мб, при превышении этого лимита он создаёт файлы container-id-json.log.1 и container-id-json.log.2 соответственно. Потом они перезаписываются. Максимально - 3 файла логов по 100 мб. Эти параметры прописаны в config.yml, как можно было заметить выше.

это документация, которую я описывал для внутренней вики, если что, спрашивайте. Там вроде как не совсем ясно описал момент, директории /regadmin/registry/conf/ и /regadmin/registry/storage и файл /regadmin/registry/conf/config.yml были созданы предварительно