LINUX.ORG.RU

DAG застрял

 ,


0

1

Нужно, что бы даг запускался в 5 утра МСК (1 UTC). Выкатил вечером и снял с паузы сразу, часов в 20-ть - даг автоматом не запустился в 5 утра, и я запустил его днем руками - один раз. Далее, происходят не понятные вещи - уже несколько суток даг не запускается, но интервал Next Run меняется - сейчас

[2022-10-29, 01:00:00 ... 2022-10-30, 01:00:00]
вчера было
[2022-10-28, 01:00:00 ... 2022-10-29, 01:00:00]
...

Код был такой:

default_args = {
    'retries': 3,
    'retry_delay': dt.timedelta(minutes=30),
}

with DAG(
    dag_id='my_dag_id',
    start_date=days_ago(0),
    schedule_interval="0 1 * * *",
    catchup=False,
    is_paused_upon_creation=True,
    default_args=default_args
) as dag:

Я хотел поставить запуск день назад, чтобы даг сработал на интервале. Хорошо, правим. Где-то в 12 МСК (9UTC) - 2022-10-29 поменял:

    start_date=days_ago(1),

Даг запустился автоматом и отработал интервал день назад:

(LogicalDate=2022-10-28, 01:00:00, 
RunType=scheduled, 
QueuedAt=2022-10-29, 09:02:56, 
StartDate=2022-10-29, 09:02:56, 
EndDate=2022-10-29, 09:12:10) 

Но, это не изменило его состояния, по прежднему

NextRun = [2022-10-29, 01:00:00 UTC; 2022-10-30, 01:00:00 UTC]
Run After = [2022-10-30, 01:00:00 UTC]
Т.е. сам он не запустится автоматом.

Как теперь вывести DAG из ступора? Чтобы он сам в 1UTC запускался.



Последнее исправление: leave (всего исправлений: 1)

Если мне не изменяет память - так лучше не делать, возможно проблема как раз в этом.

start_date=days_ago(0)

alestro
()
Ответ на: комментарий от thegoldone

тега airflow нет и добавить мне его не удалось

scisearcher
() автор топика
Ответ на: комментарий от alestro

да, я понял, что при catchup=False даг не запустится, переставил:

start_date=days_ago(1)

не помогло.

Вопрос теперь в том, как выкрутится)

scisearcher
() автор топика
Последнее исправление: scisearcher (всего исправлений: 1)
Ответ на: комментарий от scisearcher

Хотя, нужно ждать и проверять завтра.

NextRun = [2022-10-29, 01:00:00 UTC; 2022-10-30, 01:00:00 UTC]
Run After = [2022-10-30, 01:00:00 UTC]

реальный то запуск в конце интервала 2022-10-30, 01:00:00 UTC

P.S. просто сейчас не понятно, починилось или нет с start_date=days_ago(1)

scisearcher
() автор топика
Ответ на: комментарий от Eshkin_kot

start_date=days_ago(0) было ошибкой, даже опечаткой. А идея была в том, чтобы даг запустился в ближайшем будующем после его загрузки, без привязки к конкретной дате.

В итоге, start_date=days_ago(1) вылечило проблему.

scisearcher
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.