LINUX.ORG.RU

jupyter-notebook удаленная эксплуатация

 ,


0

1

На удаленной машине имеется docker с jupyter, что очень даже удобно для набора кода в браузере и запуска не долгих расчетов. Но, если расчеты долгие, то при закрытии браузера и, через некоторое время, открытие скрипта - результатов новых расчетов обнаружить не удается - или расчеты прерываются после закрытия браузера или просто доступ к результатам пропадает.

Как можно запускать расчеты + наблюдать результаты в удаленном jupyter и при этом не держать связь между браузером и ядром jupyter постоянно?

Но, если расчеты долгие, то при закрытии браузера и, через некоторое время, открытие скрипта - результатов новых расчетов обнаружить не удается - или расчеты прерываются после закрытия браузера или просто доступ к результатам пропадает.

Так быть не должно.

Как можно запускать расчеты + наблюдать результаты в удаленном jupyter и при этом не держать связь между браузером и ядром jupyter постоянно?

Делать то, что ты делаешь, на правильно настроенном хосте. Или на этом мониторить запущенные ядра, смотреть логи и искать, что убивает ядра.

t184256 ★★★★★
()
Ответ на: комментарий от xmikex

«Что такое подстаканнег?» — «вместе с машиной такая штука продается, но вроде можно и отдельно купить»

t184256 ★★★★★
()
Ответ на: комментарий от t184256

ну не знаю какой толк от самого юпитера - какой-то интерфейс стремный. пробовал смотреть код в нём - нихрена не понял как запускать нормально примеры из книги.

xmikex ★★★★
()
Ответ на: комментарий от xmikex

Ну, походу для тебя тогда ответ звучать будет так: это а) слой совместимости с ретрософтом, популярным у ученых, где тоже ввод ячейками б) способ перезапустить часть скрипта и свалить в туман до завтра, а утром продолжить, ничего не потеряв. На неработоспособность б и жалуется ТС, но с таким уровнем подробностей это именно что жалоба.

t184256 ★★★★★
()
Ответ на: комментарий от t184256

Спасибо! Буду искать. Думал, что прерывать вычиления при закрытии - это норма.

P.S. На удаленном хосте я же и поставил докер с юпитером, просто скачал имеющийся tensorflow:latest-jupyter. Ничего не настраивал, просто запустил )

scientistpython
() автор топика
Ответ на: комментарий от t184256

Кстати при закрытии вкладки браузера с ноутбуком, всплывает диалоговое окно с предупреждением о возможной потери данных … х.з., но может симптом чего-то

This page is asking you to confirm that you want to leave — information you’ve entered may not be saved

может режим где-то нужно сменить?

scientistpython
() автор топика
Ответ на: комментарий от t184256

а утром продолжить, ничего не потеряв

Ага, счас. В среднем ядра валятся на 20% чаще, чем ipython в командной строке. Да, я люблю всякой фигни в big data питону скормить.

Shadow ★★★★★
()
Последнее исправление: Shadow (всего исправлений: 1)
Ответ на: комментарий от t184256

Скаченный докер на Ubuntu 18. Для эксперимента оставил трейнится некоторую сетку tf. Закрыл браузер вчера, открыл сегодня. Вывод как вчера замер так сегодня и открылся - уже полчаса жду, ничего не меняется. Ячейка находится в неопределенном состоянии - просто

[]
, звездочка изчезла
[*]
. При запуске ячеек до и после оставленной команды - они запускаются
[*]
и очевидно, что ждут когда доработает оставленная ячейка. В итоге, похоже, что ядра не убиты - в разделе jupyter Running ноутбук активен.

Есть подозрение, что все-таки проблема с выводом результатов в заново открытый браузер.

# cat /etc/*-release
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=18.04
DISTRIB_CODENAME=bionic
DISTRIB_DESCRIPTION="Ubuntu 18.04.5 LTS"
NAME="Ubuntu"
VERSION="18.04.5 LTS (Bionic Beaver)"
ID=ubuntu
ID_LIKE=debian
PRETTY_NAME="Ubuntu 18.04.5 LTS"
VERSION_ID="18.04"
HOME_URL="https://www.ubuntu.com/"
SUPPORT_URL="https://help.ubuntu.com/"
BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
VERSION_CODENAME=bionic
UBUNTU_CODENAME=bionic

P.S. пробовал Kernel/Recconect - вывод в ячейку не починился, но внутри контейнера сделал top и вижу что есть процесс с названием python3 - он живой (меняется процессорное время и память)

scientistpython
() автор топика
Последнее исправление: scientistpython (всего исправлений: 6)
Ответ на: комментарий от scientistpython

Есть подозрение, что все-таки проблема с выводом результатов в заново открытый браузер.

Ну можешь еще со стороны браузера открыть Web Developer Tools и почитать ошибки в консоли или посмотреть на успешность сетевых запросов.

А можешь еще докер выкинуть для упрощения.

t184256 ★★★★★
()
Ответ на: комментарий от t184256

Web Developer Tools/Console/Error - здесь пусто и при обновлении страницы и при рекконекте.

в warnings нашел

Error while fetching an original source: request failed with status 404
Source URL: <unknown>
scientistpython
() автор топика
Последнее исправление: scientistpython (всего исправлений: 1)
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.