LINUX.ORG.RU

Сообщения ival

 

Python разработчик в DS команду. Москва

Форум — Job

Компания: TalentTech / Sever.AI

Локация: м. Марьина Роща, Менделеевская, Савеловская, Москва, улица Сущёвский Вал, 18, возможно удаленно

Вилка: 180-220 на руки

TalentTech — это IT-холдинг, быстрорастущий стартап. Второй год подряд мы попадаем в список 20 самых дорогих компаний Рунета (рейтинг Forbes). Мы строим экосистему, единую онлайн-платформу, которая объединяет EdTech (образование), HRTech (управление персоналом), Freelance (самозанятость). Для развития нашей платформы мы активно инвестируем в технологические стартапы, а также создаем свои продукты. В нашем составе такие компании, как Нетология, FL.ru, Potok.io, JungleJobs.ru, Sever.ai, Ремонтник.ру, Фоксфорд. Предстоит работать в команде Sever.AI, это платформа роботизации HR-процессов на основе машинного обучения.

Задачи:

  • Взаимодействие со смежными командами. Согласование технических решений и интерфейсов
  • Написание инфраструктурного кода, обеспечивающего обучение моделей и инференс в проде
  • Code review. Активное участие в повышении качества кодирования в команде
  • Участие в доведении кода моделей до прода.
  • Debug системных ошибок (нехватка памяти, сеть, многопоточность, и т.п)
  • Изучение и внедрение ML инструментария (dask, kubeflow и так далее)

Требования:

  • Хорошее знание python
  • Умение писать код c 90% покрытием тестами
  • Опыт построения CI/CD инфраструктуры.
  • Знакомство с администрированием linux на базовом уровне.
  • Умение договариваться, быть в диалоге. Способность одновременно и слышать других и отстаивать свою точку зрения.

Будет плюсом:

  • Знакомство с sklearn и pytorch
  • Понимание ML специфики
  • Docker, k8s
  • Кластерные решения (dask, ...)

Условия:

  • официальное оформление и “белая” заработная плата
  • комфортный рабочий график
  • возможность работать удаленно
  • ДМС со стоматологией и страхованием жизни после испытательного срока
  • предоставляем сотрудникам скидки от компаний, входящих в наш холдинг: можно слетать в отпуск с туроператором TUI, пройти любой понравившийся курс в Нетологии и купить продукты в Утконосе (да, всё со скидкой)
  • офис расположен в БЦ Новосущевский. Вокруг удобная транспортная развязка: метро (рядом м. Марьина Роща и м. Менделеевская), трамвайные и автобусные остановки, ТТК
  • тот самый дух стартапа и высокий уровень вовлеченности в продукт и задачи,
  • необходимое оборудование

Откликнуться можно на hh или мне (я DS из команды) на почту в профиле.

 , ,

ival
()

доступ к sciencedirect

Форум — Talks

А не поделитесь инструкцией, как можно получить доступ к sciencedirect?

Пробовал через sci-hub скачать статью по doi. Там пустая страница.

 

ival
()

Пакеты не доходят до dnsmasq

Форум — Admin

centos6.

В libvirt сделал виртуальную сетку, libvirt запустил dnsmsq, он слушает на 53-ем порту, но dns запросы не проходят. selinux permissive, iptables выключен. Пакеты теряются не доходя до dnsmasq (он не выходит из select'а). dhcp на виртуалки раздается нормально. Где может быть затык?

[root@lvirt2 ~]# netstat -tnpl | grep dnsmasq
tcp        0      0 192.168.192.1:53            0.0.0.0:*                   LISTEN      1551/dnsmasq 
[root@lvirt2 ~]# dig @192.168.192.1 +tcp hw1.manip
;; Connection to 192.168.192.1#53(192.168.192.1) for hw1.manip failed: connection refused.
<network>
  <name>manip</name>
  <uuid>47cd227e-a340-4c25-832e-a07ed178d33b</uuid>
  <bridge name='virbr0' stp='on' delay='0' />
  <mac address='52:54:00:B9:19:00'/>
  <domain name='manip'/>
  <ip address='192.168.192.1' netmask='255.255.255.0'>
    <dhcp>
      <range start='192.168.192.128' end='192.168.192.254' />
    </dhcp>
  </ip>
</network>
ps axf | grep dnsmasq
 2432 pts/1    S+     0:00                      \_ grep dnsmasq
 1551 ?        S      0:00 /usr/sbin/dnsmasq --strict-order --domain=manip --pid-file=/var/run/libvirt/network/manip.pid --conf-file= --except-interface lo --bind-interfaces --listen-address 192.168.192.1 --dhcp-option=3 --no-resolv --dhcp-range 192.168.192.128,192.168.192.254 --dhcp-leasefile=/var/lib/libvirt/dnsmasq/manip.leases --dhcp-lease-max=127 --dhcp-no-override --expand-hosts --dhcp-hostsfile=/var/lib/libvirt/dnsmasq/manip.hostsfile --addn-hosts=/var/lib/libvirt/dnsmasq/manip.addnhosts
[root@lvirt2 ~]# strace -p 1551
Process 1551 attached
select(9, [3 5 6 7 8], [], [], NULL
[root@lvirt2 ~]# ip link show 
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 52:54:00:bf:a2:f7 brd ff:ff:ff:ff:ff:ff
3: virbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN 
    link/ether 52:54:00:b9:19:00 brd ff:ff:ff:ff:ff:ff
4: virbr0-nic: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 500
    link/ether 52:54:00:b9:19:00 brd ff:ff:ff:ff:ff:ff
8: vnet0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 500
    link/ether fe:54:00:a1:19:bf brd ff:ff:ff:ff:ff:ff
[root@lvirt2 ~]# ip route show 
192.168.192.0/24 dev virbr0  proto kernel  scope link  src 192.168.192.1 
192.168.128.0/24 dev eth0  proto kernel  scope link  src 192.168.128.11 
169.254.0.0/16 dev eth0  scope link  metric 1002 
default via 192.168.128.1 dev eth0 
[root@lvirt2 ~]# ip addr show 
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 52:54:00:bf:a2:f7 brd ff:ff:ff:ff:ff:ff
    inet 192.168.128.11/24 brd 192.168.128.255 scope global eth0
    inet6 fe80::5054:ff:febf:a2f7/64 scope link 
       valid_lft forever preferred_lft forever
3: virbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN 
    link/ether 52:54:00:b9:19:00 brd ff:ff:ff:ff:ff:ff
    inet 192.168.192.1/24 brd 192.168.192.255 scope global virbr0
4: virbr0-nic: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 500
    link/ether 52:54:00:b9:19:00 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::5054:ff:feb9:1900/64 scope link 
       valid_lft forever preferred_lft forever
8: vnet0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 500
    link/ether fe:54:00:a1:19:bf brd ff:ff:ff:ff:ff:ff
    inet6 fe80::fc54:ff:fea1:19bf/64 scope link 
       valid_lft forever preferred_lft forever
[root@lvirt2 ~]# brctl show 
bridge name	bridge id		STP enabled	interfaces
virbr0		8000.525400b91900	yes		virbr0-nic
							vnet0

[root@lvirt2 ~]# iptables -S 
-P INPUT ACCEPT
-P FORWARD ACCEPT
-P OUTPUT ACCEPT
[root@lvirt2 ~]# sestatus
SELinux status:                 enabled
SELinuxfs mount:                /selinux
Current mode:                   permissive
Mode from config file:          permissive
Policy version:                 24
Policy from config file:        targeted

 ,

ival
()

вице-премьер про нужность ВО для админов.

Форум — Talks

https://lenta.ru/news/2016/07/15/holodets/

«У нас есть просчитанный баланс, и этот баланс составляет примерно 65 на 35 процентов (...) В дальнейшем эта пропорция будет меняться в сторону увеличения доли специалистов, для которых не требуется высшее образование потому что, например, системный администратор — это сегодня профессия, которая в мире не требует высшего образования», — пояснила чиновница.

Здравый смысл просочился в правительство?

 ,

ival
()

ithappens, что с ним?

Форум — Talks

Сайтик такой есть/был. Заглянул тут, а он не обновляется с 03.12.15.

zadolba.li вроде жив, по крайней мере последняя история датирована вчерашним днем. bash.im живет, но ему вроде бы редактор для работы не нужен.

Попытался нагуглить что случилось — вообще тишина. Отряд потери бойца не заметил?

 

ival
()

Лягушатник для виртуалок

Форум — General

Хочется вроде не очень странного. Есть ноутбук с убунтой, на ней NetworkManager, возможность подцепить кабель или wifi.

Хочется иметь на нем маленький зверинец для виртуалок, точнее контейнеров.

У каждой виртуалки должно быть свое имя.

Виртуалки должны жить в broadcast домене, не пересекающемся с офисной сеткой.

Виртуалки должны знать друг друга по имени.

На виртуалках должен быть доступен инет.

С хостовой машины должне быть ssh до каждой машины по имени.

Виртуалки должны создаваться и удаляться быстро.

Сейчас раз в N-цатый сажусь писать говноскрипты для этой задачи.

Господа, поделитесь рецептами, как вы такое настраиваете? Интересуют не большие решения, типа ovirt+foreman, а именно масштаба ноутбука.

 ,

ival
()

workflow manager

Форум — Development

Нагуглить не получается. Простая вроде бы вещь.

Что-то типа workflow manager'а, работающего на кластере.

Должен на входе получать граф с задачками и запускать их на отдельных нодах.

Отказоустойчиво: если задача по своим внутренним причинам упала, должна быть возможность пнуть ее еще раз. Если упала нода, manager должен сам перезапустить на соседней. Ну и естественно устойчивость к спонтанной перезагрузке всего кластера.

Нужен web интерфейс, откуда можно смотреть (глазами) за задачами и, в случае чего, пинать перезапуск.

Нужен API для создания/удаления задач и мониторинга их статусов.

Плюшки вроде наличия блокировок, владения ресурсами и т.д приветствуются, но не обязательны.

 ,

ival
()

В чем делать документацию?

Форум — Development

Это не про ту, что в коде, а про ту, что рядом: проектную, описывающую архитектуру, требования, тестовые планы, и пользовательскую

Что хотелось бы?

1) Удобный для редактирования язык разметки

2) merge, diff и прочие прелести контроля версий.

3) Синхронизация с кодом (правка кода и документации в одном комите)

4) Красивый html и сносный pdf

5) Возможность писать структурированные документы. Например: текст требования, процедура проверки, отметка о реализации.

doc/odf вообще не вариант.

latex дает красивый pdf, позволяет писать структурированные файлы, но html убогий.

docbook можно допинать до хорошего html'а и обучить через xslt кушать структурированные файлы, но редактировать совсем не удобно.

mediawiki/dokuwiki дает удобный язык разметки, красивый html, сносный pdf, но не синхронизируется с кодом. Со структурированными документами вроде бы плохо.

Есть еще варианты?

ival
()

define_method context

Форум — Development
#!/usr/bin/env ruby

class C
    def self.bparam(sym)
        define_method sym do 
            yield
        end
    end

    def initialize(x)
        @x = x
    end

    bparam(:x) {@x}
    bparam(:xx) {x + x}
end

a = C.new(10)

puts a.x
puts a.xx
true
./1.rb:15:in `block in <class:C>': undefined local variable or method `x' for C:Class (NameError)
        from ./1.rb:6:in `block in bparam'
        from ./1.rb:21:in `<main>'

Можно ли сделать так, чтобы yield выполнялся не в контексте класса С, а экземпляра a? Реальный bparam сложнее приведенного.

 ,

ival
()

Маршрутизация с iptables метками.

Форум — Admin

Есть несколько зон с потенциально пересекающимися ip адрессами. Нужно организовать между ними маршрутизацию.

Например на eth0 и eth1 висят две разные сети с адресами 10.1/16, нужно, чтобы в каждой сети была доступна соседняя по адрессам 10.2/16. Соственно для каждой зоны закрепляется номер, в PREROUTING трафик классифицируется: ставится метка (в первом байте зона назначения, во втором зона источник). Для каждой зоны создается отдельная таблица маршрутизации и прописываются правила (ip rule add) в зависимости от ip источника, интерфейса источника и метки соединения в какую таблицу смотреть.

Но внезапно полезли какие-то странности:

1. first routing desition впринципе в правила смотрит но почему-то не всем следует. Ему обязательно нужно правило (from all lookup main) и любой фиктивный default route, ведущий куда-то наружу, без них обратные пакеты обрываются после mangle:PREROUTING

2. Внезапно arp запросам тоже что-то нужно (зачем?) от таблиц маршрутизации: если нет правила from all lookup main они не генерируются.

3. ip route add <net> via <gw> table zone1 отказывается иногда(когда?) добавлять маршрут, даже если в ней до <gw> есть прямой. Удалось починить только добавлением фиктивного маршрута ip route add default dev lo table default

Как такое можно объяснить? Где об этом можно почитать?

 

ival
()

Расстановка зависимостей.

Форум — Admin

Это только пример. Реальные классы чуть сложнее:

Есть класс A, представляющий папочку (/opt/trash), есть множество классов C_i, представляющих программы, которые в эту папочку ставятся. У каждого класса (А и C_i) есть параметр ensure, который может принимать значения present и absent. Папочка может понадобиться сама по себе, без установленных программ.

Если существует хотя бы один С_i c ensure == present, то A::ensure тоже должно быть present

Если A::ensure == present, то A должно предшествовать всем С_i (в терминах require/before)

Если A::ensure == absent, то наоборот: Все С_i предшествуют A,

Очень желательна возможноть не упоминать A в описании ноды без необходимости.

Можно ли такие взаимоотношения вбить в puppet-манифесты?

 

ival
()

сменить имя сетевого интерфейса без перезагрузки

Форум — Admin

CentOS 6

Поправил файлы

/etc/udev/rules.d/*persistent-net.rules 

/etc/sysconfig/network-scripts/ifcfg* 
переименовав иньтерфейсы (eth0->outer) .

Можно ли применить изменения без перезагрузки?

 

ival
()

Подскажите программу.

Форум — General

Нужно построить графики, отметить там точки, сделать засечки с натписями на осях координат, подрисовать касательные и все это подцепить из latex. Сейчас пользуюсь tikz. Он все это умеет, но приходиться все делать методом тыка.

Есть ли интерактивная программа, которая все это умеет. Пытался погуглить, но обычно программы умеет либо только рисовать прямые/точки/коники, либо только строить графики, а нужно то и другое.

 ,

ival
()

Автоматическая установка зависимостей при работе программы

Форум — Admin

Где-то видел команду или скрипт, который позволяет автоматически доутанавливать нужные пакеты после запуска программы, а сейчас не могу нагуглить. Хотя возможно это дефект памяти, и тот скрипт был поскромнее и всего лишь доставлял библиотеки, получаемые от ldd.

Не подскажите, что это за команда/script?

 ,

ival
()

температура, контроль вентилятора на lenovo S10

Форум — Linux-hardware

Подкиньте, пожалуйста, кто-нибудь идейку.

Вентилятор достал. Шумит сильно. Раньше температура была в районе 37 градусов, а теперь 43-44 (понятия не имею почему). Вот он и включается. Еще есть какой то глюк. Он не включается пока не открыть и закрыть крышку. До этого sensors выдает комнатную температуру.

Задача. Сделать так, что бы он не шумел.

Пробовал разобрать/собрать. Там над GPU и CPU пластина алюминиевая прикручена. К ней приделана медная полоска и вентилятор. Между чипами и пластиной расстояние один миллиметр. Там какая то прокладка. Поставил новую. Не помогло. Второй раз в дополнение к прокладкам помазал термопастой. Эффект почти не заметен.

Нагуглил программку, правда под винду на VB. Там через порты переписываются какие то регистры. Переписал код, работающий с этими регистрами под linux и использованием ioperm, inb_p/outb_p. Программа segfaultится. Заработало заменой ibn_p/outb_p на inb/outb (почему? опасно ли это?) В исходной программе был регистр 0x50, но опытным путем установил, что писать надо в 0x51. Если туда записывать 30 с интервалом в 50ms вентилятор не включается.

Операция записи в регистр далеко не атомарная. Сначала надо записать команду в управляющий порт а затем последовательно смещение и значение в порт для данных. Не опасно ли это? Какую блокировку нужно получить? Возможно ли это сделать из userspace?

А можно ли у Atom N270 тупо выключить вентилятор. Он не сгорит? А если он будет греться, не прогреет ли он hdd до опасных тепмератур.

Какие еще есть варианты (кроме как выбросить бук)

ival
()

PEP

Форум — Talks

Ну взглянешь на python бегло, вроде нормальный язык, а копнуть чуть дальше, и все. И statements в lambda не запихнуть, и генераторы, созданные с yield, нельзя повторно использовать. Да наверняка много чего еще всплывет после попытки написать еще 100 строк кода.

А может стоит кастрировать Гвидо ван Россума. Пусть он мужик будет такой же, как его творения. С виду нормальный, а на деле ничего не может. Может тогда он сменит генеральную линию партии?

ival
()

Верной дорогой идете, товарищи!

Форум — Talks

У нас богатая и древняя история, и мы по праву ею гордимся. И в то же время Россия – молодая страна. Напомню, что в наступающем году ей исполнится только двадцать лет. Для государства это не возраст, но дети, родившиеся в новой России, уже стали взрослыми. Теперь и от них зависит, каким будет второе десятилетие этого века.

Новогоднее обращение Президента 2011

Однако в последнее время отбор космонавтов в России проходит с большими трудностями. Так, в 2006 году корпорация «Энергия» отобрала в свой отряд лишь двух новых кандидатов вместо планировавшихся трех, и то лишь после того, как было отменено правило об обязательной работе кандидата на предприятии в течение трех лет. В том же году ни одного своего кандидата в космонавты-медики не смог отобрать Институт медико-биологических проблем. Молодые сотрудники этих организаций не хотят идти в космонавты из-за низких зарплат и длительного ожидания полета в космос. По словам космонавта-ветерана Павла Виноградова, совершавшего полеты в космос в 1997 и 2006 годах, средняя зарплата космонавта «Энергии» в 2006 году ничем не отличалась от зарплаты обычного инженера и составляла 20-30 тыс. руб. Значительную сумму космонавты получают только за выполнение самого космического полета

источник

ival
()

LOR effect request

Форум — Talks

Вот только не надо прямо сейчас куда то дергаться. Эффект нужен растянутый на месяц. Иначе могут отфильтровать.

На http://www.zakonoproekt2010.ru уже давно идет облуждение закона об образовании. И на LORe ссылка уже пробегала. Замечания принимаются до 1 февраля.

Нужно зайти сюдя или сюда, сформулировать и поддержать поправку, обязывающую учебные заведения размещать все учебные материаллы в открытом доступе у себя на сайте.

ival
()

Смысл жизни

Форум — Talks

К человеку домой приходят вооружённые люди, отбирают половину имущества сгоняют в колхоз, а он радоваться должен, стоя по уши в колхозе(или в лагере, ибо мешок муки зажидил), во имя сильной родины, так чтоли?

Именно так. Даже ни смотря на то, что все вокруг сошли с ума и твердят обратное. Каждый сам по себе, все только для себя, для личного комфорта. И чего? Какое лучшее применение своей никчемной жизни вы нашли? Жрать в три горла? Да после вас через 100 лет останется только куча говна и гниющее мясо. Вот чем был хорош СССР - там маленький человек мог выучиться, например, на каменщика и внести свой скромный вклад в строительство будующего. А сейчас? У нас не строители, а стадо баранов, бодающихся друг с другом за место под солнцем.

ival
()

Распил

Форум — Talks

На какое максимльное количество частей можно разрезать плоскость (R^2)

1) n прямыми

2) m окружностями

3) m окружностями одинакового радиуса

4) m окружностями и n прямыми

ival
()

RSS подписка на новые темы