Сегодня на почту прилетело вот это:

https://www.kaggle.com/competitions/competitive-data-science-predict-future-s...

Это задание является заключительным для курса Coursera «Как победить в конкурсе по науке о данных».

В этом конкурсе вы будете работать со сложным набором временных рядов, состоящим из ежедневных данных о продажах, любезно предоставленных одним из крупнейших российских разработчиков программного обеспечения - компанией «1С».

Мы просим вас спрогнозировать общий объем продаж каждого продукта и магазина в следующем месяце. Приняв участие в этом конкурсе, вы сможете применить и усовершенствовать свои навыки работы с данными.

Как такое возможно ?

Собственно, вот:
https://habr.com/ru/news/848326/

Лоровец, а ты когда-нибудь использовал в своей жизни анти-вирус Касперского ?
Расскажи свою историю успеха

https://ru.ruwiki.ru/wiki/Заглавная_страница

А что молчим ?

Бизнесмен скончался в реанимации одной из столичных больниц после продолжительной болезни. Было ему 55.

Компания вышла на IPO и получила миллиарды инвестиций.

Какую роль в вашей жизни играет хедхантер ?

В декабре озон выкинул на прилавок партию битых внешних ssd-дисков
Вы их можете найти по ссылке
https://www.ozon.ru/product/16-tb-vneshniy-zhestkiy-disk-t5sg-siniy-1315677329/
Я сначала не поверил своим глазам - 16 терабайт за ... одну тысячу рублей
Одну, Карл !
Я тут же заказал сначала один, а потом через пару дней второй
Первый пришел на новогодних каникулах и оказался битым вусмерть
Никакие утилиты переразбиения, форматирования и проверки не помогли, и пришлось его выкинуть в мусорку
Второй пришел пару дней назад, и с ним повезло больше
Я смог восстановить 3 терабайта из 16
Использовать в постоянной работе я его вряд ли буду, первоначально я брал его под торренты
Я не знаю, когда он начнет сыпаться, но надеюсь, что к тому моменту диски станут немного дешевле

В этой битой партии на текущий момент осталось еще 2000 штук, и акция у них еще будет 2 недели

Зайдите на гугл и на яндекс
Наберите в поисковой строке - Иоганн Себастьян Бах
Или что-нибудь другое, без разницы
После этого каждый поисковик будет выдавать результаты
Внешне у яндекса алгоритм не изменился - на странице появляются 10 ссылок и внизу ссылки для перехода
Но когда вы начнете нажимать на эти ссылки внизу, то дойдете до 25-й страницы и - внимание! - это будет последняя поисковая страница !
Я не помню, когда точно произошел этот переход от неограниченного числа ссылок
У гугла поисковый алгоритм изменился даже внешне - вообще исчезли ссылки на поисковые страницы внизу, вместо этого предлагается нажимать на кнопку - Еще результаты - и они довольно быстро заканчиваются
И в итоге мы получаем всего 160 ссылок в гугле или 250 в яндексе

Вопрос к англо-язычным пользователям гугла - у вас такая же фигня ?

Получается, что в поисковых системах ввели жесткий ограничитель, и с чем этого связано, можно только догадываться - например с увеличением общего числа запросов
Фактически, это звучит как дискриминация пользователей в их праве получать информацию

Проект Debian празднует своё тридцатилетие. Дистрибутив был впервые анонсирован Яном Мёрдоком (Ian Murdock) 16 августа 1993 года в списке рассылки comp.os.linux.development. Главной целью проекта была разработка дистрибутива, развиваемого в соответствии с духом полной открытости, свойственной Linux и GNU, а также стремление к техническому совершенству и надёжности.

За время существования Debian было выпущено 18 релизов, обеспечена поддержка 26 аппаратных архитектур, сформирован репозиторий из более чем 60 тысяч пакетов. Общий суммарных размер всех предложенных в дистрибутиве исходных текстов составляет 1.3 млрд строк кода. Суммарный размер всех пакетов - 365 GB. В проект вовлечено более 1000 разработчиков, на технологиях Debian создано около 400 производных дистрибутивов, не считая многочисленных ответвлений от таких основанных на Debian дистрибутивов, как Ubuntu.

Кому молчим ?

У меня есть список бесплатных дистрибутивов, для которых существуют механизмы обновления ядер,
справа поставлены актуальные версии ядер на текущий момент:
Ubuntu 20 - 5.4
Debian 11.3 - 5.10
Fedora 35 - 5.16
OpenSuse 15.3 - 5.3
Alt server 10 - 5.10
Rosa Fresh Desktop 2021.1 - 5.10

Я отношу их к классу энтерпрайза или продакшена, поскольку они широко используются в качестве как серверов, так и десктопов в силу бесплатности.
Я не включил в этот список их производные/клоны, поскольку он довольно большой.
Я не включил в этот список арч, генту и ряд других, потому что отношу их к классу конструкторов.

У меня два вопроса, которые я хотел бы обсудить в этой теме, и первый вопрос такой:
1. Как обновить ядро (не дистрибутив) для каждого пункта этого списка штатными стандартными средствами.
В частности, до последней LTS-версии ядра 5.15.

Второй вопрос:
2. Как обновиться до последней версии ядра - на текущий момент это 5.17.
Умельцы из Федоры например уже успели собрать образ на основе ядра 5.16, но Федору можно с большой натяжкой
отнести к продакшену, и вероятно, здесь обновление возможно только путем компиляции из исходников,
В любом случае - как вариант - как собрать ядро из исходников.

Хост - убунта, стоит дома, сетки нет, подключен к интернету по кабелю
На хосте стоит Virtualbox
В Virtualbox стоит гостевая - также убунта

Проблема в том, что нужно иметь одновременно:
1. Доступ по ssh с хоста на гостевую
2. Интернет в гостевой

Для гостевой системы можно выбрать различные сетевые настройки:
1. NAT
2. Сетевой мост
3. Виртуальный адаптер хоста

В первом случае - NAT - доступ из гостевой в интернет есть, но доступа по ssh с хоста на гостевую нет
Во втором случае - Сетевой мост - нет ничего
В третьем случае - Виртуальный адаптер хоста - доступа из гостевой в интернет нет, но есть доступ по ssh с хоста

Можно в принципе настроить одновременно доступ по ssh с хоста на гостевую и интернет в гостевой ?

Я наваял простенький парсер для ютубовского чата
Там сумасшедший трафик, и что-то он у меня иногда падает
Не пойму, почему:

import json
import os
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import ui
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.firefox.options import Options

def run_scraper():
	options = Options()
        #options.add_argument("--headless")
	browser = webdriver.Firefox(options=options, service_log_path='./gecko.log')
	wait = WebDriverWait(browser, 5)

	id = 'heyOYoFCJAQ'	
	url = "https://www.youtube.com/live_chat?v=" + str(id)
	browser.get(url)
	browser.implicitly_wait(1)
	#innerHTML = browser.execute_script("return document.body.innerHTML")
	wait.until(EC.element_to_be_clickable((By.XPATH, "//*[contains(@class, 'style-scope yt-button-renderer')]"))).click()
	wait.until(EC.element_to_be_clickable((By.XPATH, "//*[contains(@class, 'style-scope ytd-menu-service-item-renderer')]"))).click()
	
	chats = []
	with open('youtube_chat.html', 'a') as file:
		file.write('<html><head><META http-equiv=Content-Type content="text/html; charset=utf-8"></head><body><table>\n')
		while True:
			for chat in browser.find_elements_by_css_selector('yt-live-chat-text-message-renderer'):
				try:
					author_name = chat.find_element_by_css_selector("#author-name").text
					print(author_name)
					message = chat.find_element_by_css_selector("#message").text
					#print(message)
					_str = '<tr><td>%s</td>&nbsp;&nbsp;&nbsp;<td>%s</td></tr>\n' % (author_name, message)
					file.write(_str)
				except Exception as ex:
					print('??? error:', ex)	


	browser.quit()
	return chats

run_scraper()

http://www.datamation.com/open-source/7-reasons-to-use-debian-and-3-reasons-n...

1. Универсальный инсталлятор Дебиана имеет большое количество опций и позволяет сконструировать любую конфигурацию. Если вам нужно что-то попроще, ставьте клон Дебиана - Убунту

2. По умолчанию Debian устанавливает только free software.
Но вам никто не мешает после инсталляции добавить всего одну строчку
contrib non-free
в файл
/etc/apt/sources
и затем выполнить команду
apt-get update

3. Дебиан по сравнению с другими дистрибутивами поддерживает максимально количество архитектур - девять, включая amd64, arm64,PowerPC. Как говорится, если ваша железка не взлетела на Дебиане, то она не взлетит нигде.

4. У Дебиана самая большая пакетная база - около 50000 пакетов

5. У Дебиана 3 репозитария - Stable, Testing, Unstable. Если вам нужна стабильность - вы естественно выбираете Stable. Если вам нужна версия поновее - выбирайте Testing.

6. Пакетный репозитарий Дебиана проработан максимально тщательно и является фактически эталоном для линукса, включая зависимости между пакетами и документацию.

У нас в дата-центре добавилась железка
Стоит бубунта
Заявленная частота процов - 3.8 гигагерц

Когда я выполнил команду
grep MHz /proc/cpuinfo
то был сильно удивлен, когда увидел цифру в 1.2 гига

Я тут же не преминул воспользоваться командой
cpufreq-set -r -g performance
после чего частота подскочила до 3.8
Последующий тест показал, что частота реально подскочила

Как я понимаю, такие вещи практикуются в крупных дата-центрах при установке новых серверов для экономии электричества ?

Навеяно вот этим:
http://algolist.manual.ru/maths/teornum/gene_prime.php

Товарищ Нестеренко описал алгоритм вычисления простых чисел. Вкратце суть такова:
1 Сначала вычисляем список начальных простых чисел - скажем, до миллиона или миллиарда
2 Берем последнее простое число в найденом списке и умножаем его на 4 плюс 2 - это будет R,
результат умножаем на последнее число в начальном списке и прибавляем единицу - получаем искомое число N
3 Первая проверка - N проверяем на простые делители из все того же начального списка
4 Вторая проверка - N проверяем с помощью алгоритма Рабина
5 Третья проверка - возводим двойку в степень N-1, результат делим на N
6 Четвертая проверка - возводим двойку в степень R , отнимаем единицу и проверяем на взаимную простоту с искомым числом N
Если все четыре проверки проходят, то N однозначно является простым числом.

На каждой итерации получается число с удвоенным количеством разрядов, если начинаем с 9999991, то уже на 7-й итерации
получаем простое число в тысячу знаков.
Все бы хорошо, но персоналный компьютер начинает вешаться уже после 5-й итерации.
Собственно, вопросы:
1. Существуют ли языки, кроме питона, позволяющие вычислять простые числа в 1000 и более знаков на основе встроенных
стандартных библиотек
2 Существуют ли специальные библиотеки, решающие эту задачу

Надеюсь, выбрал правильный раздел

Диофант в 3-веке написал Арифметику, состоящую из 13 книг, из которых до нас дошли всего 6
Эта книга послужила толчком для развития теории чисел спустя почти полторы тысячи лет
В этой книге он ставит и решает алгебраические уравнения с несколькими неизвестными

В частности, в третьей книге есть задача под номером 5:
Найти три числа, сумма которых равна квадрату и такие, чтобы два из них, взятые вместе, превышали оставшееся третье на квадрат.

Т.е.. есть система из двух уравнений:
a+b+c=d^2
a+b-c=e^2

Диофант например находит дробные решения: 8.5, 32.5, 40

Задача: написать программу, которая находит бесконечно много таких троек чисел, причем в целых числах

Предлагаю холивар
В интернете полно реализаций на разных языках
Я чуть позже выложу свой на питоне, в нем всего каких-то 10 строк, решение выводится за минуту на обычном компе, Архимед наверно перевернулся бы в гробу
В основу моего решения положен далеко не самый быстрый алгоритм, описанный еще Антифонтом: сторона квадрата, вписанного в окружность с единичным радиусом, равна корню из двух. Если удвоить число сторон до 8, то сторона будет равна более сложному выражению: нужно вычесть корень квадратный из разницы между двойкой и все тем же корнем из двух. И т.д. для 16,32, 64 .... - угольников

Задача известна как Longest Consecutive Sequence
Имеется массив неотсортированных чисел, возможны дубли
Найти самую длинную непрерывную последовательность, сортировать исходные данные нельзя.
Пример:
num = [1, 6, 10, 4, 7, 8, 3]
Решение: 6, 7, 8


Пока у меня самое быстрое решение со следующим алгоритмом:
строится хеш-таблица - или словарь - по следующему правилу - по шагам итерации:
i: 1 Table: {1=1}
i: 6 Table: {1=1, 6=6}
i: 10 Table: {1=1, 6=6, 10=10}
i: 4 Table: {1=1, 4=4, 6=6, 10=10}
i: 7 Table: {1=1, 4=4, 6=7, 7=6, 10=10}
i: 8 Table: {1=1, 4=4, 6=8, 7=6, 8=6, 10=10}

Т.е. время равно O(n). плюс накладные расходы на память того же порядка
Другие варианты, которые не используют дополнительную память, например попытка динамически удалять элементы подмассивов, тормозят

Вопрос: есть что-либо более другое, более быстрое ?

Предлагаю холивар: имеется текстовой файл размером в 10 метров, состоящий из неотсортированного массива чисел, в одной строке - одно число. Нужно прочитать исходный файл кусками по миллиону строк, отсортировать каждый кусок и записать его в отдельный временный файл. Потом нужно пробежаться по этим временным файлам и смержить все в итоговую сортировку в один результирующий файл. Смысл - в ограничении памяти, ее немного, поэтому используем дисковое пространство. Я наваял решение на питоне, которое выложу чуть попозже. На моей машинке 11-метровый файл (5 миллионов строк) перемалывается порядка минуты.

Финальная сортировка выглядит так:

f_output = open('output.txt', 'a')
for x in heapq.merge(*iters):
  f_output.write(str(x)+'\n')
f_output.close()

Кто быстрее ?

Нужна тулза для создания анимированных трехмерных текстов. Блендер, как более универсальное средство, для этой конкретной задачи довольно тяжел.
Есть что-нибудь попроще, специфическое, которое работает только с текстом и не касается изображений вообще?
Сценарий примерно такой: задаешь текстовую фразу, выбираешь фонт, красишь в цвет, задаешь тип анимации, нажимаешь - и получаешь 3д-анимацию

С сегодняшнего дня не могу зайти на лор через файрфокс
Причина:
Secure Connection Failed
An error occurred during a connection to http://www.linux.org.ru. The key does not support the requested operation. (Error code: sec_error_invalid_key)

Когда в файрфоксе набираю логин с паролем - вылетает сначала окно - ошибка авторизации, а потом то, что выше.
Стоит 12-я зюзя, не было никаких обновлений.
В файрфоксе удалил кеш, не помогло
Файрфокс 26-й


Зашел через konqueror, поменял пароль, пришло на почту подтверждение, через konqueror же добавляю это сообщение.

Уже было, но повторение - мать учения

http://www.pcworld.com/article/2082460/moving-a-city-to-linux-needs-political...

Вкратце:

Переход 15 тысяч персоналок с винды на бубунту позволил сэкономить 11 миллионов евро

Неожиданно выясняется, что последующий договор на поддержку не нужен. Нужно только обеспечить возможность обновлять версию.

Мюнхен разорвал порочную зависимость от одного глобального вендора - теперь он зависит только от себя

Проблема несовместимости проприетарных форматов екзеля и ворда, как оказалось, решается в приказном порядке навязыванием всем формата .odf, а
также свободного формата WollMux

Финансовый департамент до сих пор использует аж три винды со специфическим софтом, который нужно переписать под линукс. Печать паспортов также пока выполняется из-под винды

Процесс пошел, и похоже на то, что в Мюнхене он имеет необратимый характер