Всем доброго дня.

Столкнулся с такой проблемой

Есть база данных mysql 10+гб с которой при помощи php скрипт производятся подсчеты и результаты записываются в другую БД - которая в последствии занимает уже 70+гб

Расчеты производятся на сервере 8 ядер. Но занятых в подсчетах всего 1 ядро (точнее 2) 1 идет на выполнение скрипта (загрузка 30%) и 2 на базу данных (загрузка 100+%). Чтобы как то задействовать все ядра, я разбил php скрипт на 7 частей и запустил. Но ядро отвечающее за mysql загружено на максимум, а те что отвечают за скрипты 10-15%. Из за этого мои подсчеты занимают очень много времени ~20 часов.

Погуглив немного и пошаманив с настройками mysql, уменьшил время немного, но все равно в плане использования процессора не все ядра задействованы.

Разбираясь далее в проблеме нашел информацию что mysql не особо подходит для такого типа задач, поскольку не является многопоточной (или то что она не использует более 1 ядра процессора)

Предлагают использовать postgresql и greenplum (как я понял на базе той же postgresql) которые вроде как работают в многопоточном режиме

В них пока не особо разобрался - но хотел спросить знающих - сможет ли переход на использовние postgresql или greenplum помочь ускорить подсчеты и задействовать все ресурсы сервера, поскольку проскакивала мысля арендовать более мощный сервер - но если используется 1 ядро для обработки запросов к базе то смысла в этом немного.

Заранее спасибо.

Здравствуйте возникла необходимость изменить версию puthon на macos

Сейчас там стоит 2.7 а нужна 3+

Установил пакет с новой версией 3.8

Но при проверки версии пишет что у меня все еще 2.7

Нашел в инете как менять

$ python --version

Python 2.7.13

$ echo 'alias python=«/usr/bin/python3.8»' >> ~/.bashrc

$ . .bashrc

$ python --version

Python 3.8

Сменил у себя но теперь вижу ошибку что в /usr/bin/ нету python3.8

Проверил и там действительно его нет

Как добавить?

Здравствуйте

Как можно стандартными методами удалить в 3к+ файлах все лишнее оставив только строки которые содержат текст

есть строки

<xhtml:link rel=«alternate» hreflang=«x-default»'url'

<xhtml:link rel=«alternate» hreflang=«pt»'url'

<xhtml:link rel=«alternate» hreflang=«es»'url'

... и т.д. в одном документе нужных строк несколько

нужно удалить все оставив только строки которые содержат <xhtml:link rel=«alternate» hreflang=«x-default»

Значение url разное во всех документах

Здравствуйте

Интересует графическая программа для масовой замены текста в большом к-ве файлов.

Желательно программа наподобие этой http://tr.infortech.ru/ только чтобы еще присутствовала функция заменить «от» и «до» было бы здорово.

Знаю что многие начнут плеваться мол через командную строку делай, я бы с радостью, но заменять нужно много и не просто слов а блоков кода в html файлах вида

---------- (function(d, s, id){

var js, fjs = d.getElementsByTagName(s)[0];

if (d.getElementById(id)) {return;}

js = d.createElement(s); js.id = id;

js.src = «//connect.facebook.net/en_US/sdk.js»;

fjs.parentNode.insertBefore(js, fjs);

}(document, 'script', 'facebook-jssdk'));*/ ----------

и заменять нужно много, потому ручками все это вводить учитывая пробелы и т.д. времени много уйдет.

Буду признателен за совет. Всем спасибо.