LINUX.ORG.RU

Сообщения kaurych

 

Hadoop и log4j

Форум — General

Привет!
Пытался в hadoop сократить журнал логирования, сделав вывод только уровень протоколирования, начиная от WARN.
Используется пакет протоколирования для Java - log4j.
Почему-то в системе два файла log4j.properties, но по сути это один, так как они реплицируются.

/data/hadoop-2.7.7/etc/hadoop/log4j.properties
/home/hadoop/etc/hadoop/log4j.properties

Поменял вывод
hadoop.root.logger=WARN,console
так же
log4j.threshold=WARN
Но толку нет. Документации нормальной не могу найти, которая объяснить как произвести изменения. В одном месте кто-то пишет, что поменять вывод в лог не возможно.. Ни фига не понятно, что и где менять. Возможно у кого-то получилось и дружит с API log4j адаптированной к hadoop, подскажите пожалуйста или поделитесь нормальными мануалом, а то делаю меняю настройки в log4j.properties что само напрашивается и рекомендуют, но может с моей версией hadoop 2.7.7 не так всё надо делать.. не понятно..

 ,

kaurych
()

AWK, когда несколько разделителей текста, при замене в колонке значения, убирает разделители на выходе. Как вернуть их?

Форум — General

Привет!
Создал скрипт, который вытаскивает из БД несколько строк, разбивает их на колонки за счёт трёх разделителей и по второй колонке, если значение совпадает меняет 16ю на своё. Вот awk:
awk -F":|"id=|," -v Slave=$slave -v Alias=$alias ‘{if($3==Slave) { $16=Alias } print}’;
Тут как видите работа с переменными, всё отлично работает, но блин… замучился.. пропадают после замены в тексте разделители (тут отрабатывает OFS - которая пробел, а как вернуть те что были?). А это «:» потом «,» и единственный разделитель «"id=» так как надо номер освободить от него что бы нужный по условию найти.

Пробовал другой вариант:
awk -v Slave=$slave -v Alias=$alias ‘BEGIN{FIELDWIDTHS=«13 10 186 4 50»} {if ($2==Slave) {$4=Alias} print}’;
Тут как раз заменяет отлично колонку где надпись «null» на нужное значение, но при этом при замене с двух сторон подставляет пробелы и при том у колонки с id=xxx тоже.. (этот вариант не устраивает, так как тут жёсткая длина 4 символа, а она потом может меняться и бардак будет). Вот такая беда.. Не могу найти решения. Есть какой-то вариант переведённый кое как для сохранения разделителей, но какой-то сомнительно сложный..
Помогитеее… пожалуйста )))

 ,

kaurych
()

На ноуте W7 и FreeBSD - последнюю снёс и ставлю Fedora Workstation 29. Как установить Fedora и прописать в уже существующий загрузчик?

Форум — Linux-install

САБЖ
Дополню:
При установке Fedora Workstation 29 выскакивает ругачка с упоминанием GPT.
Windows 7 (далее W7)стоять может только под таблицу разделов MBR.
Fedora 29 ставится только теперь под GPT?
Если поставить можно, то как прописать её в загрузку (я так понимаю в виндовый, который в разделе на 100Мб)?
Не нашёл документацию под мой вариант установки, возможно подскажите.(Очень надеюсь!)

 , , , ,

kaurych
()

RegExp - помогите с awk - надо отфильтровать после sort список адресов по времени соединения..

Форум — General

Привет! Отсортировал логи по времени и мак адресам, список получился внушительный. По времени первая колонка сортирует заходы по mac адресам сверху вниз (ну как надо в общем). Хочу оставить только время захода и время последнего соединения. Выглядит это так:

grep 'subscribe' sml.log |awk -F/ '{print $1 $2 $3 "Mac: " $5}' | sed 's/.*\[//; s/+0300\]."GET//; /HTTP/d' | sort -k2

16Aug2018:18:12:10 Mac: 00:02:9B:A0:35:5C
16Aug2018:18:12:20 Mac: 00:02:9B:A0:35:5C
16Aug2018:18:12:30 Mac: 00:02:9B:A0:35:5C
16Aug2018:18:12:40 Mac: 00:02:9B:A0:35:5C
16Aug2018:18:12:50 Mac: 00:02:9B:A0:35:5C
16Aug2018:18:13:01 Mac: 00:02:9B:A0:35:5C
16Aug2018:18:13:11 Mac: 00:02:9B:A0:35:5C
16Aug2018:18:13:21 Mac: 00:02:9B:A0:35:5C
16Aug2018:06:27:26 Mac: 00:02:9B:A0:36:25
16Aug2018:06:27:37 Mac: 00:02:9B:A0:36:25
16Aug2018:06:27:48 Mac: 00:02:9B:A0:36:25
16Aug2018:06:27:58 Mac: 00:02:9B:A0:36:25
Пытаюсь фильтровать с помощью awk (дописываю после пайпы):

awk '!($2 in a) {if (a[$2] == a[$2]++)a[$2]--; print;  a[$2]; print ; a[$2]++; print; print "===="}'

но фигня какая-то..
====
16Aug2018:06:27:34 E4:27:71:70:42:42
16Aug2018:06:27:34 E4:27:71:70:42:42
16Aug2018:06:27:34 E4:27:71:70:42:42
====
16Aug2018:06:27:26 F4:27:71:1F:09:FF
16Aug2018:06:27:26 F4:27:71:1F:09:FF
16Aug2018:06:27:26 F4:27:71:1F:09:FF
====
одинаковые первые строки пишет, тоже самое что и print $0 в awk. Посоветуйте как правильно решить по логике, что -то не так делаю явно!

 , , , ,

kaurych
()

Не работает log4j на tomcat 8.5.20, OS CentoOS.

Форум — General

Привет!
Можете подсказать, почему логи не показывает log4j? В указанных в конфиге путях не появляются файлы логирования. Процедура развёртывания log4j простая, вот по этой схеме: http://magnus-k-karlsson.blogspot.ru/2015/02/use-log4j-in-tomcat-7.html Но ничего не появляется по указанному пути в папке ...tomcat/logs в логе томкат пишет вот что:

Остальное это ругачка на свойства каких-то объектов слоя нижнего уровня Appender алгоритма логирования log4j. В общем, конфиг, который лежит в правильном месте $CATALINA_HOME/lib/log4j.properties, как-то надо инициализировать!
Вот честно, нихрена не понимаю что делать с этим, так как для томката не нашёл где написано, как исправить проблему! Этот варнинг с сылкой на http://logging.apache.org/log4j/1.2/faq.html#noconfig тоже ничего не даёт, так как конфиг должен считываться как и все файлики лежащие в $CATALINA_HOME/lib, такой уж ТОМКАТ есть. Может кто-то знает как тут быть? Или хотя бы перешлите на форум где могут знать, а то, ну время теряю, допекло уже )))

 , ,

kaurych
()

RSS подписка на новые темы