Разбор ini-like файлов

Если нет требования именно на баше, можно сделать парсинг на питоне - привести заголовки к стандартному ini (например, регулярками или заранее sed'ом), потом распарсить стандартной либой. Можно потом либо сразу вписать в базу, либо передать по пайпу в баш. Как мне кажется, так будет быстрее, короче и надежнее.

К слову, питоновская парсилка ini считает «=» и ":" синонимами, что удобно.

Через awk было-бы попроще.

#!/bin/awk -f

function printsectionifany() {
   if (section!="")
     print "('"section  "', '" ipAddress "'),"
}


BEGIN {
  print "insert into db.table (deviceName, deviceIp) values"
}
/^ready >>> sh d (.*)$/ {
  printsectionifany()
  section=$1
  ipAddress=""
}
/^\s*ipAddress\s*=\s*(.*)$/ {
  ipAddress=$1
}
END {
  printsectionifany()
}

┌[legolegs@battlehummer ~/programing/Free0N] :)
└> ./parce.awk < test.txt 
insert into db.table (deviceName, deviceIp) values
('ready', 'ipAddress'),

Требования по языку реализации - нет. На рабочей машине все файлы обрабатываются.

На счет того, чтобы привести имя секции к стандартному виду - не подумал. Это же можно действительно sed-ом сделать. Спасибо.

А вот с питоном... Как указывать скрипту какие поля из ini-файла нужно заносить в БД? Как указывать скрипту если нужен маппинг полей (если имя свойства в ini-файле - ipAddress, а в базу нужно записывать в столбец ip)?

Опять же - это заморочки только для оптимизации. Сейчас имеется «шаблонный» bash-скрипт, который при необходимости в нужных местах исправляется. Под оптимизацией имею ввиду некоторый стандартный вариант использования инструмента.

Если брать питоновский скрипт (да хоть прогу на c++/java), то самый лучший вариант:

someUtility -f ini.file.path --section 'ready >>> sh d(.*)$' --map 'ip=ipAddress' --map '...' --table "db.table"'

О да! Это же можно сделать... довольно просто! Спасибо за наводку, пошёл кодить :)

Получается на каждое свойство, которое нужно записывать в БД нужно отдельный блок /^\s*ipAddress\s*=\s*(.*)$/ { ipAddress=$1 } в скрипте? Или что-то еще добавить нужно?

insert into db.table (deviceName, deviceIp) values ('ready', 'ipAddress'),

тут должно быть «SomeDevice» вместо «ready»:

insert into db.table (deviceName, deviceIp) values('SomeDevice', 'ipAddress'),

Не могу найти как awk попросить вывести выбранную часть регулярки вместо $1

Про приведение имени секции - можно вычитать файл, проитерировать по строкам, регуляркой сматчить названия секций, str.split'ом выделить имя и записать в строку. Потом ее можно скормить парсеру.

Также имей ввиду, что есть (нестандартные) либы для работы с мускулем из питона. Альтернативный вариант - вызвать из питона консольную утилиту для работы с мускулем. Но, из моего опыта работы с sqlite, это опасно в смысле инъекций.

Вообще, я бы сделал всю обработку в одном скрипте на питоне из соображений поддерживаемости.

Libconfig, вроде что-то подобное парсит.

Эм... Она вроде только свой формат парсит (похожий на json). Или я чего-то не дочитал в доках?

Вот правильный вариант на gawk. Далеко не так изящно, как я рассчитывал. Может и не нужн, раз там всё на питоне, но для полноты треда пусть будет.

#!/bin/awk -f

function printsectionifany() {
  if (section!="")
    printf "('%s', '%s'),\n", section, vars["ipAddress"]
}
BEGIN {
  FS="\\s*=\\s*"
  print "insert into db.table (deviceName, deviceIp) values"
}
/^ready >>> sh d (.*)$/ {
  match($0, /^ready >>> sh d (.*)$/, sec)
  printsectionifany()
  section=sec[1]
  delete vars
}
NF==2 {
  gsub(/^\s*|\s*$/,"")
  vars[$1]=$2
}
END {
  printsectionifany()
}