операции над текстом с конкретным «столбцом» в csv файле

sed принципиален? Для всякого колонко-форматированного гораздо проще будет использовать awk, а не sed.

Причем у gawk в мануале есть примеры с csv.

Для CSV существует масса специализированных утилит, включая утилиты, позволяющие работать с CSV файлами используя SQL.

Конкретные ссылки сейчас дать не могу, т.к. в закладки не добавлял, но думаю, что это моментально найдётся поиском.

IMHO, гораздо надежнее и лучше установить одну зависимость или взять тот же Python со встроенным модулем CSV (и ещё кучей батареек с PyPI, позволяющих более продвинутые манипуляции), чем устраивать подверженный ошибкам закат солнца вручную с помощью низкоуровневых инструментов.

Только если рассматривать это как гимнастику для ума, когда есть вагон свободного времени.

Python имеет смысл взять, конечно, но это может быть оверкилл. Смотря что нужно. awk прекрасно работает с csv. С задачей выше он вполне справится:

awk -F ';' '{OFS=FS; gsub("  "," ",$3); print}'

($3 порядковый номер колонки).

В sed будет на порядок замороченнее, потому что он именно в колонки как таковые не умеет. Придётся городить регэкспы с группами.

P.S. Подсветка синтаксиса для Bash на ЛОРе почему-то едет, если нет пробела после -F

Нашёл у себя в закладках только один из удобных инструментов для работы с CSV: https://csvkit.readthedocs.io/en/latest/

Точно помню, что видел больше, но не сохранял.

csvq - SQL-like query language for csv

 https://mithrandie.github.io/csvq

Какая крутая идея, вместо легковесных построчных подстановок городить над файлом sql-абстракцию и какие-то запросы.

Нуу на самом деле идея вполне имеет право на жизнь, в SQLite загрузка/выгрузка CSV делается в 1 клик, такой инструмент в запасе иметь, помимо sed/awk вполне полезно

С точки зрения кодинга - да, очень просто всё получается, а вот с точки зрения того, чем проц будет заниматься? Он сначала будет полноценно парсить всю таблицу, затем делать (в памяти? не суть) запрос, потом обратно конвертировать всё в csv. Потоковое редактирование выглядит явно быстрее, если фичи реляционной бд не нужны.

Короче, сделал на awk в несколько строк скриптец, для решения этой задачи. Ввиду того, что я «программирую» крайне редко, предполагал, что возможно есть какой-нибудь совсем простой метод в одну команду, о существовании которой я не знал :)

Имеет ещё значение простота отладки и последующей поддержки. Можно нахреначить баш-портянок с грепами и седами, в которых через год никто уже не будет ничего понимать, и будет невозможно что-либо легко исправить.

С таким тоже сталкивался, и относительно недавно.

Кроме того, если CSV небольшой, а компы сейчас мощные - что плохого в том, чтобы использовать почти всем понятный язык, который, к тому же, будет оперировать не символами-байтами, а семантическим пониманием того, что у нас строки со столбцами?..

Потоковое редактирование выглядит явно быстрее, если фичи реляционной бд не нужны.

Прикрутить к SQL-синтаксису оптимизацию для простого UPDATE/SELECT без группировок и соединений проще, чем через sed/awk заставить адекватно разбирать

1;"a;b";"c";"d"
2;"f";"g;""g1";"h"

Смотря что нужно. awk прекрасно работает с csv. С задачей выше он вполне справится

Пока внутри столбца внезапно не встретится символ ;.

Пока внутри столбца внезапно не встретится символ ;.

FPAT = "([^;]+)|(\"[^\"]+\")"

В этом случае и со всякими специальными либами не всё так просто. В общем случае предполагается, что разделителя внутри столбцов нет. Иногда поддерживаются кавычки (и сами по себе тогда игнорируются). Иногда кавычки обязательны. Иногда поддерживается экранирование символа-разделителя. Об этом всё равно придётся позаботиться, что так что эдак.

Короче, сделал на awk в несколько строк скриптец, для решения этой задачи. Ввиду того, что я «программирую» крайне редко, предполагал, что возможно есть какой-нибудь совсем простой метод в одну команду, о существовании которой я не знал :)

Я же выше дал метод в одну команду. Понятно, что может требоваться что-то ещё, помимо озвученного. Но когда всё не так просто, то и скрипт будет не так прост.

В goawk есть особая поддержка для CSV-файлов, учитывающая возможные грабли с кавычками. См. https://github.com/benhoyt/goawk/blob/master/docs/csv.md, там описаны и про другие реализации awk есть информация

В этом случае и со всякими специальными либами не всё так просто

Не встречал либы, у которой с этим были какие-либо проблемы. У тебя есть примеры обратного?

Есть RFC 4180. Если заявляешь работу с CSV, надо поддерживать. Кстати, надо учитывать, что в поле ещё и перенос строки может встретиться.

Вот это хороший подход.

Можно нахреначить баш-портянок с грепами и седами, в которых через год никто уже не будет ничего понимать

А можно написать awk-скрипт, который будет предельно понятен и весьма эффективен :)

Ну например, как любая либа определит, отбрасывать, например, кавычки, или они являются именно частью строки? Может быть и так и эдак.

Здесь уже не CSV по стандарту, потому что в качестве разделителя не ,, а ;. Одно дело, что «надо», и совсем другое, в каком виде данные реально хранятся/пришли (что не всегда от тебя зависит).

В RFC же написано. Если поле в кавычках, то их всегда отбрасывать. Если в начале поля кавычки нет, значит не в кавычках.

Если строка начинается с кавычки, то её целиком надо взять в кавычки, а кавычку как спецсимвол удвоить.

Например, такой: http://mcollado.z15.es/xgawk/csvmode/csvmode.awk

Тут есть несколько вариантов

1. У ТСа разделитель не запятая, так что вполне возможно, что у него не полноценный CSV, а его его подмножество без траха с кавычками
2. Можно заинклудить указанную либу или использовать тот же goawk

В обоих случаях скрипт с бизнес-логикой должен получиться простым

В RFC же написано.

Там может быть написано всё, что угодно. В том числе и то, что разделителем является запятая, а не точка с запятой. В реальности же обычно приходится работать с данными, соответствие которых этому RFC распределено случайно.

Есть .csv файл, разделитель «;» в котором только в одном из «столбцов» необходимо удалить пробелы/заменить несколько пробелов на один. а другие столбцы не трогать.

для развлечения можно сделать c cut,paste,tr; но лучше действительно на awk

Я на подставу с «/» вместо скобок попадал. Некоторые программы считали за искейп чего-то.

Ну, тот же pandas эвристиками какими-то столбцы проверяет.