Как итерировать через CSV файл содержащий запятую внутри?

Дефолтный CSV-парсер по строчкам

В bash’е нет csv-парсера. Вот неожиданность-то.

Или брать что-то в духе csvkit, или же реализовать задачу не на bash.

Или не csv а tsv.

Или другой разделитель, который точно не будет использован в значениях :)

Есть мысль, что существует некое подобие jq для csv.

Ну вроде же недавано тут писал...

ftp://ftp.simtreas.ru/pub/my/csv2html.sh

эскейпинг \" не понимает, но двойные "" — понимает.

Так допиши чтоб понимал.

И это, ты что, не видел цсв с переводами строк (разделитель рядов) внутри двойных кавычек? Ну так я видел — считается валидным, так же как и запятая (разделитель колонок).

Так допиши чтоб понимал.

Так я дописал, на C. На bash это было пятиминутное баловство.

Просто используйте питон, а не богомерзкий баш.

на C

А вот это по нашему. Ссылку на репо дашь? Могу добавить поддержку утф-8 (без доп либ), если таковая отсутствует и у тебя только обычные чары.

Ссылку на репо дашь?

Трудно было догадаться поменять .sh на .c в том URL?

Могу добавить поддержку утф-8 (без доп либ), если таковая отсутствует

Для koi8/cp1251 -> utf8 там присутствует.

Откуда я знаю отдаешь ты список файлов или нет. И проверять не стал. А уж как ты их там обозвал только тебе и известно.

Ты что на фряхе сидишь (ну или тебя сакрихту с эдиком покусали)? Комментарии в файле в кои-8.

Я про чтение утф-8 — нету. Ну и раз уж я открыл сорцы, зачем маллочишь так много, а если файл паругиговый?

Просто используйте питон

Плюсую. Это задача, для которой bash - не лучший выбор

а не богомерзкий баш.

Минусую

Очевидно он парсит корректно. По спекам надо эскейпить разделитель.

$ cat delme.txt
foo,"bar,baz"
"foo,bar",baz

$ cat delme.txt | while read L; do echo "$L" | perl -pe 's/"([^"]*+)"[,\n]?|([^",\n]+)[,\n]?/<$1$2>/g' ; echo ; done
<foo><bar,baz>
<foo,bar><baz>

Немного переработанное решение arsi.

Трудно было догадаться поменять .sh на .c в том URL?

Страшно, вырубай. Нет чтобы на нормальных языках писать...

Я про чтение утф-8 — нету.

Да читайте наздоровье, получите на выходе ваш любимый он же. Какие проблемы то? Для этого оно и таким богомерзким и придумано.

Чтение некрокодировок — мастхэв в парсерах и прочих слоях совместимости.

зачем маллочишь так много, а если файл паругиговый?

Так много — это как? У меня стояла задача не тупо, а с фильтром обработать, потому для пересортировки столбцов надо вначале строку всю и поместить в память. После вывода строки (если полностью не отфильтровалось) память освобождается. Если у вас одна строка гиговая, то как потом вы это смотреть будете?

Бегло смотрел. Если после каждой строки освобождает то гут.

Kroz best.

Ну ты выдал — парсер должен знать какого размера символ в байтах, чтобы не пропарсить 1/2, 1/3, 1/4, 1/5 или 1/6 символа как целый один.

Kroz best.

Ну мало того, что тут bash только запускалка, так ещё править и править для вполне валидных csv:

$ cat delme.txt 
bar,
"bar,""baz""",foo

vs

#!/usr/bin/env python3

import csv

with open('test.csv') as f:
    for row in csv.reader(f):
        print(row)

Вотъ, а как раз в случае с UTF-8 нужна плотная интеграция с опознавателем кодировки, потому что число байт в нём всегда переменно.

На самом деле плюсую.