Как оцифровать 14.5 млн. книг?

У меня была норма 1 разворот в минуту. Большинство книг умещали разворот на А4, средняя книга 400 страниц = 200 разворотов = 3.5 часа, плюс полчаса на проверку и компоновку файла. И да, 10 лет назад самые быстрые сканеры были Canon, 30 секунд на проход в 300 dpi / 256 оттенков серого. Плюс 10-20 секунд на действия руками (сильно зависит от состояния книги). Это в среднем. На некоторые книжки я и в 40 секунд на все укладывался, но таких было мало.

Для библиотек существуют специальные книжные сканеры, на обычных планшетных там не сканируют, хотя бы чтобы не ломать корешок.

Только стоит они конских денег. Как раз для наших библиотек, ога.

Только стоит они конских денег. Как раз для наших библиотек, ога.

Ничто не стоит дороже необходимого. Значит гос-ву это было не нужно, например менее нужно, чем асфальт в Москве плиткой перекладывать.

Плюс 10-20 секунд на действия руками

Я не укладывался в 10-20 сек., поскольку всегда хочется, чтобы текст был ровный, а не перекошенный. Да и постраничный и без полей, а не разворотами (из-за чего часто ровняться приходится дважды). Особенно мерзко обрабатывать текст близко прилегающий к корешку, который в результате коррекции контраста и яркости превращался в чёрный шум, как у неудачной ксерокопии. Суммарно 1-2 минуты сверху ко времени непосредственного сканирования - 30-75 сек при 450-600 dpi на страницу и ещё 10 сек на получение предварительного превью.

450-600 dpi

Перебор, обычно от 200 dpi уже достаточно

в результате коррекции контраста и яркости превращался в чёрный шум

Потому что надо использовать не чб, а оттенки серого, я некоторые книги даже в цвете сканил, потому что бумага пожелтела от старости... даже потом при сжатии в djvu серая/цветная гамма намного лучше обрабатывается в чб

Особенно мерзко обрабатывать текст близко прилегающий к корешку

Да, визуально он искажается, но не мешает. С какой-то версии файнридер научился выравнивать такой текст и при желании отлично его распознавать. Я начинал с 4й версии и у меня таких плюшек не было.

Перебор, обычно от 200 dpi уже достаточно

Сильно зависит от вопроса для чего? На мой опыт нужно все-таки 300dpi для устойчивого нормального распознавания обычных книг (печатных, без мелкого шрифта). Если делать djvu или pdf, по-хорошему, надо бы вообще 600dpi. Не случайно в библиотеках, где оцифровкой занимаются профессионально, сканируют обычно в 600 dpi, иногда более, если хотят получить действительно качественный результат.

Другое дело, что на любительском уровне такое могут себе не все позволить и имея ввиду скорость работы сканера и ресурсы для хранения и передачи.

Все так, поэтому я и указал ОТ 200, сам сканил 300 с заделом на будущее, если понадобится распознать хотя бы часть текста. Последние версии файнридера вообще адаптировали к говнофоткам настолько, что после 150 разница мизерная. Плюс на домашних сканерах скорость очень сильно падает после 300. Плюс на компах 10-летней давности просмотр графики в pdf более 300 сильно тормозил, да и на первых планшетах тоже очень туго было. Во всем нужна мера, 300 это отличная золотая середина. Кстати поскольку процесс механический, я еще ТВ смотрел в процессе. Если бы за оцифровку еще денег давали, было бы ваще шикарно.

чтобы текст был ровный, а не перекошенный

да насрать вообще. Там большую часть библиотеки никто никогда не читал и читать не будет. Стоит ли стараться сделать качественный скан ради документа, которые в ближайшую сотню лет поднимут от силы пару раз.

Особенно мерзко обрабатывать текст близко прилегающий к корешку,

тоже не нужно. Можно корешок вообще спиливать нафиг. Всё равно все эти книги после оцифровки нужно будет отдать на макулатуру.

книги без корешков проще листать автоматически.

Всё равно все эти книги после оцифровки нужно будет отдать на макулатуру.

Архивные документы в макулатуру? Т'упрлс?

Он упоролся, похожий фак-ап уже произошёл.

http://youtu.be/Vp03vyNspyI (толк на немецком) — в краце: в индустриальных сакнерах xerox лет десять был (и всё ещё есть) баг, который заменял отдельные буквы и цифры в отскранированном материале. (связанно с алкоритвом копрессии на похожих глифах)

Когда это стало известно, пару архивов стали рвать у себя на попе волосы, т.к. они после скана утилизировали оригиналы. А то что у них осталось в виде сканов преватилось в тыкву.

Этим ИНИАНом никто не пользуется. Иначе говоря, почти всё его содержимое - мусор. При этом оно стоит рядом с метро и жрет бесценное для Москвы городское место. Так что выбор между тем, что совсем это здание к чертям снести (может не само здание, но его содержимое и обитателей утилизировать). И тем, чтобы может быть всё это оцифровать и отправить в дата-центр, находящийся в глухой сибирской тайге, и не жрущий место (но всё равно потом обитателей и содержимое утилизировать). Учитывая «бешеную популярность» содержимого, наверное, даже на оцифровку денег из бюджета не дадут, не то что на продолжение безобразия.

Этим ИНИАНом никто не пользуется. Иначе говоря, почти всё его содержимое - мусор.

Ты неправ, почитай хотя бы статью, объясняющую что такое ИНИОН и какое значение имеет (имела?) его библиотека http://slon.ru/economics/prometeev_ogon_iniona-1210748.xhtml

бесценное для Москвы городское место.

Для постройки очередного бессмысленного торгового центра.

почитай хотя бы вот эту эпичную статью: http://vas-s-al.livejournal.com/465197.html

Читал статью еще несколько дней назад. Чего-то прям невероятно ужасного не увидел в ней. Что в той статье такого, чтобы сделать вывод о ненужности? Ну немного сонные советские еще порядки, дожившие до наших дней как в заповеднике и даже усугубленные. При том, что ведь понадобилось же ему.