Флибуста всё (((

Кстати, создатель поисковика «Мамонт» так и говорит, что русскоязычный сегмент сети Интернет существенно «отощал», если можно так выразиться. Ситуация с «Флибустой» косвенно подтверждает его выводы.

445 гигов он. На booktracker, например, есть.

А как называется раздача (не ссылка, конечно)?
Или пришлось скачивать еже(дневные|недельные|месячные) архивы?

«Библиотека Flibusta (только FB2) на 01.09.2024 (637475 книг) (локальная коллекция, пополняемая ежемесячно) + MyHomeLib + inpx»

https://lib.ru/

Даже не смешно.

Это немного дороговато. Можно купить HDD на четыре терабайта и поднять его локально, например, скормив ему все архивы MyRuLib. Это будет намного дешевле и всегда будет доступно.

Если локалхост для доступа себя и максимум пары друзей, то да. Но речь идет о том сколько и чего требует поддержание работы такой библиотеки как Флибуста. Это 1-2 килобакса в месяц, не менее. И скорее 2, чем 1.

Так как нужен хостинг на 1.2Tb файлов и еще резерв места для пополнения. Т.е. пару терабайт как минимум. Посетителей около миллиона в месяц. Много скачиваний.

И не просто хостинг для всего этого нужен, а еще и абузоустойчивый и хостинг и регистратор доменного имени. А абузоустойчивость - это минумум обычный ценник умножай на два, а то и на три. Еще и найди, еще и в наше время могут не со всяким клиентом иметь дело.

1. Сначала все ломанулись в соцсетки.

2. А потом и вовсе в чаты.

Это общемировая тенденция.

Ну да, требования уж больно высокие. Я вот что хочу сказать, проще поднять свою локальную копию чисто вот для себя. Выделяешь 2 терабайта, диск на 4 терабайта стоит тысяч 10 рублей, это примерно 100 долларов. Причем не в месяц, а пореже.

А абузоустойчивость - это минумум обычный ценник умножай на два, а то и на три. Еще и найди, еще и в наше время могут не со всяким клиентом иметь дело.

Значит надо принципиально что-то менять. Надпротокол поверх торрентов делать, например

Ты вот серьёзно не набрасываешь?

там 90% говна а-ля Донцова

Как и по всему книжному фонду в целом. И что? Тебя кто-то заставляет читать рандомных авторов и рандомные названия? Мне вот Лю Цысиня порекомендовали, я прочёл. Не жалею.

Я вот Донцову ту же тупо пропускаю, в том же жанре есть вполне нормальные авторы, кстати. А Донцовой я попробовал прочесть пару книжек про Ивана Подушкина, меня стошнило от корявости языка и отсутствия фантазии у автора, я и забросил. Ну да, то, что оно жрёт терабайты моего диска, может порождать дискомфорт, но это мелочь.

А Донцовой я попробовал прочесть пару книжек про Ивана Подушкина, меня стошнило от корявости языка и отсутствия фантазии у автора, я и забросил.

Там «авторов», если что 4–5 на книжку. Под брендом «Донцова» давно уже «негры» пишут — это вроде даже уже не сильно и скрывается. Есть полуанонимные интервью со студентами, которые этим подрабатывали и т.д.

Вот жаль у меня лишнего (да, тут нужно именно лишнее, а не просто свободное) времени мало. Стоит попробовать что-нибудь из последнего у «неё» почитать. Мне кажется должно улучшиться качество романов в 2023–2024. Наверняка же заюзат LLM. А LLM + главный редактор уже сейчас точно пишет лучше, чем 4–5 «негров», не согласовывающих свои действия + главный редактор.

...общемировая тенденция.

Жираф большой — яму видней?

Я вот что хочу сказать, проще поднять свою локальную копию чисто вот для себя.

Проще, кто спорит, но причем тут чисто для себя?

Речь зашла именно о продолжении кем-нибудь именно интернет-библиотеки. А это сейчас потребует заметных усилий. Я вот думаю, насколько сложно чисто .onion держать с подкроватным хостингом? Но даже так потребуется хороший канал до какого-то промежуточного хостинга, пусть и не на 1.2Tb

где найти подробности?

https://youtu.be/WNJFkV6WleY?feature=shared

но причем тут чисто для себя

Притом что давайте будем реалистами. Я не ожидаю, что кто-то за несколько недель(это срок до окончания оплаты серверов) успеет выполнить все эти условия, которые вы перечислили. А вот поднять для себя в эти сроки вполне можно.

А вот поднять для себя в эти сроки вполне можно.

Для себя можно в какие угодно сроки поднять, многие и поднимали, тут проблемы нет вообще, главное архив выкачать. Вот что дальше с ним делать - вопрос, так как обновляться уже, увы, не будет. Ну пусть будет в наличии хотя бы.

Без постоянной подпитки новинками чисто архив это мертвое.

Надо что-то пилить типа сети perfectdark для книг. Каждый узел в сети выделяет какое-то место на диске, в PD было если не ошибаюсь минимум 40GB, книги раскидываются по кусочкам по узлам так, чтобы ни на одном узле не было полной книги, и каждый кусочек дополнительно шифруется. Каждый узел работает как прокси для других узлов. При выкладывании в сеть книга заливается в течение суток и более, подмешиваясь в прокси и просто мусорный трафик. Релиз можно подписать именем и трипкодом, для собственной славы и гарантии качества от известного трипкода. Децентрализованные OPDS каталоги также должны работать как часть сети.

С книгами это все должно быть не очень сложно. С учетом их небольшого размера будет достаточное дублирование.

Из проблем - замусоривание сети фейками и возможность блокировки по портам и сигнатурам трафа

Если под это дело еще запилить свой собственнй блокчейн с вознаграждением для релизеров - вообще будет песня.

Шифропанк это хорошо. Шифропанк это православно. Но как вы убедите людей идти на такие сложности? Основная трудность здесь в создании сообщества. А для этого нужно максимально облегчать входную преграду.

Это в первую очередь для тех кто выкладывает книги и сознательно хочет их хостить. А их во-первых не так много, во вторых они понимают с чем они связываются.

Для обычных пользователей нужен http с OPDS каталогами.

Для обычных пользователей нужен http

В смысле нужен домен, домен нужно покупать и уже этим палить свою личность перед проверяющими. А если уйти в tor/i2p, то зачем тогда вообще вся эта история с « пилить типа сети perfectdark для книг. Каждый узел в сети выделяет какое-то место на диске,…». Я, может, чего не понимаю, но модель угроз как-то не вытанцовывается.

Это fb2 только. Полный - 1.2 тера.

В курсе. Но там за исключением редких книг, доступных только в pdf или djvu, просто дублирование того же контента, что и в fb2. Увеличение объёма в 300%, а действительно добавленного контента, не продублированного в fb2, хорошо если 2%. ИМХО, не стоит того.

Ждём, когда кто-нибудь «выкорчует» те редкие уникальные книги в других форматах, для которых нет fb2-варианта, и сделает отдельный торрент только с ними.

LLM + главный редактор уже сейчас точно пишет лучше, чем 4–5 «негров», не согласовывающих свои действия

Можно пример? Не составление обзора-выжимки из нескольких новостных статей, а именно художественное произведение, где нужно поддерживать интерес читателя вариабельностью, но держаться в рамках, и именно внутренне согласовывать абзацы и главы друг с другом.

дубликаты удалить, отличающиеся парой опечаток, то вообще

Это называется «Флибуста-2», лежит там же, на книготрекере.

Но как вы убедите людей идти на такие сложности?

Если это будет «скачай X, нажми несколько раз Некст», то люди вполне освоят. Торрент же как-то освоили.

Это называется «Флибуста-2», лежит там же, на книготрекере.

Спасибо, гляну.

Можно пример? Не составление обзора-выжимки из нескольких новостных статей, а именно художественное произведение

У меня их нет. У меня есть подозрения, но никто ж не признается… Если у кого есть, я бы и сам глянул. Но вообще, если LLN направлять — не сказать «напиши мне книжку», а делать это за несколько десятков запросов — сначала общую канву, а потом следуя этой канве требовать фрагменты, то даже по моим собственным экспериментам они неплохо справляются.

Вдроде была игра какая-то, визуальная новелла, где всё было сгенерено нейросетками: и текст и картинки к нему. Автор только кодил немножко (на Ren’Py, то есть считай «обезьяний» труд), тестил да баги исправлял. Но хоть убей, не помню сейчас, как называется.

где нужно поддерживать интерес читателя вариабельностью, но держаться в рамках, и именно внутренне согласовывать абзацы и главы друг с другом.

Это вы «Донцову» не читали. Там главы друг с другом и при «неграх» не особо согласуются. Я сам пролистывал лишь парочку чисто посмотреть, насколько оно плохо, но зато видел обзоры тех, кто именно читал, где они расписывают подробно, что там творится. Там вплоть до того, что одна глава происходит в антураже примерно перестройки, конца восьмидесятых или типа того, а в следующей та же героиня, вроде как без каких-либо пропусков по времени и т.д. уже во всю пользуется гаджетами из десятых-двадцатых. Просто потому что «негры» не даже и не пытались что-то там между собой согласовывать. При этом может быть, например, в начале завязка про преступление там или типа того, потом больше половины романа герои делают что угодно: кормят собак, присматривают за чьими-то детьми, ссорятся с продавцами/таксистами/курьерами, не двигая основной сюжет вообще никак — и только ближе к концу «автор вспоминает», что есть детективная составляющая, и быстренько её разруливает. Так что к связности там и без LLN требований не было. Более того, я думаю, что если это будет делать один человек + LLN, то они вместе сделают гораздо связнее, чем как есть.

Это вы «Донцову» не читали. Там главы друг с другом и при «неграх» не особо согласуются.

Читал начинающих, которые тоже не особо заморачивались :)

по моим собственным экспериментам они неплохо справляются

Можно посмотреть? :)

И какой объём каждого эксперимента? Хотя бы десятки килобайт было?

Блин, что-то не могу найти.

Flibusta rev2.0 — это оно?

Оно не одним торрентом что ли, а отдельно каждый год надо качать?

Можно посмотреть? :)

Не :)

Там локальные мемы встречаются, благодаря которым меня можно привязать к аккам на других ресурсах, чего не хотелось бы.

И какой объём каждого эксперимента? Хотя бы десятки килобайт было?

(Временно?) бросил на третьей главе…

Но по идее вполне получается, если идти по плану, не должно особо возникнуть нестыковок дальше.

Может у кого больше времени (и больше «токенов» в разных GPT, или есть мощная видюха для запуска локальной без таких тормозов, как у меня), имеет опыт поинтереснее? Я бы сам глянул на какой-то более законченный продукт.

бросил на третьей главе

То есть где-нибудь от 10 000 до 100 000 знаков :)

Крипта и сложность телодвижений – тупо отмазки

Для школьников - может быть и да,так как у них денег нет. А вот я в деревне живу,мне просто неудобны всякие виртуальные деньги. Разве что если бы была возможность смской заплатить так как деньги на телефон я могу положить в ближайшем продуктовом магазине,там терминал есть.

никто ничего и не покупал

В торговле есть общее правило - если не покупают значит надо снижать цену и лучше рекламировать товар. В случае книг - писать нормальные достаточно развернутые аннотации,а может даже первая глава должна быть доступна для прочтения бесплатно. Чтобы не приходилось качать «кота в мешке» и стирать прочитав пару десятков страниц. За некачественный товар вообще-то деньги обычно возвращают. Насчет упомянутого выше плохого соотношения сигнал/шум - я полностью согласен. Но это всегда и везде так было и будет в любом виде искусства. Хороших произведений мало. Даже если к условно хорошим относить и те что вполне подходят для чтения/просмотра/прослушивания с целью убить время где-нибудь в дороге например.

почему там не редчайшие труды средневековых философов, отсканированные энтузиастами, а полное зеркало либреса

На что спрос есть - то и выкладывают. Если на Донцову спрос больше чем на философов - ну значит такой культурный уровень нашего общества в настоящее время. Я и сам предпочитаю не философов,а космическую боевую фантастику.

Тебя в детстве заставляли читать кривые оцифровки Донцовой и Лукьяненко

Интересно, что народ массово предпочитает читать именно кривые оцифровки. А это значит что труд издателей по вычитке и оформлению вовсе не так уж востребован как они сами это пытаются доказывать,устанавливая неадекватные цены за свою продукцию. То есть их деятельность подпадает под «навязывание услуг». А значит авторам имеет смысл собирать деньги напрямую,а не кормить посредников.

Я даже готов допустить что при установлении адекватных цен на книги, доходы многих графоманов существенно упадут. Так оно и к лучшему - меньше будут графоманить. Или совершенствоваться начнут или займутся чем-то другим.

А в чём эта польза заключалась?

Ну вот есть люди,которые выбирают фильмы «на вечер». И чаще всего смотрят что-то развлекательное,а не шедевры мирового кинематографа. А есть люди которые вместо смотрения фильмов предпочитают читать книги. Это не хуже и не лучше,это тоже способ развлечения. Насчет пользы - в книгах обычно описываются размышления героев,в фильме показать мысли сложно поэтому обычно не показывают. Прочтение книг лучше помогает понимать мотивы поступков других людей. Особенно это актуально для тех кто имеет определенные проблемы с социализацией. По этой же причине люди предпочитают читать относительно современные книги,а не про каких-нибудь дворян 18 века,чьи проблемы и переживания от нас бесконечно далеки и малопонятны(соответственно и малополезны их описания).

И не просто хостинг для всего этого нужен, а еще и абузоустойчивый и хостинг и регистратор доменного имени.

А если хоститься внутри tor/yggdrasil/i2p ? Сейчас есть люди у кого оптоволокно даже дома проведено. Скорости точно хватит,пара терабайт места тоже не проблема,вот какой у них лимит трафика на отдачу - не знаю. Абузоустойчивость у сайтов внутри оверлейных сетей сама по себе высокая.

то, что оно жрёт терабайты моего диска, может порождать дискомфорт

Так выше написали что оно всего 1.2 терабайта жрёт. По нынешним временам я бы не сказал что это много. Это может быть даже диск,списанный с работы и доставшийся халявно.

А LLM + главный редактор уже сейчас точно пишет лучше

Прежде чем оценивать лучше/хуже надо бы оговорить что именно оцениваем. Потому что в литературном произведении как минимум три составляющие: интересный сюжет, хороший «слог», и грамотность. Причем, судя по популярности вышеупомянутых «кривых оцифровок»,формальная грамотность сейчас особого значения не имеет,в отличие от первых двух составляющих. Тут и возникает вопрос - а что сейчас LLM могут,особенно по первому пункту? Они могут придумать увлекательный сюжет? Что-то сомневаюсь. Готов допустить что могут строить монстрообразно закрученные предложения длинной в абзац,как у Достоевского. Но сомневаюсь что это умение вызовет восторг у читателей.

Пиратство — это хорошо. Физическое воровство (шоплифтинг) — тоже.

Они могут придумать увлекательный сюжет?

Увлекательный — не могут. Но это и не требуется. Мы ведь говорим о замене «негров» для «Донцовой» и подобного. А там читетелю не нужен увлекательный сюжет, и его там и нет. Наверное он там даже вреден. Ведь эти книжки, по отзывам сомим потребителей они «читают, чтобы отдохнусть, иногда хочется чего-то лёгкого, чтоб не напрягать мозг».

Каждый узел в сети выделяет какое-то место на диске, в PD было если не ошибаюсь минимум 40GB, книги раскидываются по кусочкам по узлам так, чтобы ни на одном узле не было полной книги, и каждый кусочек дополнительно шифруется.

Идея отличная,но чтобы написать такой софт - явно не несколько недель надо,а значительно больше. Поднять собственное зеркало флибусты в tor/yggdrasil/i2p будет явно проще и быстрее. Самое сложное тут - единомоментно выкачать 1.2 терабайта книг к себе.

Если под это дело еще запилить свой собственнй блокчейн с вознаграждением для релизеров - вообще будет песня.

Если будет какое-то материальное вознаграждение то сразу появятся и те кто будет замусоривать библиотеку нагенерированным хламом только для того чтобы это вознаграждение получить. Так-то идея конечно хорошая,но непонятно как ее реализовать чтобы вознаграждение получали только те кто что-нибудь полезное закачал.

Основная трудность здесь в создании сообщества. А для этого нужно максимально облегчать входную преграду.

Не надо облегчать и не надо убеждать. Ибо еще в «законах Мерфи» сказано что если создать систему которой сможет пользоваться любой дурак то только дураки и будут ею пользоваться. Входной порог как раз и позволит отобрать настоящих энтузиастов которым будет не лень разобраться в функционировании библиотеки. В сообществе не нужно количество,нужно качество. Даже один человек с настоящим библиографическим образованием ценее для библиотеки чем десятки дилетантов. А такому человеку и помочь разобраться не грех.

Я, может, чего не понимаю, но модель угроз как-то не вытанцовывается.

Компьютер может попасть не в те руки по множеству причин. Его могут банально украсть,потом доблестная милиция раскроет преступление,найдет вора,но и поинтересуется что же есть в этом компе. И найдя там большую кучу «нелегального» контента начнет задавать неудобные вопросы хозяину компа.

А вышеупомянутое «место на диске» можно хоть за своп-файл выдать. И даже если всем будет известно что там хранится нелегальный контент - то доказать его наличие там будет невозможно. Если конечно софт написан правильно и нет технической возможности для расшифровки на отдельно взятом локальном компе. Тут надо тщательно думать как это реализовать. Хорошая и полезная задачка для нас,специалистов. Вот как промежуточные узлы Tor не могут расшифровать транзитный трафик также и тут не должно быть доступа к контенту вне этой сети.

герои делают что угодно: кормят собак, присматривают за чьими-то детьми, ссорятся с продавцами/таксистами/курьерами, не двигая основной сюжет вообще никак — и только ближе к концу «автор вспоминает», что есть детективная составляющая, и быстренько её разруливает.

Если так,то непонятно кому вообще может быть интересно читать такое повествование. Да еще покупать за деньги в бумажном виде. Я понимаю,что не всем интересна допустим какая-нибудь сложная философия,но ведь и книга без внятного сюжета тоже не может быть интересной.

видел обзоры тех, кто именно читал, где они расписывают подробно, что там творится.

А может это заказные обзоры,написанные конкурентами? Сейчас и такое вполне возможно.

Человеческий мозг может отфильтровывать львиную долю ошибок оцифровки. Если книга написана хорошим языком, на такие ошибки не можно обращать внимание. Тут как раз видна работа редактора.

Так оно и к лучшему - меньше будут графоманить.

Не будут, будут писать бесплатно)

Но по идее вполне получается, если идти по плану, не должно особо возникнуть нестыковок дальше.

Так в том-то и дело,что придумать этот самый план едва ли не сложнее чем собственно текст написать. Ибо фантазия изрядная нужна чтобы изобрести что-то не банальное и не заезженное. Именно из-за сложности придумать своё и развелось такое количество авторов,пишущих всякие продолжения по мотивам тех у кого получилось.

И я даже сомневаюсь что у нынешнего ИИ получится хорошо написать сцены, требующие профессиональных знаний и опыта в той области про которую пишем.

Пиратство — это хорошо.

С одной стороны да,с другой - нередко возникает желание как-то вознаградить автора, написавшего прочитанную с удовольствием книжку. Но - именно автора,а не примазавшихся правоторговцев. Можно конечно вознаградить и того кто запятые в авторском тексте расставлял - пропорционально моей личной оценке полезности этого действия,весьма не высокой.

Это ты так говоришь, т.к. сам ничего не имеешь и не создал.

А там читетелю не нужен увлекательный сюжет. Ведь эти книжки, по отзывам сомим потребителей они «читают, чтобы отдохнусть, иногда хочется чего-то лёгкого, чтоб не напрягать мозг».

Насчет «лёгкого чтива чтобы не напрягать мозг» - я полностью согласен. Оно также необходимо как например развлекательные фильмы или эстрадная музыка. А вот насчет отсутствия сюжета - нет. Иначе бы читали не художественные книжки а ментовские протоколы например если речь идет о «бандитской» тематике. Или служебные рапорты военачальников в случае батальных сцен. Так что «лёгкость» чтива я бы определял по преобладанию описаний действия над «заумными» размышлениями героев и самого автора. Размышления - это хорошо когда их не черезмерное количество.

сам ничего не имеешь и не создал.

Совсем не факт. У большинства выдающихся творцов основной мотивацией при создании их шедевров были НЕ деньги. Немало из них жили и умерли в бедности. Но не переставали творить. И получили признание только через многие годы после смерти.

И даже шутка есть на эту тему - строчка из уничижительной рецензии «основной мыслью данного произведения было стремление автора к получению гонорара» :-)

Физическое воровство (шоплифтинг) — тоже.

Нет. Нос ломается и выпадают зубы.