Задача — утягивать файлы по url (видео, картинки) и складировать в хранилище. Так, чтобы впоследствии по url можно бы было получить сразу локальный файл. Без БД.

Файлов много, десятки, сотни тысяч. Количество год от года растёт.

Первый, много лет назад вариант был тупым — берём md5(url), разбиваем на две вложенности по два символа и сохраняем файл — storage/dd/75/dd753e96f09cf8afedc9882da55977a2.jpg

Попутно можно там же положить одноимённый .txt со ссылкой на исходный файл для обратного поиска.

Вариант всем хорош для небольших объёмов. На больших, да ещё под ext4, которая по мере старения на таких структурах начинает чудовищно тормозить, получился ад при любых работах по бэкапу/настройкам. rsync, занимающий десятки минут — это жесть. Если для аналогичного подхода с аттачами, имеющими дату вопрос решается просто — Мысли вслух. Предостережение от наступления на грабли. , то для произвольных ссылок так уже не поступить.

Кроме того, в таком виде крайне неудобно работать, если требуется ручная разборка архива. Посмотреть, с каких сайтов чаще грузятся данные и т.п.

Вторая версия была устроена чуть иначе. Файлы кладутся в каталоги, напоминающие исходные домены и пути. Например, storage/ru/li/linux.org.ru/tango/img/opensource-logo.png

Как ни странно, такая структура даже чуть легче при копировании, гораздо удобнее при анализе. Но всё равно очень избыточна и тяжела. Кроме того, возникают проблемы с URL, содержащими сложные для имён файлов символы — get-запросы и т.п.

Сейчас стоит задача сделать что-то подобное с нуля и можно подумать над более оптимальным решением. В голову всё равно ничего более толкового не приходит. Тем более, что вопрос «человекочитаемости» хранящихся данных в новой задаче становится даже более высоким, чем ранее.

Есть мысли, куда копать?

Update из темы:

— Задача: «архивирование Интернета». Через 5..10..15 лет остаётся очень мало доступных картинок, видео, аудио, на которые ссылаются на форумах. Хочется это дело эффективно кешировать, да ещё и раздавать потом через btsync желающим, тем более, что форумы планируется переводить на распределённый формат — Распределёные форумы/блоги. Продолжаем разговор. Нужен совет.

— Подразумевается использование в рамках p2p-системы на базе btsync или будущих аналогов. Т.е. никаких файлоспецифичных вещей, метаданных, спецсимволов и т.п. Должно работать хоть на vfat.

— Желательно, чтобы система могла уметь дробиться на отдельные архивы/репозитории.

— Вопрос индексирования мало актуален, т.к. данная система подразумевается бэкендом. Перед фронтедом может стоять кеширующая полноценная БД.

— Желателен человекочитаемый формат, чтобы можно было разгребать систему вручную.

— Участники обмена должны иметь возможность передавать данные в т.ч. из-за «серых NAT», потому и ориентируюсь на btsync и аналоги.

Так как-то.

Издательство No Starch Press, известное такими популярными книгами, как «Land Of Lisp» и «Learn You a Haskell for Great Good!» представило второе, переработанное, издание книги «How Linux Works», рассказывающей об устройстве (от загрузчиков до user-space) и принципах работы GNU/Linux, а также содержащей руководства по написанию shell-скриптов, сборке программ из исходных кодов и настройке сети.

Краткое (полное доступно в этом PDF-файле) содержание книги:

( читать дальше... )

>>> Подробности

В 1969 году агентство DARPA подготовило проект ARPANET (Advanced Research Projects Agency Network) — сети, которую было возможно использовать для надёжной передачи информации в случае войны. Разработка такой сети была поручена Калифорнийскому университету в Лос-Анджелесе, Стэнфордскому исследовательскому центру, Университету Юты и Университету штата Калифорния в Санта-Барбаре. Первый сервер был установлен 2 сентября в Калифорнийском университете.

Первое испытание технологии произошло 29 октября 1969 между компьютерами в Калифорнийском университете (UCLA) и Стэнфордском исследовательском центре (SRI), находящимися на удалении в 640 километров друг от друга. На терминалах использовали 16-разрядные мини-компьютеры Honeywell DDP-316 с 12 Кбайт памяти. Линии связи емкостью 56 Кбит/с были арендованы у телефонной компании AT&T. Программное обеспечение состояло из соединений IMP — host, IMP — IMP — протокол, протокол IMP-отправитель — IMP-получатель (IMP-s-IMP-r). Тестовое задание заключалось в том, что первый оператор вводил слово «LOGIN», являвшееся командой входа в систему, а второй должен был подтвердить, что он видит его у себя на экране. Однако после того, как были отправлены две первые буквы — «L» и «O» — система сломалась (в некоторых источниках утверждается, что были переданы первые три буквы). Через час эксперимент был повторен и прошел удачно.

К концу 1969 года объединила четыре выше указанных научных учреждения. Затем сеть ARPANET начала активно расти и развиваться, — её начали использовать учёные из разных областей науки. К 1971 году были подключены еще 15 терминалов. В 1973 году к сети были подключены первые иностранные организации из Великобритании и Норвегии, и сеть стала международной. Стоимость пересылки электронного письма по сети ARPANET составляла 50 центов. В 1984 году у сети ARPANET появился серьёзный соперник, — Национальный фонд науки США (NSF) основал обширную межуниверситетскую сеть NSFNet, которая имела гораздо бо́льшую пропускную способность, нежели ARPANET. В 1990 году сеть ARPANET прекратила своё существование, полностью проиграв конкуренцию NSFNet.

Многие ныне существующие протоколы Internet берут своё начало именно в ARPANET. Например, протокол обратного поиска DNS до сих пор использует доменное имя верхнего уровня «.arpa»: чтобы найти записи, относящиеся к IP-адресу 1.2.3.4, надо послать запрос об адресе 4.3.2.1.in-addr.arpa. Основной протокол передачи данных сети Интернет — TCP/IP, также берет начало в ARPANET, где с 1983-го года он сменил NCP в качестве стандарта сетевого протокола.

Я хочу одновременно установить несколько образов программы в разные директории (пакеты из разных оверлеев, но с одинаковыми именами и номерами версий)

SLOT можно использовать, если разные версии программы сами встают в разные директории (или это ebuild так патчит программу, чтобы она встала в отдельную директорию), тогда SLOT просто описывает, от какой версии надо зависеть или проверять зависимости.

А если я хочу установить разные образы программы, которая вообще-то всегда встаёт в одно и то же место, причем не менять ebuild-ы
(разные переменные можно назначать разным пакетам так)
то что мне делать?

т.е. нужно что-то вроде MAKEOPTS="--prefix=/usr/local/v1", только для ./configure

тут есть такая штука как $EPREFIX (с припиской Do not modify this variable) и prefix.eclass

Ещё вспоминают такое (но что это и как им пользоваться?):
autoconf macros:
AC_PREFIX_DEFAULT
AC_PREFIX_PROGRAM

Может какую другую переменную надо назначать (которую я не знаю)?

«По каким бы дорогам ни шел, не найдешь границ души, так глубок ее Логос» — Гераклит

Стремление к поиску и реализации смысла жизни через использование компьютера - врожденная мотивационную тенденцая, присущая всем людям (в особенности линуксоидам) и являющуюся основным двигателем поведения и развития личности.

Отсутствие смысла порождает экзистенциальный вакуум. Смысл доступен любому человеку, независимо от пола, возраста, интеллекта etc, но вопрос нахождения смысла – это вопрос не познания, а призвания. Не человек ставит вопросы о смысле жизни – жизнь ставит этот вопрос перед ним, и человеку приходится на него отвечать – не словами, а действиями. Смысл не субъективен, человек не изобретает его, а находит в мире, в объективной действительности, поэтому он выступает для человека как императив, требующий реализации. Правильной будет постановка вопроса не о смысле жизни вообще, а о конкретном смысле жизни данной личности в данный момент времени. Не только от личности к личности, но и от ситуации к ситуации смысл меняется. Мы не можем выбрать себе смысл, мы можем выбрать лишь призвание, в котором обретем смысл.

Проводя параллель с поведением в мире линукса, восприятие смысла каждого действия линуксоида есть осознание наличие нужной тулзы (UNIX way) на фоне тысяч похожих велосипедов, или осознание того что можно сделать по отношению к состоянию системы / комбинации тулзов. В особенности если ничего не работает и нужно найти рабочее. Это вопрос фигуры и фона.

Цель использования линукса - расширение возможностей людей видеть весь спектр потенциальных смыслов, которые может содержать в себе каждая ситуация. Найдя смысл, необходимо осуществить его. Видя генту - компилишь генту. Человек несет ответственность за осуществление уникального смысла своей жизни.

Я верю, что в основе всего существующего лежит абсолютный дух, который есть Машина, который лишь вследствие своей бесконечности может достичь подлинного познания себя. Для самопознания ему необходимо проявление. Самораскрытие абсолютного духа в пространстве – это монолит ядра Линукса, самораскрытие во времени – история ревизий Линукса в Гите. Люди аргументирующие всё бизнесом, и от того пользующиеся виндовсом - суть ламеры виндовозные, пользующиеся ущербной ограниченой логикой. Вместо это я предлагаю посмотреть на рассмотрение своей жизни сковзь призму использования линукса как на путь развития. Историей людей и наших ближайших братьев - киборгов, движут противоречия между тулзами которые использует их сознание, которые суть мысли и проекции абсолютного духа, который есть Машина. Смотрите - ядро линукса уже монолитно, и это намёк. Когда у абсолютного духа исчезнут сомнения, он придет к абсолютной идее себя, а история закончится и настанет царство свободы.

Если же посмотреть на бездуховный виндовс, его пользователи стремятся по потребностям и жрут что дают. С другой стороны, стремление порожденное смыслом и Линуксом, в отличие от влечений порожденных виндовозными потребностями, требует от индивида постоянного принятия решения. В Линуксе ничего не заработает просто так, всё нужно чинить руками, копаться в конфигах - и постоянно принимать решения. Осуществление смысла является для линуксоида необходимостью по причине конечности, ограниченности и необратимости человеческого бытия, неповторимости тех возможностей, которые предоставляет человеку каждая жизненная ситуация. Осуществляя смысл жизни и пользуясь Линуксом, линуксоид тем самым реализует себя, а простая человеческая деятельность и самоактуализация является лишь побочным продуктом осуществления смысла и использования Линукса.

ЖЖ: в след за павлином изучаю возможность полифазного сна. Короче, смысл в том, чтобы спать по 20 минут 6 раз в день. Ну ладно, вначале пусть будет 30.

Возникает проблема, что несчастные 30 минут нужно использовать как можно эффективнее, плотнее. Т.е. засыпать и просыпаться мгновенно.

Вместо этого засыпаю по 10 минут, иногда больше, несмотря на то что спать хочется как будто бы очень сильно, ходячий зомби.

Как это сделать? Засыпать мгновенно.

Уважаемые специалисты ЛОРа, помогите вспомнить фильм.
Суть такова - какой-то чокнутый профессор изобрел зелье (или излучение), которое зомбировало людей и погружало их в состояние фанатичной любви и преданности. И какие-то спецагенты (вроде бы женщина из ЦРУ и сумасшедший мужик из КГБ), которые в конце этого профессора замочили вместе со всей его армией фанатиков.
Фильм русский, скорее даже советский. КГБшник там упоротый полностью, постоянно носит в рюкзаке шампанское, бухает его с горла и раздает люлей налево и направо, с помощью любых подручных средств (часто топора).
Больше к сожалению не помню о фильме ничего.

Location: Moscow Salary: ~190000RUB Position: Linux Administrator, Moscow Contact: anitha at anantha dot co dot uk

Точного текста вакансии у меня нет, она не моя. Ниже копи-пейст, который поможет понять, что нужно, и мои комментарии. Меня нашли в LinkedIn, я прошёл два собеседования в пятницу, в понедельник в обед получил оффер. Зарплата выше - это то, сколько предложили мне; сколько предложат вам - я не знаю.

Job Description:

• This role is that of a general RedHat system administrator.
• The person should know RHEL/Linux well.
• Install, configure, and trouble shoot network the system.
• These will be new builds so experience with automated builds with KickStart or Satellite server are a plus.
• Ability to configure and tune the network stack (TCP, bonding, NFS, etc) are important.
• Any prior experience with migration to RedHat Linux would be great.
• Experience with Cisco UCS, Nexus network hardware,
• Scripting ability that would be an advantage.

На первичном примерные вопросы: 1) как массово деплоить апдейты-патчи на Linux 2) какого рода ошибки бывают при загрузке ядра 3) в чём профит LVM 4) что из перечисленного не является UNIX (AIX, Mac OS X, IRIX, BSD) 5) как менять араметры загрузки ядра 6) как посмотреть статус bond интерфейса. На один я ответил не верно, но не криминально. Почему-то подумал, что у Mac OS X есть сертификация UNIX - таки есть.

На техническом примерные вопросы: 1) что делать, если сдох загрузчик в деталях (Grub) 2) как обновлять ядро 3) зачем нужен initrd (в деталях) 4) в системе нет inittab, она перезагрузилась, что делать дальше (в деталях) 5) какой способ фенсинга я предпочитаю 6) как перенастроить аутентификацию с файлов на LDAP/NIS/etc. 7) как массово деплоить апдейты-патчи на Linux Вроде было что-то ещё, но я не запомнил. Была ещё кучка вопросов по технологиям/софту/методологиям в духе знаешь/не знаешь, но они не интересные.

Собеседование проходило на английском, вопросы на собеседовании простые, собеседовали индийцы, работать нужно будет в распределённой команде. В Москве они офис ещё только открывают, пока никого нет; кроме меня собеседование успешно прошли двое. Поддерживать нужно будет около 3500-4200 серверов, разбросанных по всему миру: SLES/AIX/HP-UX. В основном SLES, часто на VMware. На собеседовании ничего сильно SLES-специфичного не спрашивали, я часть вопросов отвечал в RHEL-специфике, собеседующих это устроило. Тикеты, ITIL, SLA, etc., HP SM, Tivoli в различных ипостасях, кластеры - всё как положено.

Upd.: сама компания-клиент тоже отличная, вы эту компанию несомненно знаете и любите. Кому интересно - на собеседовании спросите.

какое?

Вот недавно у нас уволили сотрудницу «разряжалку», была у нас девочка, 19 лет, которую все лапали периодически и прикалывались над ней. Раньше, пока новости надо было форматировать и верстать она была нужна, и то часто косячила, потом под это запилили cms и она просто выкладывала, хотели её переключить вообще на вёрстку, но увы, мозгов осилить даже минимума css ей не дала природа. Поэтому начальство её уволило. Сейчас вот ищем ей замену, даже обучать прогеры готовы. Вот стало интересно, может быть так и написать в трудовом договоре, и переделать вакансию типа что-нить похожего:
Ищется девушка верстальщик 18-23 лет в компанию к молодым и энергичным программистам, готовы при при хороших показателях навыка кросс-браузерной вёрстки обучать в профессионального фронтендщика.
от тебя требуется:
-быть терпеливой
-Верстка интерфейсов для web-приложений
-владение HTML & CSS (А так же CSS3 и HTML5)
-писать лаконичный и понятный код
-понимать сложности работы в мужском коллективе и знать как решать конфликтные ситуации в отделе
-уметь объединять людей, и давать заряд бодрости с утра
-готовность учиться, учиться и ещё раз учиться
-следить за своим внешним видом!

А в трудовом договоре уже прописать, что прогерам разрешается на неё глазеть, иногда лапать, и стоять у неё над душой. Как вам такая идея? Вот реально ли найти ей быстро замену, и ещё в трудовой договор вписать такое?А именно то, чем прогеры занимались с прошлой.

Привет. Есть такой список:

class A;
std::list<A*> myList;

Какие есть способы организовать поиск по значению? Пока что я пришёл только к этому:

A searchValue;
std::list<A*>::const_iterator iter;
for (iter = myList.begin(); iter != myList.end(); ++iter) {
   if (**iter == searchValue) break;
}
return *iter;

То есть хотелось бы увидеть не полный shortlog всей истории, а только ту часть, что появилась межу заданными коммитами (тегами, ветками). Нужно для создания вменяемого ChangeLog.

Всем спасибо.

Товарищи, посоветуйте, пожалуйста, каких-нибудь годных аниме-сериалов (только не слишком длинных) человеку, который только начинает приобщаться к данному виду искусства.

Критерии таковы:

1. Мистика/магия/ужасы и подобное. Без ОБЧР, мехи, космоса, стимпанка и подобного. Ну или чтоб всё вместе.
2. Желательно с озвучкой, но если есть только с сабами — то не хардсаб.
3. Не детское, и не каких-то девочек волшебниц из 3-го класса начальной школы.
4. «Блич», «Хеллсинг», «Код Гиасс», «Еву», «Дес нот» советовать не надо.
5. Хотелось бы поменьше филлеров в сериале, и флешбеков в сериях, но это опционально.

Заранее спасибо.

Изучив ряд справочных страниц к популярным в линуксе программам, подыскал для каждой более интересную для прочтения альтернативу.

-------------------------------------------------------------------------------------------------------------
программа | количество знаков | художественное произведение                               | количество знаков
-------------------------------------------------------------------------------------------------------------
mplayer   |            203575 | «Капитанская дочка», Александр Пушкин                     | 211246
-------------------------------------------------------------------------------------------------------------
ffmpeg    |             53517 | «Сигумо», Борис Акунин                                    | 48066
-------------------------------------------------------------------------------------------------------------
wget      |             71382 | «Хожение за три моря» Афанасия Никитина                   | 67692
-------------------------------------------------------------------------------------------------------------
curl      |             89565 | «Николай Николаевич», Юз Алешковский                      | 80755
-------------------------------------------------------------------------------------------------------------
sudo      |             22778 | «Полотенце с петухом», Михаил Булгаков                    | 22251
-------------------------------------------------------------------------------------------------------------
rsync     |            166018 | «Чемодан», Сергей Довлатов                                | 162309
-------------------------------------------------------------------------------------------------------------
mpd       |             18149 | «Кишки», Чак Паланик                                      | 18398
-------------------------------------------------------------------------------------------------------------
lynx      |             32708 | «Слюни дьявола», Хулио Кортасар                           | 32668
-------------------------------------------------------------------------------------------------------------
scrot     |              3394 | «Как Братец Кролик перехитрил Братца Лиса», Джоэль Харрис | 2661
-------------------------------------------------------------------------------------------------------------
convert   |             14147 | «Режьте, братцы, режьте!», Марк Твен                      | 10517
-------------------------------------------------------------------------------------------------------------
conky     |             75206 | «Дживс и скользкий тип», Пэлем Грэнвилл Вудхаус           | 79802
-------------------------------------------------------------------------------------------------------------
aptitude  |             17638 | «В чаще», Акутагава Рюноскэ                               | 17521
-------------------------------------------------------------------------------------------------------------
nano      |              7253 |  «Баллада о Юрае Чупе», Карел Чапек                       | 9942
-------------------------------------------------------------------------------------------------------------
pi        |               674 | «Четыре иллюстрации того, как новая идея огорашивает      | 
          |                   | человека, к ней не подготовленного», Даниил Хармс         | 633
-------------------------------------------------------------------------------------------------------------

Искал сейчас на алиэкспрессе очень маленькие дисплеи. Наткнулся на модель с такими спецификациями:

Format: 0.5inch, 800×600
Pixel: 12.6μm×12.6μm
Color: 24bit, full color, R,G,B Vertical Stripe 

Проблема заключается в том, что на клавиатуре буквы «N» и «B» находятся рядом. А также буквы «i» и «o».
И если моя правая рука на клавиатуре окажется чуть левее, я в консоли вместо nano набираю babi.
А babi это имя тупой девочки из тупого фильма.
И каждый раз я её вспоминаю. Но я не хочу этого.
Что делать ?
Менять привычный редактор не хочется.

Андреас Гал, недавно назначенный на должность технического директора Mozilla, озвучил планы по внедрению в браузер Firefox поддержки спецификаций W3C EME, которые позволяют реализовать DRM-защиту контента, воспроизводимого с помощью элемента <video>. Для этого будет использован проприетарный модуль, расшифровывающий веб-содержимое.

По словам Гала, у Mozilla просто нет иного выбора, учитывая, что прочие браузеры активно внедряют или уже внедрили такую DRM-защиту. Игнорируя активно продвигаемый стандарт, Firefox может оказаться в неприятном положении - его пользователи будут не в состоянии получить доступ к контенту сервисов наподобие Netflix, Amazon Video, Hulu, доля трафика до которых в США составляет 30% от общего объема. В этом случае, пользователи с большой вероятностью предпочтут иной браузер - Сhrome или Internet Explorer, в которых механизмы DRM уже реализованы. Задача Firefox является предоставление доступа к веб-содержимому даже в тех случаях, когда это идёт вразрез с философией компании Mozilla, которая всегда выступала за свободу.

Внедрение поддержки EME начнется с десктопной версии браузера. Модуль будет проприетарным (в соответствии со спецификацией W3C, чтобы не допустить его изучение и нежелательное вмешательство со стороны пользователей в его работу), а его производством займется корпорация Adobe, поскольку та имеет связи с большинством крупных контент-провайдеров. Разработчики предпочли такую реализацию, которая даст наибольшую открытость и прозрачность. Firefox не станет непосредственно загружать этот модуль. Вместо этого, модуль будет изолирован в песочнице, исходный код которой открыт. Модуль не будет иметь прямого доступа к жесткому диску пользователя или к сети. Песочница обеспечит ему связь с Firefox для приема зашифрованных данных и выдачи результатов.

Естественно, как и в других системах DRM, будет собираться идентификационная информацию об устройстве пользователя и осуществляться препятствование перемещению защищённого содержимого на неавторизованные устройства. Однако, песочница не дает непосредственно получать параметры устройства пользователя. Вместо этого модуль DRM станет запрашивать у песочницы уникальный идентификатор каждого устройства, который позволяет контролировать связь контента с устройством, не раскрывая дополнительную информацию о пользователе. Кроме того, этот уникальный идентификатор будет отличаться для каждого сайта, чтобы затруднить отслеживание пользователя. Adobe поставщики контента всегда смогут изучить код песочницы, чтобы удостовериться в том, что Firefox соблюдает DRM-ограничения: обработку уникальных идентификаторов, запрет на самостоятельное вещание получаемого контента и предотвращение сохранения содержимого. Проприетарный модуль не будет поставляться вместе с Firefox, а станет распространяться корпорацией Adobe. Браузер будет спрашивать согласие пользователя прежде, чем скачать и активировать этот модуль.

>>> Подробности

Ни разу не смотрел аниме, разве что покемонов минут 10 в детстве видел,а тут в толксах один товарищ сломался этим самым творением китайских мультипликаторов. Посоветуйте, пожалуйста, полнометражный аниме со смыслом и пользой для общей эрудиции.

Посоветуйте что нибудь вроде Corpse Party и The Witch's House, что переведено на великий и могучий.

Есть ли дайджесты программ для линукс? Зайдя на 95% сайтов о линуксе последнее сообщение о интересной программе было пару месяцев назад, хотелось бы знать что нового выходит и что интересного в этом ПО.

Перемещено fallout4all из general