Многоуважаемый all,

киньте ссылками почитать на тему практической реализации кластеризованного, с балансировкой нагрузки и высокой доступностью веб хостинга. (Loadbalanced High-Availability Web Cluster) С виртуализацией.

Теорию я знаю, просто на практике давно ничего такого не строил.

Какие самые типовые и популярные конфигурации, подходы, стеки софта? Ищу материалы, статьи с история успеха и тд. Всё, разумеется open source и под онтопик :)

Перемещено true_admin из talks

Привет, многоуважаемый all, имеется лог файл ротируемый раз в неделю, а надо скармливать его по кускам раз в час питон скрипту.

На ум приходит rsync. Я знаю, что rsync копирует только новые (изменившиеся данные). Но как его заставить писать новые строки из исходного удалённого файла в отдельный файл, а не добавлять к локальному?

Чтобы каждый час забирать только строки из лога накопившиеся за этот период. За прошлые часы данные хранить не нужно.

Многоуважаемый all,

вот сижу, ломаю голову, как нижеприведённый код покрасивее реализовать на на Python

my @arr = ();
#          [  0  ,  1  ,   2   ,   3  ]
push @arr ,[$time,$host,$status,$bytes];
  my %reqs_host;
  my %bytes_host;
  my %errors_host;
  foreach(@arr){  
    $reqs_host{$_->[1]}++;
    $bytes_host{$_->[1]} += $_->[3];
    $errors_host{$_->[1]}++ if $_->[2] =~ /^[45]/;
  }

Привет многоуважаемый all,

ищу вот скрипт или решение, которые будет парсить логи NGINX и информировать об abuse, подозрительно частых или просто некорректных запросах, что-то вроде fail2ban...

Кто чем пользуется? Не хочется писать велосипед.

На фоне обсуждения цензуры в Сети, хотелось бы обсудить такой смысловой контекст или даже подтекст заявлений некоторых публичных фигур, т.е. например вот кусок текста обращения Алексей Венедиктова «ПОЛЬЗОВАТЕЛЯМ САЙТА „ЭХО МОСКВЫ“:

„Одновременно с этим Генпрокуратура обязала провайдеров, распространяющих сайт „Эха Москвы“, поставить в известность ...“

- как вам фраза „распространяющих сайт“?

По-моему такое вот обращение, упоминания Сети в таком контексте намного опаснее любой технической цензуры!

Ибо технически обойти цензуру в Сети можно, но вот когда в умах людей будет тиражироваться, что Сеть и провайдеры распространяют отдельные сайты, т.е. прямая аналогия с ТВ оператороми и дальше оттуда же „Тщательнее выбирайте провайдеров. “ - то есть прямо указание на то, что Ваш опыт в сети и её ресурсы будут зависеть от страны проживания и провайдера.

На это планете кто-то ещё следит за сохранением сути и основных постулатов Сети?!

Вспепомнящий all,

а ты помнишь, BASIC с его circle, line, cls и так далее?
И как было интересно учить основы программирования на примере задаче типа - нарисовать катящегося по экрану колобка или звёздное небо с появляющиемеся звёздами-точками...

Короче, сам не программлю на Си профессионально (хотя программлю на 3х других высокоуровневых ЯП), но надо приобщить одну тян к этому гадкому делу, на примере вот таких вот задачек.

Никак не могу нагулить внятные туториалы, на английском даже, где бы говорилось какие либы использовать, как инициализовать и чистить экран и тп. Всё под линух.

Что-то простое и доступное студенту первого курса, чтобы на примере задачек типа «нарисуй точку и заставь её двигаться по синусоиде» подвести к изучени циклов и тп. Не обременяя выскоуровневыми API к X.

Многоуважаемый all,

а у кого-нибудь есть опыт и/или информация по открытию юр. лица в штатах, с главным офисом в европе/СНГ?

Надо ли для этого быть гражданином США? Какой стартовый капитал? Можно ли не держать офис в шатах? Как с налогами?

Речь идёт об ИТшной конторе с GNU/Linux и шлюзами :)

В общем появилась у меня насущная необходимость написать средней сложности портальчик с чем-то напоминающим веб-приложение.

Давным давно мечтал освоить Django. (Питон у меня вообще основной скриптовый ЯП).

Уже прочитал туториал Djangoвский, но тут наткнулся на Web2py, у которого и порог вхождения ниже, и низкоуровневой настройки самого фреймворка меньше, а также что немаловажно в первом же туториале подчёркивается какой большое внимание уделено безопастности веб приложений в этом фреймворке.

Экспертно-технических сравнений я уже начитался (поэтому не в Web Dev.), из того что понял - оба подходят под мои нужны, но реализация на Web2py *вероятно* будет готова даже раньше и проще, но не факт что чем дальше в лес, тем не толще партизаны окажутся :)

В общем, реквестирую простое линуксоидно-человеческое (поэтому и в Talks) мнение что из них есть «наитортнейший» торт на сегодня и в перспективе.

Простоя на первый взгляд задача, взять диск с ntfs, загрузиться с systemrescuecd, подключить внешний винт и с помошью partimage сделать из него образ который потом можно будет смонтировать.

Как-бы не так... Во-первых partimage пару раз вылетал с ошибкой на середине процесса, потом он почему-то разбил создаваемый образ на куски по 2ГБ и в конце концов, оказывается просто подмонтировать созданный образ не получится надо будет развернуть его сначала на чистый раздел - такого же размера!

Т.е. скажем был у нас раздел на ntfs в 500ГБ, из которых занято 300ГБ, так надо сначало дождаться пока partimage сделает 150 кусочков о 2 ГБ, затем создать где-то такой же 500ГБ раздел, развернуть их туда.

Есть более нормальный способ?

P.S. это крик души (о Линукс)

Хочется читать логи прокси домашнего роутера, mikrotik

но вот где их хранить и анализировать? не хочется ставить отдельный, круглосуточно работающий комп для этого, пусть и дешевый и тп.

Кто может посоветовать за минимальные деньги хостинг который позволит поставить squid + lightsquid и принимать логи по syslog (ну или аналогичное)

Или я опять хочу странного?

Есть такой старый-добрый способ узнать IP человека, с которым общаешься в сети не не напрямую (скажем в фейсбуке и тп.) - скинуть ему ссылку и потом посмотреть в логах сервера кто по ней прошёл. И прочие вариации. По-моему даже такой вспомогательный кулцхацкерский сервис был.

А вот можно ли так сделать с Google Docs (Drive) с помошью google script и/или Google Analitycs?

Похоже что привязка доков к аналитике работает только когда у тебя есть Google apps for your domain. Иначе никак?
Или есть ещё другие способы поинтересней (поэлегантней) чем локальный апач отдающий картинку? :)

Многоуважаемый all,

кто знает, существует ли в природе софт с фунционалом решающим проблему «утрамбовки» большого количества файлов лежащих в разных директориях, без смешивания их всех в один большой архив.

К примеру, дано, скажем, более 10k файлов в более чем 1k директориях, файлы разнородны по типу, более-менее (процентов 40% лежит случайным образом, по принципу «куда упало (path), там и осталось, так и назвалось (filename)») рассортированы логически (с точки зрения человека) по директориям, имеют разный с точки зрения архивации процент полезного сжатия.

Ещё раз, один большой архив делать не хочется, да и объём может быть более сотни гигабайт. Вот скажем, директория с офисными документами, презентациями, html справочниками и видео к ним, всё разложено по директориям, хотелось бы сжать «хорошо» сжимаемый контент, заменив оригиналы, оставляя вместо них архивы, а видео (и прочий уже сжатый контент) оставить рядом с ним.

Вручную это делать очень муторно.

Многоуважаемый all,

Давно мечтал о внешнем и переносном хранилище, в связи с чем собираюсь взять связку Seagate ST1000LM024 и Chieftec ceb-25s-u3.

Классические вопросы, кто-что посоветует:

Какую ФС выбрать исходя из того что дома GNU/Linux а у друзей и вообще мало-ли откуда буду информацию сливать скорее всего винда? Будет ли потеря по скорости если отформатировать его под NTFS но писать на него из-под линуха?

Можно ли сделать странное - разделить его на 2 неравных раздела, один 90% емкости, под файлы (см. предыдущий вопрос об ФС) и другой универсальный загрузочный, чтобы использовать его как rescue disk (какой-там дистр сейчас лучший в этом классе? и прочие mhdd и тп)

Многоуважаемый all,

Кто встречал случаи применения сабжа или его вариаций в современных open source проектах?

Все знают пиринговые сети, где используется идея распределённого хранения данных.
Были проекты подобные SETI@Home, где распределённые клиенты по частям обсчитывали, то что сейчас называется big data.
Flash видео плееры умеют организовывать свою пиринговую сеть для доставки видео онлайн.
И, наконец, были случаи когда популярные ресурсы типа вКонтакта встраивали в свои странички код который «влиял» на нужные им ресурсы «руками» пользователей соц. сети.

Самая распространённая клиентская веб технология это JS. Какие есть примеры, прототипы, беты и тп. где данный подход был бы не побочным эффектом а главной фишкой?

З.Ы. и так куча *локальных* ресурсов уходит на кеш динамических баннеров, прорисовку их же и обработку всяких js скриптов и прочих ajax, пусть даже на сайте выглядящим как статический и не несущих никакой пользы человеку (про Flash/Java Applets, etc вообще молчу)

Многоуважаемый all,

а кто знает, умеет ли сабж показывать сколько сайт не отвечал за определенный промежуток времени, скажем - за месяц даунтайм суммарно 5 минут, такой-то интервал(ы) и тп.?

Да/Нет?

Привет all!
Говорят что всё бывает в первый раз, если честно увидеть в инете сообщение о том доступ мне закрыт с соответствии с законодательством какой-либо страны, кроме Сев. Кореи я рассчитывал не раньше начала 3й мировой...

Короче, http://zhurnal.lib.ru/ - Доступ к ресурсу ограничен
в соответствии с законодательством Российской Федерации (страны в которой я никогда даже не был:)

Блокирует где-то в районе rostelecom-gw.ip4.tinet.net. Делал трейсы с разных ISP.

Текст на страничке намекает что сайт спрятан только от «счастливчиков» оказавшихся в той стране, кому не лень, отпишите у кого открывается нормально, если да, то буду тормошить местных ISP. Или это просто сайт закрыли с таким странным объявлением?

По следам темы ( Собираются подписи за свободные интернеты ), где рассказывается как Гугл призывает подписаться против решений, которые могут быть приняты на правительственной конференции, ITU овтетил постом ( http://itu4u.wordpress.com/2012/11/23/the-google-campaign-an-itu-view/ ), где рассказывают что приглашён и частный сектор, а только из самих штатов там будет более 125 делегатов, включая представителей бизнеса и самого Гугла.

Кто, что думает, зачем Гугл поднял волну тогда?

Здравствуй многоуважаемый all,

последний раз сталкивался с вёрсткой лет 5 назад. Тогда основными инструментами были текст. редактор по выбору, справочник html/css и браузеры со всякими дополнения для отладки обтекания DIV'ов и тп. Вёрсткой чаще всего занимались веб разработчики, которые и прилаживали получившиеся шаблоны затем к CMS иногда верстать умели и дизайнеры. В плане организации процесса, конечно стремились к троице: дизайнер-верстальщик-разработчик.

Вопрос - что изменилось за эти годы?

В техническом плане, вижу появились css фреймворки всякие, адаптивный дизайн, даже библиотеки, JS стал лезть в формирования вида страницы, а не как поддержка интерактивных элементов. Появились/появляются компоненты с элементами Web UI (вроде как были во флеше) написанные на смеси технологи...

А что с разделением труда? Верстальщик стал называться layout developer - или это другое? Или слился с PHP/Perl/Python LAMP девелопером? Какой подход к массовой веб разработке сейчас рулит?

Здравствуй многоуважаемый all,

в процессе профессиональной жинедеятельности накопилось довольно много полезной информации ИТшного характера от учебников, руководств и стандартов до отсканированных книг.

Зарегал домен и решил потихоньку публиковать этот архив там, еще не решил в форме блога или просто листинг файлов.

Вопрос - домен уже полгода как зареган но припарковать руки не доходят, как и загнать доки в pdf для публикации. Что бы разместить временно на страничке, может чтобы потом было проще с индексацией поисковиками? А то сейчас там ссылки и реклама регистратора задаром висят. Ни о каком специальном говноСОЕ даже не думаю.

Многоуважаемый all,

особенно те, кто работает в зарубежных компаниях, как у вас называется должности Chief information security officer и аналогичныем им по позиции и функциям. Information security manager/analyst/administrator, etc

Именно по информационной безопастности, т.е. всякие ISO2700x и тд.
Т.е. хочу узнать как сейчас в цивилизованном мире принято называть топовые позиции в этой области.