FreeBSD 7.1

> задолбали пионеры, которые не въехав о чём речь сразу тыкают в хэндбук. IPFIREWALL_FORWARD - единственное, что нельзя вынести в модуль.

А ты проверь. Не надо так категорично, выносится элементарно. И именно добавлением одной только строчки «options IPFIREWALL_FORWARD» в конфиг ядра. Скомпилируется нужная поддержка в ip_input.c, ip_output.c и т.д., соберется и поставится модуль ipfw.ko, в само ядре ipfw статически вкомпилирован не будет, и никто не попросит.

HP# cat /root/scripts/HP | grep SC
options         SC_NORM_ATTR=(FG_GREEN|BG_BLACK)
options         SC_KERNEL_CONS_ATTR=(FG_RED|BG_BLACK)
options         SC_HISTORY_SIZE=2022
HP#   
===================
ну а по поводу обновления большой кучи машин - я прекрасно переходил во всех филиалах по крону - с 6.2 на 6.3 пару месяцев назад.
Всё собралось за ночь, поставлось, обновилось.
Дел было на день, плюс тестовая машина, плюс не забыть загрузить ядрёный модуль hands.ko
===================
товарисчу с тазиком вместо сервера, с вами разговор окончен - пока не поймёте разницу между тазиком и сервером =)

Мне-то что сказать хотел?

> товарисчу с тазиком вместо сервера, с вами разговор окончен - пока не поймёте разницу между тазиком и сервером

Стремление видеть лишь удобную вам часть написанного - верный признак отсутствия аргументов. Тем более, что по сути вопроса вы так ничего и не возразили. Слив засчитан :)

Спасибо!

>The storage nodes use a specialized local file system (OSDFS) that implements the object storage primitives. They implement an iSCSI target and the OSD command set. The OSDFS object store and iSCSI target/OSD command processor are kernel modules.

собственно про это я и говорил. сильно перепиленная freebsd.
iscsi-target, думаю тоже свой.

Так ведь вопрос: почему Panasas не сделала для freebsd "The Panasas client is an installable kernel module", а ограничилась "The NFS and CIFS services provide access to the file system for hosts that cannot use our Linux installable file system client." ???

>На FreeBSD хостится более половины сайтов всего рунета. 

откуда статистика?

>На FreeBSD хостится более половины сайтов всего рунета.
Еще "оку" забыли привести в пример.Как наш ответ Фордам и Тойотам :)

>У нас даже в больших локалках часто bgp поднимают.

большие локалки - это всякие nag.ru?
Поднять bgp не сложно, вопрос лишь зачем?

>Или quagga. А вероятнее всего — киска.

так ведь к чему мы приходим: где-то выше по треду некоторые товарищи с пеной у рта рассказывали как классно делать на freebsd bgp-border с шейпингом и ещё кучей свистелок. Теперь же выясняется что оно там не надо и проще поставить железку от cisco.

Про кваггу я уже писал: на 7ке в паре с mpd5 она уводит машину в панику.

>Про неё просто тоже не надо забывать. Для FreeBSD она также открыта и растёт, просто об этом не так громко шумят.

ага-ага. реальные устройства где? 
ну хоть одну arm/mips-железку назовите?

>а) Hype, б) на рынке полно линукс-пионеров за смешные деньги, в) 
вопрос касательно оракла был о dbms.

вот есть оно под aix/hp-ux/tru64/linux/solaris/etc.
но почему игнорируют freebsd? рынок мал? или же просто неудобно поддерживать?

>опыт показывает, что FreeBSD удобнее для тех, кто работает, а Linux для рубящих бабло (може излишне категорично, но я так вижу).

простой вопрос: платный саппорт по freebsd. к кому обратиться за ним? речь о ситуации, вроде описанной выше. например, на определённой архитектуре и опр. железе система спорадически паникует.

возвращаясь к билд-серверам: вполне возможно, что платный саппорт компании обойдётся дешевле, чем самостоятельный саппорт своих прилижений + саппорт ОС.

>UFS2+SU сейчас ничуть не уступает любой линуксовой. 

речь не об этом. panasas использует свою локальную фс, а не штатную ufs2. т.е. это уже не бабушка, а бабушка с яйцами.

>Это отменяет тот факт, что JUNOS основан на фре?

на наге был неплохой пример про mpls. исходная задача: заставить зайца лазать по деревьям. mpls решает эту проблему добавляя огромную гориллу, которая носит его на себе и по его требованию поднимает на любое дерево.

С junos'ом так же. Сам по себе заяц не нужен. Имхо, выбор freebsd продиктован лицензионными соображениями.

>Линукс там как пускалка c KVM для IOS, если мне память не отшибает.

ну так тут так же, как и с junos. ОС общего назначения как пускалка для проприетарщины.

>Если тебя интересует прямо без всяких патчей (vanilla, так сказать), то у меня уже давненько работает файловая помойка, в которой 16 SATA2 винтов по 1Тб. Узкое место — сеть, а не FS.

Эти 16 винтов подключены к одному рейд-контроллеру? :)))

>Внутри не FS, а объектное хранилище. А вот снаружи — параллельная отказоустойчивая FS.

lustre, gpfs. это сходу. на infiniband с ними получаются совершенно безумные цифры.

>Она сама собой как-то пользуется ведь ;) Ядерный модуль с драйвером FS, плюс гейт из NFS или CIFS (реально —
 ядерный NFS сервер из самой фри и модифицированная самба на гейтах).

ну вот купил я Sun Fire X4600, засетапил 7.1
как подцепить сторадж panasas? по nfs/cifs? 

>На каком уровне? А вообще, начиная с полезной но невкусной рыбки carp, и продолжая практически также, как и в Линуксе.

в linux тоже есть carp. речь о синхронизации данных между нодами.
Например, ситуация: мы письмо приняли, скинули его на диск, а тут нода умерла(умер диск-контроллер или в ноду попали из миномета - не важно).

всё, письмо потеряно?

В Linux есть несколько вариантов: 
1)drbd
2)shared storage+кластерная фс(ocfs2, gfs2)
3)параллельная кластерная фс(опять же, люстра, gpfs)

А в freebsd? gmirror+ggate? А если нод будет 20-30?

>В Linux есть несколько вариантов:
>1)drbd

DRBD, вообще говоря, не является кластерной файловой системой. Это аналог GEOM ggate+gmirror.

>2)shared storage+кластерная фс(ocfs2, gfs2)
>3)параллельная кластерная фс(опять же, люстра, gpfs)

"GPFS изначально разрабатывалась как Tiger Shark file system в 1993 году в исследовательском центре IBM Almaden Research Center. Первый коммерческий релиз GPFS состоялся в 1998 году.

GPFS изначально проектировалась для поддержки высокопропускных мультимедиа-приложений. Такой дизайн хорошо подходит для научных вычислений. Сегодня GPFS используется на многих суперкомпьютерах из списка 500 самых мощных".


Это всё сторонние проекты и технологии.
Какие в Linux родные распределённые ФС? Нету!

> Так ведь вопрос: почему Panasas не сделала для freebsd "The Panasas client is an installable kernel module"

Так они ведь специализируются на хранилищах для Linux кластеров, им хватает: в Лос Аламосе работает на петафлопном Роадраннере, например. Причем сделали всё под FreeBSD, что примечательно.

> а ограничилась "The NFS and CIFS services provide access to the file system for hosts that cannot use our Linux installable file system client."

А по NFS из-под фри производительность даже выше (на блоках до 2000Мб, если память не изменяет), чем по PanFS под линуксом, правда недоступны режимы управления распределением блов по блейдам (только автоматически). Но нативный модуль у них есть, и даже используется в самой системе, как нетрудно догадаться. Причем это нормальный коммерческий вендор: если тебе надо PanFS для FreeBSD, то обратись, продадут. Более того, ещё куда-нибудь портируют, лишь бы заказ был на само хранилище.

> ну вот купил я Sun Fire X4600, засетапил 7.1 как подцепить сторадж panasas? по nfs/cifs?

Купи его, остальное не твоя забота.

> Поднять bgp не сложно, вопрос лишь зачем?

Представь не очень маленький город, развесистые провайдерские «локалки», пара–тройка IX между ними…

> так ведь к чему мы приходим: где-то выше по треду некоторые товарищи с пеной у рта рассказывали как классно делать на freebsd bgp-border с шейпингом и ещё кучей свистелок.

Нормально делать на FreeBSD роутеры с bgp и перделками, если деньги решают: маленькие NPE-G[12] сиски в попе как по цене, так и по производительности.

> Про кваггу я уже писал: на 7ке в паре с mpd5 она уводит машину в панику.

Честно, никогда не держал bgp и mpd на одной машине. Да и квагга не очень нужна в свете openbgpd: если сеть слишком велика для полносвязки, мне лично отражатели удобней, чем конфедерации. Точнее в моих use cases они удобней.

> ну хоть одну arm/mips-железку назовите?

ARM знаю, но не занову: NDA. Намекну: промышленные контроллеры в сфере разбазаривания природного достояния.

> вопрос касательно оракла был о dbms.

Ораклом мир dbms не ограничивается, Postgres намного выгоднее ;)

> но почему игнорируют freebsd? рынок мал?

Hype. Линукс /уже/ интенсивно и долго толкают на рынок, на этой волне достаточно просто пропихнуть его и как пускалку для Оракла. А предложив ещё и свой дистрибутив «за так», целиком замкнуть на себя саппорт. Суммарнее выгоды могут быть выше затрат на поддержку ещё одной платформы.

> простой вопрос: платный саппорт по freebsd. к кому обратиться за ним?

Полно. http://www.freebsd.org/commercial/ — обращайся.

> озвращаясь к билд-серверам: вполне возможно, что платный саппорт компании обойдётся дешевле, чем самостоятельный саппорт своих прилижений + саппорт ОС.

В нашем случае это совсем не так. Никогда контрактник не стоил дешевле человека на ставку.

> речь не об этом. panasas использует свою локальную фс, а не штатную ufs2. т.е. это уже не бабушка, а бабушка с яйцами.

Это специализированная заточенная коммерческая бабушка с чугунными яйцами. Любой каприз за ваши деньги. Но /локальная/ (boot) FS там именно нативная. Всё остальное — скорее база данных.

> С junos'ом так же. Сам по себе заяц не нужен.

Там достаточно полноценное UNIX окружение с шеллом, юзерлендом и процессами. В IOS XR микроядро от QNX, а вот в ASR 1000 просто две копии IOS XE вертятся каждая в своей KVM поверх кастрированного линксового ядра, синхронизируя состояние. Это у них такое non hardware redundancy.

> Эти 16 винтов подключены к одному рейд-контроллеру? :)))

К двум PCI-E, а раздаёт оно со вчерашнего дня по 10G. Сеть практически перестала быть узким местом :)

> lustre, gpfs. это сходу. на infiniband с ними получаются совершенно безумные цифры.

К сожалению, в Лос Аламосе не используют gpfs. А по Infiniband умеет Isilon (Kodak, MySpace, NBC, Technicolor, Schlumberger, Pratt & Whitney, NASA, etc.).

> в linux тоже есть carp.

Carp в линукс убог. Но, собственно, есть способы получить [аналог] VRRP.

> речь о синхронизации данных между нодами.

Да хоть на application level, хоть dbmail, хоть ggated, как ты справедливо заметил (и привязать к heartbeat, чтобы всё на автомате). Вариантов кучка (в кучке много штучка).

О, надо будет глянуть.

>Так они ведь специализируются на хранилищах для Linux кластеров

так ведь я и спрашиваю: почему linux, а не freebsd?
как говорится, "если вы такой умный, почему такой бедный?"

>А по NFS из-под фри производительность даже выше (на блоках до 2000Мб, если память не изменяет), чем по PanFS под линуксом, правда недоступны режимы управления распределением блов по блейдам (только автоматически).

ну так тогда лишаемся всяких вкусных плюшек.

>Представь не очень маленький город, развесистые провайдерские «локалки», пара–тройка IX между ними… 

ага. пионерсети, не знающие про QoS.

>Нормально делать на FreeBSD роутеры с bgp и перделками, если деньги решают: маленькие NPE-G[12] сиски в попе как по цене, так и по производительности. 

ну-ну.  Простая задача: пропустить клиентский войп(видео) через свою сеть и отдать в другом конце города. 
Кстати, а роутер на freebsd даст 2mpps?

>ARM знаю, но не занову: NDA. Намекну: промышленные контроллеры в сфере разбазаривания природного достояния. 

ну так ведь махровая проприетарщина. 

>Да и квагга не очень нужна в свете openbgpd: если сеть слишком велика для полносвязки, мне лично отражатели удобней, чем конфедерации. Точнее в моих use cases они удобней. 

openbgpd используют народу с гулькин нос. Та же quagga - часть солярки и её активно спонсирует Sun.

>Ораклом мир dbms не ограничивается, Postgres намного выгоднее ;) 

я раньше уже писал: мастер-мастер репликация и онлайновый ребилд индексов. А геморрой с автовакумом - это отдельная тема.
А ещё у постгреса есть "бонус": создаёте таблицу в 2-4 млн записей, потом удаляете в ней 3/4 записей, а база в размерах не уменьшается.

>Полно. http://www.freebsd.org/commercial/ — обращайся. 

вы реально пользовавшихся ЭТИМ знаете?

>Линукс /уже/ интенсивно и долго толкают на рынок, на этой волне достаточно просто пропихнуть его и как пускалку для Оракла. А предложив ещё и свой дистрибутив «за так», целиком замкнуть на себя саппорт.

а что мешает сделать то же самое freebsd?
Ведь мой вопрос в сущности прост: почему именно линукс, а не фряха?

>Это специализированная заточенная коммерческая бабушка с чугунными яйцами. Любой каприз за ваши деньги. Но /локальная/ (boot) FS там именно нативная. Всё остальное — скорее база данных. 

ну и какая разница тогда фря или линукс? скорее тут выбор был по лицензионным причинам, чем техническим, т.к. не надо открывать никакого кода.

>К двум PCI-E, а раздаёт оно со вчерашнего дня по 10G. Сеть практически перестала быть узким местом :) 

а что за nic?

>А по Infiniband умеет Isilon

а почему поддержки infiniband нет в основной ветке freebsd, в отличие от linux?
почему нет кластерных фс, нет виртуализации и распределённых фс?
Вы говорите что freebsd лучше чем linux, но почему же всё так скудно?

маленькое комьюнити? мало разработчиков? или же просто интересно ограниченному кругу лиц?

> так ведь я и спрашиваю: почему linux, а не freebsd?

Почему кластер («суперкомпьютер») под линукс? Банальный прагматизм: «коней на переправе не меняют». Пока более-менее получается, будут пилить гирю.

> ну так тогда лишаемся всяких вкусных плюшек.

Все они требуют поддержки со стороны прикладного ПО: специальными вызовами указать, на какие ноды раскидывать конкретный файл, обойти блокировки… Если нужна просто большая распределенная многопользовательская FS, достаточно уровня NFS.

> ага. пионерсети, не знающие про QoS.

/Провайдерские/ сети, причем сильных игроков с хорошими технологиями.

> Простая задача: пропустить клиентский войп(видео) через свою сеть и отдать в другом конце города.

Не понимаю, с чем у тебя проблема. Промаркировать траффик? Продумать политики? Нормально всё во FreeBSD.

> Кстати, а роутер на freebsd даст 2mpps?
Легко. А 7301 или 7201? С учетом того, что теоретический предел для одного 1G — 1.488mpps, а там их 3–4, и циской заявлена суммарная производительность 900kpps и 2mpps соответственно.

Роутер под FreeBSD без проблем маршрутизирует несколько 1G интерфейсов, одновременно фильтруя трафик, не стоит забывать о fast forward. А вот у линукса за пределами тестового окружения, когда маршрутизируемых IP не 5–10, и даже не 400–500, а миллионы, проблемы часто начинаются уже на пороге 100kpps.

Максимум, что я видел в своих тестах с 10G на 10G — около 2.6mpps, когда драйвер сетевухи не был оптимизирован вообще. Дальше ковырять не стал, и так достаточно: в реальной сети pps в десяток раз меньше на том же bps, а на файлопомойке и в двадцать.

> ну так ведь махровая проприетарщина.

А embedded в массе своей — проприетарщина.

> openbgpd используют народу с гулькин нос. Та же quagga - часть солярки и её активно спонсирует Sun.

Quagga заменила зебру в SFW. Я не говорю, что она плоха, напортив. Я говорю, что openbgpd хорош, компактен, удобен и соответствует rfc.

> я раньше уже писал: мастер-мастер репликация

Есть сторонние реализации (открытые и коммерческие), Postgres-R не стоит на месте. В 8.4 обещают зачатки репликации «из коробки».

> онлайновый ребилд индексов.

А в Postgres нет необходимости ребилдить индексы: мусор в них обычно не скапливается. Но если тебе очень хочется, достаточно сделать:
CREATE INDEX CONCURRENTLY _new_
DROP INDEX _old_
И, по желанию, ALTER INDEX _new_ RENAME TO _old_ (хотя на имя индекса постгресу плевать).

Да, это работает онлайн и не блокирует таблицу.

> А ещё у постгреса есть "бонус": создаёте таблицу в 2-4 млн записей, потом удаляете в ней 3/4 записей, а база в размерах не уменьшается.

Ты хотел сказать, «занимаемое на диске место не уменьшилось»? А почему должно? Ну так сделай VACUUM FULL, только нафига оно надо?

> вы реально пользовавшихся ЭТИМ знаете?

Знаю. Также знаю людей, которые брали на работу разработчиков FreeBSD ради поддержки и реализации интересного им функционала.

> Ведь мой вопрос в сущности прост: почему именно линукс, а не фряха?

Hype

> ну и какая разница тогда фря или линукс? скорее тут выбор был по лицензионным причинам, чем техническим, т.к. не надо открывать никакого кода.

Какая разница, под какой ос будет работать закрытое ПО? То же самое можно сделать и под Линуксом, попытки были. Только вот кто-то из разработчиков писал (Lanza? не помню), что они попробовали, но нифига не получилось. Ни по производительности, ни по стабильности: на ровном месте возникали какие-то апериодичные «затыки» с пропускной способностью, да и вообще она уступала.

> а что за nic?

Штеуд

> а почему поддержки infiniband нет в основной ветке freebsd, в отличие от linux?

Людям потребовалось, они написали. Под фри есть коммерческие реализации, когда-то давно OpenIB кто-то портировал… Но я думаю, просто никому для FreeBSD особо не надо было (кроме всяких NetApp и Isilon), продолжали использовать Myrinet. Более половины «суперкомпьютеров» из Top-500 вообще на ethernet.

> Вы говорите что freebsd лучше чем linux, но почему же всё так скудно?

Где-то лучше. где-то не очень. Любое ПО, любая функция появляются и развиваются только тогда, когда кому-нибудь нужны.

Выбирайте винду а остальное гино, много времеи все эта нечесть с пингвинами убивает....

всё под бсд есть. софта немерено. и дрова Нвидии пашут и все фичи пашут. а то ПО которого почему-то неоказалось, можно и сырцов собрать , это вконце концов *nix! А если даже почемуто по и нельзя собрать из сырцов, дык моожна вообще без всяких проблем linux овые бинарники запускать и его же библиотеки! И даже rpm пакеты ставить. И win модемы заводятся. И на данный момент полноценный десктоп посавить со всякими 3Д эффектами и берилом и компизом и хуевой тучи всяких наворотов. И тв тюнер завести и смотреть телек. и в игры играть юзая всякие хитровыделанные юсб - манипуляторы. и ничё оно не рип. а, ещё , кто-то там назвал дебиан ущербным. смешное заявление :-D сам небось ебунту юзает :-DDD