FreeBSD под FreeBSD. На клингонском

Ну а какие задачи решаете на FreeBSD всей вашей замечательной компанией?

Кто и на каких нагрузках его юзает в проде?

У меня как минимум + у тех кого я знаю)

Это конечно крупный продакшон. Ну а конкретные примеры есть?

Кто и на каких нагрузках его юзает в проде?

Так тебе все и рассказали, ага. ☺

Но есть Netgate, iXSystems и конечно же Netflix. Я не думаю что у них малые нагрузки.

Так тебе все и рассказали, ага.

А в чем смысл скрывать?

Hal ушёл udev пришел. Рулзы, наверное лучше чем xml. Не замечал, что d-bus чем-то тормозит, есть где пощупать?

и ЧТО?1! нЭтфликс просто юзает потому что этим удобно отдавать контент (и какой-то пердун когда-то просто впарил им это супер решение вместо которого могло быть что угодно но он любил БСД) с малым лэйтенси больше им ничего не нужно. айИксСистемс тоже - хочу стать лидером на рынке систем хранения но последний продукт (SIC!!!) внезапно сделан на базе линукс, о ужас!!! https://www.truenas.com/truenas-scale/ . Не понял зачем ты упомянул ещё и Netgate когда контекст полемики системы виртуализации.

Так и не смог приобщиться, пишет not found, даже сайт не хочет открываться.

Хочется юникса - перелазь на plan9, точнее его форк 9front. Он пилится и поддерживается, хоть и ради лулзов.

AC9560 … может пропасть после перезагрузки

Вон оно что. А я-то думал, что это у меня такой чип бракованный. Простой ребут не спасал, помогала лишь следующая последовательность действий: отключение в биосе беспроводного режима, перезагрузка и повторное включение в биосе вай-фай (как я допёр до такого оккультного ритуала, уже не помню). Справедливости ради отмечу, что за несколько лет такое случалось буквально пару раз. И да, на данном ноуте (t490) - только линукс (гента), ни венды, ни фряхи в дуалбуте нет.

Ворлонский приятнее выглядит

Так тебе все и рассказали, ага.

А в чем смысл скрывать?

Никто не скрывает. Но и орать на каждом углу никто не станет. Мы же не фанатики, которые навязываются и с пеной у рта пытаются доказать что это единственно верный путь, как это делают линуксоиды. ☺

и какой-то пердун когда-то просто впарил им это супер решение вместо которого могло быть что угодно но он любил БСД

Не совсем так. Во фре многое реализовано просто хорошо (не идеально, конечно; идеальных вещей в принципе не бывает). Даже обновления ничего не ломают — вполне можно древнюю версию и обновить её до актуальной. Линуксоиды ценят человеческие качества превыше профессиональных навыков, и код там соответствующий. Ну и открещиваясь от ZFS никто до сих пор так и не предложил достойной альтернативы, которая не отваливается по желанию левой пятки и в зависимости от погоды на Марсе не утаскивает данные в /dev/null. Windows это просто проприетарщина, в которую надо вкладываться и не факт что оно в один прекрасный момент не изменит курс и не сломает юзкейс компании. Про macOS я вообще молчу, она в суровом тыртырпрайзе вообще мало кому нужна, так как мало того что это проприетарщина, так Apple в первых рядах по выкидыванию Legacy.

Не понял зачем ты упомянул ещё и Netgate когда контекст полемики системы виртуализации.

Чтобы разрабатывать под FreeBSD нужно держать хотя бы часть собственной инфраструктуры на FreeBSD.

А почему абсолютно каждый визуальный элемент имеет свой собственный шрифт/размер/etc?

Потому что окружение «дизайнил» программист.

ZFS это не грааль. Там вместе с преимуществами есть и недостатки которые никакой ARC кеш не покроет. Линукс это влитые бабки и технологии несравнимо большие чем в БСД. Много больше бабла и технологий. За работу програмисту платят а он за это живёт. Да. В во фре есть много красивого и элегантного от системы портов до кашерных списков контроля доступа на уровне VFS. Целостность базовой системы. Но где софт? Портируют. Из линукс в основном. Меня в своё время на поза позапрошлой работе утомило отслеживать что теперь в портах штабильно и не поломается а что не совсем. Базовая система отдельно а остальное как хотите. Обновления в нормальных линукс дистрах ничего не ломают. Порты в БСД это как ни крути роллинг а система без софта это как грузовик с пустым кузовом. Возможно крупные конторы могут себе позволить организовать подключаемый и поддерживаемый репозиторий но это уже вложенный труд а за человеко-часы надо производить оплату. Иначе не работает.

И да.. Меня всё-же интересовала виртуализация и уровень её реализации.

Ну а какие задачи решаете на FreeBSD всей вашей замечательной компанией?

Сейчас в основном хайлод хостинг для некоторых популрных СМИ. Инфрастуктура из всего лишь 3-х однопроцессорных серверов, под управлением фряхи естессно, держит запредельные нагрузки за счет грамотно построенного кеширования и натюненного сетевого стека. Кластеризированные БД: postgres (master<>5xslave с автофейловером через repmgr), redis тоже со штатным автофейловером, частообновляемые и требовательные к скорости чтения дынные находятся в tmpfs, свой S3 на основе minio и много других интересностей. До этого работал в одной конторе где весь воркфлоу разработки был на фряхе. Уже об этом писал тут и тут.

Ну а конкретные примеры есть?

Виртуалки с виндами живут с момента когда bhyve стал production ready и начал поддерживать загрузку с UEFI. Крутятся/крутились там что угодно: от 1С до функциональных тестов на Selenuim. Ну и исторически в виртуалке с убунтой по сей день живет gitlab. Не смотря на то, что gitlab давным давно имеется в портах, самым беспроблемным сетапом является omnibus package. За 8 лет работы - ни единого сбоя.

Еще было 5-10 виртуалок с различными линухами, но они почти все перебрались на хост систему в отдельные jail-ы. Поскольку виртуалки с линухами и софтом сетапились в попыхах, не было времени выделить им достаточно «любви» чтоб все нужное заработало на фряхе нативно. Но со времем все оно таки переехало.

Вот забавно, вспомнилось... В последней виртуалке софт которой мигрировал на фряху, крутился remp2030. И один и тот же тяжеленный запрос который агрегировал данные с базы, после миграции на фряху с ZFS, стал выполнятся в два раза быстрее. Аналитики которые работают с этой софтиной были довольны. Причем, что в виртуалке с линухой, что на хосте — одна и та же версия мускуля, пыхи и всего остального.

Но где софт? Портируют. Из линукс в основном

Если ты читал комменты с самого начала, то мог заметить что я как раз сначала портировал ручками а затем уже узнал что оно есть в портах.

Так что сам процесс ‘заставления работать’ это не что-то запредельно сложное.

Рассматривай существующие порты как набор более-менее популярного софта с поддержкой.

Но это не значит что нельзя вручную чего-то перенести из Линукса или еще откуда.

Видимо там не жалуют гостей из РФ, надо через прокси: https://uproxy.online/

Тут проблема в последовательности загрузки, получается что состояние не сбрасывалось до конца в BSD и восстанавливалось только в венде.

Справедливости ради - проблема частая и известная, просто AC9560 имеет очень много вариаций.

Wallpaper мой, фоткал в Питере.

Красивое.

Инфрастуктура из всего лишь 3-х однопроцессорных серверов, под управлением фряхи Ну какой-никакой, но ладно.

Ок. Чтоб не городить кучу вопросов, а самому надо железку собрать под это но не сейчас.. выдай пжлст. скрин диспетчера задач мастдая(винды в смысле) в виртуалке bhyve в простое без нагрузки (останови там MSSQL, 1C etc///) на вкладке там где «производительность». И сколько при этом ест хост на эту-же виртуалку (уж прости не юзал не знаю там это отдельным процессом возможно а возможно и нет). Ну и второй момент во сколько процентов уйдёт ЦПУ на хосте если к примеру с винды на баре метал на эту виртуалку по SMB полить пару-тройку терабайт (ну там дампы баз и т.п.). На время копирования вырубить службу времени, убедиться что +-1 сек точно а после процесса теста посмотреть на часы в госте.

На время копирования вырубить службу времени, убедиться что +-1 сек точно а после процесса теста посмотреть на часы в госте.

Какой-то запредельно хитрый план. В чем тут смысл хоть?

если к примеру с винды на баре метал на эту виртуалку по SMB полить пару-тройку терабайт

SMB плохо подходит для передачи больших объемов - часто файлы бьются. Сам с NAS мучаюсь, причем объемы на порядок меньше.

Ну я бы копировал такие объемы на хост и уже потом пробрасывал в виртуалку.

Но где софт? Портируют. Из линукс в основном.

Вот только вначале его на Linux портировали из FreeBSD, а потом Linux перетянул на себя одеяло и стало наоборот. Всё благодаря "агрессивной рекламе" в первую очередь, а не качеству или количеству софта. FreeBSD выросла из 4.3BSD, то есть у неё основа была уже обкатана, а Linux был написан с нуля (пусть и было изначально портировано некоторое количество драйверов с Minix).

И да.. Меня всё-же интересовала виртуализация и уровень её реализации.

Ну в Linux она повзрослее, и бабла в неё вложено больше. Буквально недавно в группе CBSD об этом кто-то писал: не ожидай от некоммерческого проекта того, что он предоставит все возможности коммерческого; вложенные человекочасы несопоставимы.

Если кому интересно, вот тут видео полной загрузки: https://vk.com/wall316530065_819

Только в зеленой теме. Думал использовать все это для кино в качестве декорации.

Не переживай все кул стори что откуда знам. Сам до какого-то времени юзал фряху. Пока не надоело..

Какой-то запредельно хитрый план. В чем тут смысл хоть?

в реализации гипервизором обработки прерываний from-to OS, APIC, rtc, network, block devices. Насколько при этом трудится процессор. Через какое врямя в случае багов в реализации отвалится например диск или сеть. Ну и просто интересно «уйдёт» время за где-то пол часа интенсивной нагрузки.

SMB плохо подходит для передачи больших объемов - часто файлы бьются.

Думаю что это какой-то частный случай. Юзал и самбу ещё на 8-й фре было зеркало куда лились бекапы и кашерный SMB на Solaris нигде ничего не бъётся. Это или «физика»(контроллер издыхает) отваливается или что-то где-то криво. Но по SMB у меня на трёх серверах было что каждую ночь сливалось на 4-й с каждого по 1-1.5Тб и всё ОК «брат жив»

Тем временем, в 13.2-STABLE завезли llvm16.

> cc --version
FreeBSD clang version 16.0.6 (https://github.com/llvm/llvm-project.git llvmorg-16.0.6-0-g7cbf1a259152)
Target: x86_64-unknown-freebsd13.2
Thread model: posix
InstalledDir: /usr/bin

Тут Intellj поднасрали внезапно - впихнули нативную библиотеку в сборку. Пришло обновление и все поставило раком. Куда веселее чем очередные 2Гб просранные на рантайм LLVM.

Intellj вообще не признают *BSD. У них только Windows, Linux и Mac.

Господь дал мне в руки компилятор, отладчик и знание Си, поэтому что там кто признает уже неважно: https://i.postimg.cc/FF0v9yBG/idea-freebsd-patched.png

Видимо надо описать как это делается.

выдай пжлст. скрин диспетчера задач мастдая

Не могу, так как:
- на виртуалке куча коммерческого софта, который я бы не хотел светить.
- останавливать сервисы не хочу, так как всех их сетапил не я и прикасаться ко всему этому нет желания.
- SMB - какашка. Везде, даже на винде, юзаю NFS. По сему, нигде нету ни SMB клиента, ни сервера.
- что либо замерять на нагруженной железке нет смысла, так как слишком велика погрешность.

Есть виртуалка с линухой на относительно простаивающем серваке. Могу там какие-то тесты сделать.

П.С: как показала практика, скорость заливания файла на виртуалку, как и создаваемая нагрузка на проц, существенно зависит от правильно подобранного ZFS recordsize на хосте + block size файловой системы в виртуалке. Если промахнуться с этими параметрами - просадка по скорости может достигать 30-40%. А на большом количестве мелких файлов - еще больше.

Через какое врямя в случае багов в реализации отвалится например диск или сеть.

За все время юзания bhyve сталкивался только с двумя проблемами:
1. драйвер эмуляции nvme глючил при определенный обстоятельствах. С того времени прошло более 3-х лет, возможно уже пофиксили. Нужно будет потестить кода буду сетапить что-то новое.
2. virtio-net глючил при юзании jumbo-MTU на хосте. Но это быстро пофиксили.

Везде где поддерживается VirtIO - юзаю virtio-blk для дисков. Даже в винде. Если встречается экзотика, то ahci-hd стабилен как бревно. По сему, даже не представляю что там может глючить и/или отваливаться. Для сети - везде virtio-net.

Спасибо за ответ. Так уж и быть соберу тестовую железку (если будет время на всё это, что маловероятно) и поэкспериментирую..

• SMB - какашка. Везде, даже на винде, юзаю NFS. По сему, нигде нету ни SMB клиента, ни сервера.

Вопрос веры не требует доказательств )))… Samba гогно знатное с этим соглашусь но SMB у меня на серверных правда офтопиках выдавал знатные IOPS без единого разрыва(ц) в т.ч. образы vhdх были замонтированы как блочные и повторюсь, ни единого разрыва. Что там может не работать и глючить ума не приложу.

У NFS свое шапито под названием lockd или сетевая блокировка. Ну и портов NFS открывает сильно больше при работе.

Я не понял это плохо или хорошо?

Сложный вопрос, я NFS тоже не очень люблю из-за этих вещей. Но у меня и объемов данных таких нет.

Из недавнего about NFS. Пришлось один из серверов кластера БД (на линукс) по причине того что некоторая часть процессов самой СУБД при обращениях к NFS(за какими-то там надобнастями) (что там было таймаут, дропы уже не важно) перешла в состояние «D» при котором есть только один выход, только один - ребут.. Кильнуть процесс в стейте «D» не выйдет - пробовали. Вернуть ошибку ввода-вывода - нет, не царское это дело. Не знаю как в БСДе с подобным но вот такая кул стори из недавнего по вине NFS

Примерно так в 2016-м, когда я сетапил большой файлвый кластер для разрабатываемого нами файл шаринг клауда, только фряха поддерживала полную спецификацию NFS 4.2. В то время ни линукс, ни винда либо не поддерживали часть фич, либо эти фичи глючили. Что касается блокировок, то во фряхе они работали намного лучше чем в других ОСях. По сему было принято решение сам сторедж и все клиенты (виртуалки с софтинами, которые подключали шару по NFS и отдавали файло по HTTP(s)) огранизовывать на фряхе. И за все время жизни этого проекта, к фряхе и скорости работы NFS не было никаких притензий. Не смотря на то, что все юзаемые фичи имели статус тестовых. Вот такой вот парадокс.

Видимо надо описать как это делается.

Не забудь написать статейку, бывает подобное нужно. В подобных ситуациях, если решение нужно быстро - приходится сетапить виртуалку с линухой. Если будет описание фикса под рукой — то будет замечательно.

С утра выложил, но не представляю кому такое может быть актуально. Надо быть совсем отбитым чтобы вести разработку на FreeBSD.

Я когда-то делал специальный шлюз - вебприложение, которое работало клиентом к NFS и SMB а наружу отдавало веб-интерфейс, либо WebDAV. Позволяло оперативно получать доступ со всяких мобилок и удаленно.

Вообще все эти удаленные диски, подключенные по SMB/NFS хорошо работают только в локальной сети, где все стабильно и нет сбоев и разрывов связи.

подключенные по SMB/NFS хорошо работают только в локальной сети

SMB - да. Но с приходом шифрования в NFS и работы по TCP, ИМХО, он намного стабильнее стал работать по инету с высокими задержками. Как минимум, лучше чем любые другие протоколы по типу SSHFS (SFTP) и FTPs.

Тут речь о том скорее что NFS оставляет процесс (в случае траблов, таймаутов и пр.) в состоянии «D» не переводя его из режима ядра в режим юзера и не возвращая ошибки и я не думаю что тут есть разница какая ОС. Ну и нагрузки у нас не могу говорить (nda) но большие как и число файлА. Хотя.. )) Если-бы мне разрешили у нас БСД засетапать в прод и посмотреть на бихэвиор на том-же самом. Может быть там всё хорошо и при сетевых траблах, таймаутах, блокировках процесс в конце концов ругается и ошибка как-то обрабатывается. Но это наверное в следующей жизни или на другой работе )

Ну и нагрузки у нас не могу говорить (nda)

На самом деле можешь. NDA в РФ не может запретить называть свое место работы, а факт нарушения NDA путем раскрытия деталей деятельности еще надо доказать - что такое раскрытие повлекло за собой какие-то «упущенные выгоды».для компании.

Херня это все, одним словом.

На х#й публично владельца компании не посылай да исходники с базами клиентов на торренты не выкладывай - этого для закона достаточно.

Моя контора не РФ

Резервирование портов для демонов NFS-сервера: rpc_lockd, rpc_statd и mountd применяли?

В других странах примерно тоже самое. Любая жесть вроде доступа к коммерческой или (упаси господь) к гостайне обговаривается и подписывается отдельно, вне трудового договора.

Я конечно знаю где все совсем жестко (Apple да) но врядли ты оттуда пишешь.

Не знаю.. и по-правде ничего не хочу об этом знать. Принципиальный вопрос в стэйте процесса. Всё Закрыли тему. ) А вот пороюсь у себя дома в железе если соберу что-то то и с bhyve поиграюсь. Это интереснее

Прочитал и улыбнуло. Я тоже сейчас работаю часть структуры одного СМИ. Недавно некий дядька говорил речь - на прямую трансляцию пришло чуть более 200к зрителей. Не знаю, хайлоад ли это. Не упали. BSD я здесь не видел пока.