LINUX.ORG.RU

Postgres Pro Enterprise 15.1.1: облегчение миграции с Oracle, маскирование данных и не только

 , , ,

Postgres Pro Enterprise 15.1.1: облегчение миграции с Oracle, маскирование данных и не только

0

2

Компания Postgres Professional объявила о доступности обновлённой СУБД для высоконагруженных систем Postgres Pro Enterprise 15.1.1. Данная версия включает все возможности выпущенных осенью PostgreSQL 15 и Postgres Pro Standard 15, а также новые разработки Postgres Professional. В этом году новую версию Postgres Pro Enterprise удалось выпустить на три месяца раньше, чем в прошлые годы, благодаря совершенствованию технологий работы с программным кодом.

При разработке этой версии учитывался растущий спрос заказчиков на программные средства упрощения миграции с СУБД Oracle.

Следующие новшества стали ответами на этот вызов:

  • Поддержка пакетов (Packages) в стиле Oracle. Основная функциональность пакетов (наборов функций и процедур) СУБД Oracle реализована в Postgres Pro Enterprise 15, чтобы упростить миграцию кода на языке PL/SQL при переходе с Oracle на Postgres. С технической точки зрения поддержка пакетов представляет собой расширение синтаксиса языка PL/pgSQL (с небольшими дополнениями в ядре СУБД), благодаря которому реализуется функциональный аналог пакетов Oracle и вводится ряд дополнительных команд для работы с ними.

  • Передача позиционных параметров в скрипт в psql. Благодаря этому новшеству в Postgres Pro Enterprise можно будет создавать более гибкие и универсальные shell-скрипты для работы с СУБД. Помимо явных преимуществ при проектировании новых скриптов, это упростит адаптацию SQL-скриптов при миграции с СУБД Oracle, где подобная функциональность привычна пользователю.

В связи с растущими требованиями в области защиты данных, включая персональные данные и сведения, представляющие коммерческую тайну, в Postgres Pro Enterprise 15.1.1 появилась возможность анонимизации и маскирования:

  • Pасширение pgpro_anonymizer для маскирования данных. Модуль маскирования (обфускации) данных добавлен в Postgres Pro Enterprise 15.1.1 в целях обеспечения безопасности хранимых данных в системах корпоративного уровня, а также для создания анонимизированных копий БД для использования в средах тестирования и разработки. Пользователям pgpro_anonymizer будет доступно статическое и динамическое маскирование, а также создание маскированного дампа. В дальнейшем Postgres Professional планирует расширение функциональности данного модуля.

Роль резервного копирования и восстановления в крупных корпоративных СУБД сложно переоценить, поэтому с каждым релизом Postgres Pro Enterprise совершенствуется соответствующий инструментарий, этот релиз тоже не стал исключением:

Добавление pg_probackup Enterprise c новыми возможностями. На основе pg_probackup разработана новая утилита резервного копирования для корпоративных сред pg_probackup Enterprise. Функциональные возможности её первой версии включают:

  • новую подсистему ввода-вывода, повышающую производительность;
  • поддержку протокола S3 для хранения данных в частных и общедоступных облаках;
  • обеспечение совместимости CFS (компрессии данных) с механизмом создания инкрементальных резервных копий; поддерживаются все режимы создания резервных копий (DELTA, PAGE и PTRACK), но PTRACK - рекомендованный метод инкрементальных бэкапов для больших баз данных;
  • поддержку алгоритмов сжатия LZ4 и ZSTD.

Помимо вышеупомянутых новшеств и ряда оптимизаций для работы с крупными и высоконагруженными базами данных, Postgres Pro Enterprise 15.1.1 включает все новые возможности Postgres Pro Standard 15, в том числе:

  • новые функции обработки JSON из стандарта SQL:2016 в дополнение к ранее реализованному языку JSONPATH;
  • готовность к работе с расширением TimescaleDB (после официального объявления его разработчиком о поддержке PostgreSQL 15);
  • добавление модуля tds_fdw для упрощения миграции с MS SQL Server;
  • официальную поддержку процессоров «Эльбрус».

Как уже сообщалось ранее, в версиях СУБД Postgres Pro редакций Standard и Enterprise начиная с 15-й прекращена поддержка ОС Windows.

Версия Postgres Pro Enterprise 15.1.1 не поддерживает эту операционную систему.

Полный список обновлений можно увидеть в замечаниях к выпуску.

>>> Подробности



Проверено: maxcom ()

В этом году новую версию Postgres Pro Enterprise удалось выпустить на три месяца раньше, чем в прошлые годы, благодаря совершенствованию технологий работы с программным кодом

А в чём это «совершенствование» заключается, если не секрет? Правда интересно.

theNamelessOne ★★★★★
()

Как уже сообщалось ранее, в версиях СУБД Postgres Pro редакций Standard и Enterprise начиная с 15-й прекращена поддержка ОС Windows.

Ооо, а зачем? У нас, например, в крупной промышленной компании, где все, в основном на oracle, сейчас появляются инстансы postgresql именно на windows server. Появились приложения где есть выбор бд, в том числе и пстгре, и обычно слой бизнес приложения виндовый. Зачем так отрубать себе кусок рынка?

vyv ★★★
()
Последнее исправление: vyv (всего исправлений: 1)
Ответ на: комментарий от vyv

Экзотическая ОС, видимо, прибыль с куска рынка не оправдывает затрат.

spqr ★★★
()
Ответ на: комментарий от vyv

Что мешает не использовать windows server для СУБД? Даже MS прогнулись и сиквел под линукс сделали, а уж оракл 100 лет как там работает.

Fafhrd
()

Модуль маскирования

Если хакер доберётся до файлов базы, что мешает ему добраться до файла ключа, которым эта база шифруется? ИМХО паранойя на грани маразма.

создание маскированного дампа

Разве что это имеет смысл, если переносить дамп отдельно от ключа. Впрочем, дамп и ручками шифрануть можно: openssl enc ....

pr849
()
Последнее исправление: pr849 (всего исправлений: 1)
Ответ на: комментарий от vyv

да как бе винда далеко не самая популярная ос под пг. разве что 1сники ей пользуются под ней и то стараются уйти чтоб бабосы за лицензии не платить.

bernd ★★★★★
()
Ответ на: комментарий от pr849

Данная функция подходит для предотвращения случайного раскрытия конфиденциальных данных, но не защищает от вредоносных намерений получить базовые данные.

Fafhrd
()
Ответ на: комментарий от vyv

Потому что прошивке для игр и усиленной отправки телеметрии не место в бизнесе

guyvernk
()
Ответ на: комментарий от theNamelessOne

А в чём это «совершенствование» заключается, если не секрет? Правда интересно.

Грубо говоря - захотеть надо было.

У постгреса есть ветка master, куда постоянно добавляются крупные фичи. Ну не постоянно, а с июля по апрель.
Примерно в конце июня от нее ответвляется ветка REL_XX_STABLE, куда уже фичи не добавляются, идет только стабилизация и где-то в конце сентября на базе этой ветки выпускается очередной мажорный релиз. Ну а потом пять лет в эту ветку идут всякие багфиксы. Международное сообщество PostgreSQL поддерживает одновременно пять мажорных версий.

Если дожидаться выпуска апстримом релиза, а потом начинать туда переносить всю добавленную функциональность PostgresPro Enterprise, то этот процесс как раз где-то до мая затянется. Так делали в прошлые годы. Потому что различия между мажорными релизами заметные, да и кое-какая функциональность, добавленная апстримом сделана на базе наших же переданных в сообщество патчей, но после того как канадские коллеги решили что не так это надо делать, совсем не так, поэтому мало того что старые патчи с новым апстримовским кодом конфликтуют, так еще теперь надо на базе реализации апстримом части функциональности, которая в прошлом релизе была полностью нашей, реализовать ту часть, которую апстрим не счел нужным включать.

Если же втащить свои изменения в ветку master, и потом оперативно исправлять конфликты со вновь появляющимися фичами апстрима, то теоретически можно почти одновременно с апстримом выпуститься. Правда при этом надо новые фичи, которые хочется выпустить в конце сентября, все вкоммитить до конца апреля. Пока этого достигнуть не удалось, поэтому вот, релиз 1 февряля. а не 1 октября. Но, надеюсь 16-й будет еще до Нового Года.

vitus
()
Ответ на: комментарий от vyv

Не зачем, а почему. Потому что нет на рынке труда нормальных програмистов, которые не только бы сами знали Windows примерно на уровне Рихтера или Русиновича, но и были в состоянии объяснить особенности этой системы коллегам, привыкшим работать в unix и Linux-среде. Причем не только нашим, а всем международному сообществу PostgreSQL.

Поэтому обеспечить сопоставимое качество работы в Windows не получается. А сегмент рынка достаточно небольшой. Специфики много. У них там в винде системыный вызов unlink фейлится, если файл каким-то процессом открыт. А на в проблему переименования и удаления файлов в постгресе очень много чего упирается. И Write-ahead логи, и compressed базы. А через какое место там консоль работает… Вот писал когда-то поддержку в psql нормального вывода на консоль. И то нормально не получилось Basic multilingual plane выводится, а китайский и японский по крайней мере в русской и английской windows - нет. (при этом в той же Windows в GUI проблем нет. Переназначаешь вывод psql в файл, открыаешь в ноутпаде - все иероглифы видны).

vitus
()
Ответ на: комментарий от Fafhrd

Можно пример конкретного сценария, в котором эта фича полезна?

Насколько я себе представляю, случайное раскрытие происходит через фронтенд/бакенд/SQL-инъекции/или без них, в любом случае где данные гуляют расшифрованные.

pr849
()
Последнее исправление: pr849 (всего исправлений: 1)
Ответ на: комментарий от vitus

Вот писал когда-то поддержку в psql нормального вывода на консоль. И то нормально не получилось Basic multilingual plane выводится, а китайский и японский по крайней мере в русской и английской windows - нет

У меня выводится, нужно только шрифт консоли поменять в программе на тот который поддерживает китайский и японский, по умолчанию в русской и английской Windows используется другой.

fsb4000 ★★★★★
()

Смотрю на надпись «PostgresPro» на картинке, и думаю: неужто букву «g» не легче было бы под слоняру стилизовать.

thesis ★★★★★
()
Ответ на: комментарий от pr849

Если датабазному юзеру назначить маскировку емейла, например, то хоть сколько сделай sql-иньекций ни одно приложение его используещее никогда не увидит реальные емейлы.

Это некий вариант column level security, когда доступ к колонке есть, но данные обфусцированны.

Другой вариант. Есть у сотрудников компании ПД в базе и оклады. Надо сделать апи, которое для внутреннего сервиса должно выдать какой-то набор. Но разработчик не имеет допуска к этим данным, тогда будет ему юзер, который маскирует всё критичное. Это проще, чем реально перекодировать и мусорить данные по всей базе.

Но надо смотреть, как это в случае с постгресом будет работать.

Fafhrd
()
Последнее исправление: Fafhrd (всего исправлений: 1)
Ответ на: комментарий от pr849

Один из юз-кейзов — подготовка дампов для выкатки на staging- и dev-окружения.

theNamelessOne ★★★★★
()
Последнее исправление: theNamelessOne (всего исправлений: 1)
Ответ на: комментарий от Fafhrd

Можно ещё сделать реплику продовской БД для аналитиков, чтобы те гоняли там запросы для сбора статистики и проверки гипотез, но не имели доступа к конфиденциальным данным (либо чтобы эти данные были достаточно обобщены, чтобы перестать быть конфиденциальными).

theNamelessOne ★★★★★
()
Последнее исправление: theNamelessOne (всего исправлений: 1)
Ответ на: комментарий от theNamelessOne

Насколько я себе представляю, случайное раскрытие происходит через фронтенд/бакенд/SQL-инъекции/или без них

При чём тут фронтенд/бэкенд/SQL-инъекции вообще?

в любом случае где данные гуляют расшифрованные.

Тут вообще не про шифрование.

theNamelessOne ★★★★★
()
Последнее исправление: theNamelessOne (всего исправлений: 1)
Ответ на: комментарий от theNamelessOne

Да много чего можно сделать. Мне динамическая маскировка в mssql, когда появилась, сильно жизнь облегчила как раз когда надо было аналитику по документообороту наладить :)

Fafhrd
()
Ответ на: комментарий от vyv

PostgreSQL Pro ориентирована, мне кажется, на отечественный рынок. Поправьте, если ошибаюсь.

Microsoft с отечественного рынка ушла. Зачем делать поддержку ОС, которой нет на этом рынке? И не будет, надеюсь, т.к. надеюсь вменяемые люди после таких фортелей не станут её покупать даже когда MS вернётся.

Кроме того, для подобных применений Windows очень тормозная. Я не знаю, как на ней работает Oracle, но Postgres работает через файловую систему, а ввод-вывод через файловую систему на Windows — чрезвычайно медленный.

emorozov
()
Ответ на: комментарий от emorozov

Винда как хост для постгреса говно конечно, но не мог бы ты подтвердить это чем-то?

ввод-вывод через файловую систему на Windows — чрезвычайно медленный.

easybreezy
()
Ответ на: комментарий от easybreezy

Винда как хост для постгреса говно конечно, но не мог бы ты подтвердить это чем-то?

Личного опыта замеров нет, но неоднократно слышал.
Нагуглил быстро бенчмарк: https://www.phoronix.com/review/windows2019-linux-bsd/2

Linux быстрее, но не в разы.

emorozov
()
Ответ на: комментарий от vyv

появляются инстансы postgresql именно на windows server

Ооо, а зачем? Разворачивание postgresql в родной архитектуре в отдельном инстансе под Линукс даёт такое количество таких преимуществ, что просто непонятно, что такое может заставить от них отказаться. Разве что неумение/незнание/боязнь? Желание оставаться поелику возможно в привычной среде, даже в ущерб бизнесу?

обычно слой бизнес приложения виндовый

Вот пусть и остаётся там где есть, пока не созреет для Линукса. А слой СУБД - мигрировать, чтоб хотя бы тут жареный петух не догнал.

Pauli ★★
()

Наступаем на пятки сами знаете кому

kto_tama ★★★★★
()
Ответ на: комментарий от emorozov

Microsoft с отечественного рынка ушла. Зачем делать поддержку ОС, которой нет на этом рынке?

Она как бы ушла
Я работаю в компании, которая обслуживает open source решения
Вы не поверите, чаты и совещания мы проводим в скайпе

kto_tama ★★★★★
()
Ответ на: комментарий от kto_tama

Вы не поверите, чаты и совещания мы проводим в скайпе

Ну, скайп же вроде бесплатный. Купить официально продукты MS нельзя. Да и не нужно. Раньше это надо было как-то ещё доказывать, сейчас MS сама сказала: «Не надо покупать наши продукты».

Я, когда они это заявили, как настоящий, а не поддельный, линуксоид, пошёл и на радостях купил и распил пиво.

emorozov
()

Постгрес до сих пор шифровать базу не умеет?

vbr ★★★★
()

Какой-то кристалл соли на коробке

kastro
()
Ответ на: комментарий от emorozov

Ну, скайп же вроде бесплатный.

Дак в том-то и фишка
Есть же другие конференции, у яндекса например, прямо из броузера
Но они же платные :-)

kto_tama ★★★★★
()
Ответ на: комментарий от kto_tama

Погоди, у Яндекса бесплатно тоже можно с какими-то ограничениями. И у Zoom тоже бесплатно, если не долее 40 или 45 минут.

В большинстве случаев, этого достаточно.

Скайпом от MS я пользовался на позапрошлой работе, может он и был бесплатным, но глюков тогда там было просто запредельное количество, и качество связи так себе.

Притом, я не исследовал ещё все доступные решения, т.к. для моих потребностей (которые чуть выше стандартных, т.к. помимо рабочих созвонов мне время от времени приходится проводить вебинары) хватает обычно бесплатных тарифов телемоста и Zoom.

emorozov
()
Ответ на: комментарий от emorozov

Погоди, у Яндекса бесплатно тоже можно с какими-то ограничениями. И у Zoom тоже бесплатно, если не долее 40 или 45 минут.

В большинстве случаев, этого достаточно.

Да, 40 минут, но этого бывает недостаточно :-)

Скайп - так себе конечно мессенджер, но ты же приходишь на работу не со своим самоваром
У него есть фишки типа захватить и показать всем экран
В конторе где я щас работаю половина - виндузятники
Более того - кажется в рос-реестре винда - рекомендованная ось для офиса - если я не ошибаюсь :-)

kto_tama ★★★★★
()
Ответ на: комментарий от kto_tama

У него есть фишки типа захватить и показать всем экран

Дык, такая фишка есть и в телемосте, по-моему, и в Zoom (совершенно точно, т.к. в нём пользуюсь ей постоянно).

Более того - кажется в рос-реестре винда - рекомендованная ось для офиса - если я не ошибаюсь :-)

Нет времени проверять, но уверен, что ошибаешься.

emorozov
()
Ответ на: комментарий от pr849

Это защита не от хакеров, это энтерпрайзнутая фича для удаленного саппорта, например. Работал я как-то в международной лавке по изготовлению софта для обслуживания пластиковых карт. На саппорте банки из полмира: арабы, Африка, кусок Европы... Так мы были в некотором ужасе от того, что нам клиенты слали логи транзакций электронной почтой вместе с номерами карт. кодами авторизации, снимками магнитной полосы... Нам конкретные данные были нафиг не нужны, нам были нужны форматы сообщений и коды ответов. Ну и тут что-то подобное,как я понимаю. Помнится, пришлось даже самим данные обфусцировать и клиентов учить.

gns ★★★★★
()
Ответ на: комментарий от vyv

Странная «крупная промышленная» компания с ленивыми админами-эникеями. Мы как раз с оракла на пг переходим, а виртуалка раньше была красношапочная, а теперь - Астра. Ну и под шумок тот же красношапочный опеншифт на кубер переводим.

temy4
()
Ответ на: комментарий от gns

Работая фрилансером я не раз сталкивался (раньше, до появления всяких Stripe и популярности PayPal), что клиенты давали доступ к продовой базе, где лежали номера кредиток, иногда вместе с CVV (не шучу). Или давали дамп такой базы для локальной отладки.

Также знаю одну очень большую и известную европейскую компанию, мировую, через которую проходят платежи значительной части мира в одной области. Лет 16-17 назад у них складывались в базу номера кредиток вместе с пинкодами. Не удивлюсь, если и до сих пор так.

emorozov
()
Ответ на: комментарий от emorozov

Ну если пинкоды шифрованы, а вроде должны, ибо генерятся аппаратным HSM, то оно и ничего. Хотя, всякая профессиональная лекция в области финтеха, которых я выслушал (и кое что прочел) немало, начиналась с утверждения, что «если мы тут сговоримся, то конечно украдем, не сомневайтесь» :)

Дело в том, что как раз лет 15-17 назад начали внедряться карты с чипами и алгоритмы генерации пин-кода, допускающие его смену без перевыпуска карты. В эпоху магнитной полосы, система VISA позволяла только одновременно выпустить карту и напечатать к ней пин-конверт. У мастера изначально имелась возможность пин менять. Поэтому, для удобства пользователей, банкам приходилось «костылить» смену пин-кода руками. После того, как внедрили VSDC (это чиповая технология от Визы, как оно у Мастера называется сейчас не помню), необходимость хранить пины отдельно отпала.

По «классике» пин генерится аппаратно внутри HSM и печатается на «секретном принтере» за железной дверью. То есть, в открытом виде пин существует только в проводе, соединяющем HSM и принтер. По сети HSM отдает уже защифрованный пин-блок, который записывается на магнтную полосу. Далее, в банкомате ты наколачиваешь пин, он шифруется прямо в блоке клавиатуры, далее перешифровывается аппаратно на цепочке парных ключей между банкоматом и банком, банком и платежной системой и т.д., потом перешифорванный пин-блок долетает до HSM твоего банка вместе с копией магнитной полосы, на которой он же, но шифрованный на другом ключе. Если ключи настроены верно, то HSM знает ключ, на котором он шифровал пинблок на магнитной полосе и канальный ключ, на котором зашифрован пинблок, прилетевший от банкомата. Осталось расшифровать два пинблока и сравнить пины.

Все перешифровки и конечное сравнение происходят аппаратно внутри железных HSM, у которых пакетик с десятью граммами взрывчатки с детонатором укреплен на чипе с ключами. Это не шутка. Если происходит несанкционированное вскрытие HSM, то соответственно... Как видишь, все очень не гибко.

gns ★★★★★
()

Под какой лицензией распространяется?

easybreezy
()
Ответ на: комментарий от vasya_pupkin

Там на картинках фс не указаны, в описании только есть что фря на zfs.

easybreezy
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.