Миграция БД oracle -> postgres, best practices

http://wiki.postgresql.org/wiki/Oracle_to_Postgres_Conversion

там написано про синтаксис скриптов и stored procedures. Для случая, когда нужно смигрировать SQL-запросы. Там много еще на сайте чего про это понаписано.

У меня - другой случай. Есть готовая развёрнутая БД. Нужно перенести схемы с данными. Автоматически.

(Т.е. вывести DDL и ручками смигрировать - не подходит, там многие сотни таблиц. Да и записи с помощью тупого вывода в SQL мигрировать некошерно - объем данных в сотнях гигабайт, чтобы где-то сохранить SQL-дамп придется покупать рейд и двадцать килограммов жестких дисков).

на сколько хищная там схема?

чем не подходит для создания схемы ora2pg?

данные не обязательно дампить, можно в простом скрипте с одной селектить в другую инсертить. Если время позволяет.

Сдаётся мне, что кому-то тут светит работа по рассматриванию под микроскопом каждого типа, триггера, процедуры и тыпы. Повезет если соответствующие сущности будут. Вообщем, удачи.

чем не подходит для создания схемы ora2pg?

заказчик хочет, чтобы я написал это с нуля, без привлечения внешних тулзов =)

в принципе, да, хороший совет. В ora2pg перл, но перл с комментариями, в котором можно разобраться с десятью тоннами самогона.

а еще какие-нибудь хорошие тулзы кроме ora2pg есть? .NET, Java, Python?

можно в простом скрипте с одной селектить в другую инсертить

говорят, в оракуле есть некие датастримы, но я пока не асилил как их прикрутить для наших целей :(

на сколько хищная там схема?

денормализованная каша, сгенерированная генераторами кода. И хотя там по идее не должно быть ничего агрессивного, черт знает, какой логикой пользовался генератор и его автор. Исходники генератора есть, но тут количество самогона уже измеряется килотоннами, потому что он написан на M2.

Java,

у господ из интерпрайздб есть некий MigrationToolkit написан на java. разобрать и посмотреть как реализовано, думаю разберёшься.

в общем случае тулзовина должна иметь сдел вид.

берём из ALL_TAB_COLUMNS имя поля, тип поля, размер поля, null не null, меняем типы в соответствии ORACLE-PG,формируем create table.

из dba_constraints берём constraints и формируем alter table примерно по таким правилам

if (constraint.getType() == 'P') {
      sql = sql + "ALTER TABLE " + constTableName + " ADD CONSTRAINT " + constraint.getName(true) + " PRIMARY KEY (";

      for (int i = 0; i < constraint.getColumns().size(); i++) {
        sql = sql + constraint.getColumns().get(i).getName();
        if (i < constraint.getColumns().size() - 1)
          sql = sql + ", ";
      }
      sql = sql + ");\n";
    }

    if (constraint.getType() == 'U') {
      sql = sql + "ALTER TABLE " + constTableName + " ADD CONSTRAINT " + constraint.getName(true) + " UNIQUE (";

      for (int i = 0; i < constraint.getColumns().size(); i++) {
        sql = sql + constraint.getColumns().get(i).getName();
        if (i < constraint.getColumns().size() - 1)
          sql = sql + ", ";
      }
      sql = sql + ");\n";
    }

    if (constraint.getType() == 'C')
    {
      if (!constraint.getSearchCondition().endsWith("IS NOT NULL")) {
        sql = sql + "ALTER TABLE " + constTableName + " ADD CONSTRAINT " + constraint.getName(true) + " CHECK (" + constraint.getSearchCondition();

        sql = sql + ");\n";
      }
    }

    if (constraint.getType() == 'R') {
      sql = sql + "ALTER TABLE " + constTableName + " ADD CONSTRAINT " + constraint.getName(true) + " FOREIGN KEY (";

      for (int i = 0; i < constraint.getColumns().size(); i++) {
        sql = sql + constraint.getColumns().get(i).getName();
        if (i < constraint.getColumns().size() - 1)
          sql = sql + ", ";
      }
      sql = sql + ") REFERENCES " + constraint.getRefIntegritySchemaQualifiedTableName() + " (";
      for (int i = 0; i < constraint.getRefIntegrityColumns().size(); i++) {
        sql = sql + constraint.getRefIntegrityColumns().get(i).getName();
        if (i < constraint.getRefIntegrityColumns().size() - 1)
          sql = sql + ", ";
      }
      sql = sql + ") MATCH FULL ON DELETE " + constraint.getDeleteRule() + ";\n";
    }

А нельзя сгенерировать DDL и пройтись по нему регекспами?

можно конечно. код не мой...

Просто интересно, что будет быстрее работать. Когда делал для себя примитивную выгрузку объектов БД, отказался от dbms_metadata.get_ddl, т.к. работало слишком долго. Но тут ведь помимо выгрузки еще и логика по обработке результата.

мегамозг. спасибо.

DBMS_METADATA используется Data Pump-ом и прочими оракловскими тулзами для использования полученных данных самим oracle. а для всяких самодельных приблуд типа oracle2other_db лучше использовать таблици из системного каталога. мне так думается.

нз, если напишешь - выкладывай, может пригодится ещё кому.

Особенно интересен перенос структуры схем, foreign keys, etc

Чувак, перенос «схем, foreign keys, etc» должен быть однократным :-)

Почему? :)

Потому. В нашей реальности нередки ситуации, когда некоторые констрейнты например можно включать не ранше и не позже чем сделаны определенные изменения в данных