Сообщения Karpov680

Поиск подстрок в большом txt

Всем Привет, есть такая задача

Есть txt файл со списком ключей (файл большой 15гб) Пример ключей:

lU0Hf5FAJQHGkVtou5pJBC4m0gox6sY5pD849lPy7393
xCbfzr49Dg4x5uCPeX4j653V8XA1cD89U2HJXo9nbjX
91aJCb1fVb19x7N48gC0bDw7L7fzPgi8M9x3pwBYMiKCR
jIRy4351liQ3Za74zxD0oK8EtKceGHD81Hul1Iw
248S4vjJ3U0GSS8Fe6fpt9l8HQdoZ7kSxTcJ
Y40x424EG6deZr5IFj6U5v9o82el1fv1bCGCKmefCc6NUQ
LF3tIXsr3b6xX2K584E1jbWHRi5F8adWez0v1
Km17La72y2mUgKTofdvByNWoO95W1iN3VUIvdI0x88i64
sLx7AG4vxrmA794JRD5Z97NoW10yyzM0STj5tm
mLImTo671xBS8ixYtKWOdjO9M82UKwjl8l93813f3uW
EBGxtgv2OxyE853c9t1LoZsE68pdN9r58iC5GHxXOPxe8OY808
VQwelUuhS0o0a6AF4y3raKm17LaLgkO4wjN99U7MuX53B

И есть txt файл со списком подстрок которые нужно искать в большом файле

Пример подстроки: Km17La

В результате найденные подстроки сохраняем в txt

Km17La72y2mUgKTofdvByNWoO95W1iN3VUIvdI0x88i64
VQwelUuhS0o0a6AF4y3raKm17LaLgkO4wjN99U7MuX53B

каким софтом такое можно решить? озу если что 64 гб

поиск

Karpov680
(15.03.19 18:01:41 MSK)

9 комментариев

Как максимально быстро проверить txt на дубли

Всем доброго времени суток! Есть 2 txt файла, нужно проверить строки на дубли первого файла во втором и сохранить результат в отдельном txt без дублей.

Интересует утилита которая бы максимально быстро справлялась с такой задачей так как размеры файлов по 20-50 гб

Сортировка результата не важна

Пример файлов:

1.txt:

qwerty
12345
asdfgh
zxcvbn

2.txt:

asdfgh
zxcvbn

должен выйти результат: result.txt:

qwerty
12345

дубликаты

Karpov680
(26.01.17 03:31:57 MSK)

7 комментариев

Bind9 master работает slave не работает

Всем доброго времени суток!

Проблема такая, при запуске slave сервера в логах такая ошибка

transfer of 'suka.pw/IN' from 109.248.32.117#53: failed to connect: host unreachable
transfer of 'suka.pw/IN' from 109.248.32.117#53: Transfer

Master сервер запускается норм без ошибок

named-checkzone и named-checkconf говорят все ок, порт 53 на обоих серверах открыт

конфиг named.conf на master


options {
        listen-on port 53 { 127.0.0.1; 109.248.32.117; };
        listen-on-v6 port 53 { ::1; };
        directory       "/var/named";
        dump-file       "/var/named/data/cache_dump.db";
        statistics-file "/var/named/data/named_stats.txt";
        memstatistics-file "/var/named/data/named_mem_stats.txt";
        allow-query     { any; };
        allow-transfer { localhost; 81.177.157.104; };
        recursion no;

        dnssec-enable yes;
        dnssec-validation yes;

        /* Path to ISC DLV key */
        bindkeys-file "/etc/named.iscdlv.key";

        managed-keys-directory "/var/named/dynamic";
};

logging {
        channel default_debug {
                file "data/named.run";
                severity dynamic;
        };
};

zone "." IN {
        type hint;
        file "named.ca";
};

zone "suka.pw" IN {
        type master;
        file "suka.pw.zone";
};

include "/etc/named.rfc1912.zones";
include "/etc/named.root.key";

конфиг зоны на master


$TTL 86400
@           IN      SOA     ns1.suka.pw. root.suka.pw. (
                                                                2017010902 ; Serial
                                                                28800 ; Refresh
                                                                7200 ; Retry
                                                                604800 ; Expire
                                                                86400 ; ttl
                                                                )
           IN      NS      ns1.suka.pw.
           IN      NS      ns2.suka.pw.
                   IN      MX      10      mail.suka.pw.
@               IN      A       109.248.32.117
www             IN      A       109.248.32.117
mail            IN      A       109.248.32.117
ns1             IN      A       109.248.32.117
ns2             IN      A       81.177.157.104

На slave сервере изменил в конфиге named.conf только


zone "suka.pw" IN {
        type slave;
        file "suka.pw.zone";
        masters { 109.248.32.117; };
};



вместо

zone "suka.pw" IN {
        type master;
        file "suka.pw.zone";
};

Файл зоны на slave сервере не создавал так как должен сам из мастера братся

bind9

Karpov680
(03.01.17 17:57:23 MSK)

5 комментариев

Bind 9 установка Помогите

Всех С новым годом!

В общем никак не могу настроить свой DNS сервер для домена sanki.pw, мучаюсь уже 2 дня перечитал все статьи но нечего не получается. Для поднятия DNS сервера использую Bind9.

Купил 2 VPS сервера с Centos 7

1 vps у него IP:109.248.32.117 использую его для MASTER

2 vps у него IP:81.177.157.104 использую его для SLAVE

При регистрация домена указал:

Имя ДНС-сервера:

ns1.sanki.pw

ns2.sanki.pw

IP ДНС-сервера

109.248.32.117

81.177.157.104

Настроил конфиги на MASTER сервере

Файл name.conf :

options 
{
        directory       "/var/named";
		dump-file       "/var/named/data/cache_dump.db";
        statistics-file "/var/named/data/named_stats.txt";
        memstatistics-file "/var/named/data/named_mem_stats.txt";
        version "suka in";
		listen-on { localhost; 109.248.32.117; };
		allow-transfer { 81.177.157.104; };
		allow-query     { trusted-networks; };
		allow-recursion		{ trusted-networks; };
        forwarders		{ 8.8.8.8; 8.8.4.4; };
};

logging 
{
        channel default_ch {
                file "data/named-base.log";
                severity info;
				print-time yes;
				print-category yes;
        };
        channel security_ch {
                file "data/named-security.log";
                severity info;
				print-time yes;
				print-category yes;
        };
category default { default_ch; };
category security { security_ch; };

};

acl "trusted-networks" { any; };

zone "sanki.pw" IN {
        type master;
        file "sanki.pw";
};

zone "248.109.in-addr.arpa" {
        type master;
        file "248.109.rev";
};

include "/etc/named.rfc1912.zones";

Файл sanki.pw

@               IN      SOA     ns1.sanki.pw. support.sanki.pw. (
								
1 ; Serial
								28800 ; Refresh
								7200 ; Retry
								604800 ; Expire
								86400 ; ttl
								)
           IN      NS      ns1.sanki.pw.
           IN      NS      ns2.sanki.pw.
		   IN      MX      10      mail.sanki.pw.
@               IN      A       109.248.32.117
www             IN      A   	109.248.32.117
mail            IN      A       109.248.32.117
ns1             IN      A       109.248.32.117
ns2             IN      A       81.177.157.104

Файл 248.109.rev :

@               IN      SOA     ns1.sanki.pw. support.sanki.pw. (
								
1 ; Serial
								28800 ; Refresh
								7200 ; Retry
								604800 ; Expire
								86400 ; ttl
								)
           IN      NS      ns1.sanki.pw.
           IN      NS      ns2.sanki.pw.
248.109		IN      PTR    sanki.pw.

После настройки этих конфигов, запускаю сервер командой: systemctl start named.service Ошибок никаких не выдает, просто пустая строка

После этого хочу проверить командой: dig @109.248.32.117 sanki.pw

И ошибка: ; (1 server found) ;; global options: +cmd ;; connection timed out; no servers could be reached [root@kzk-73 sbin]# systemctl start named.service [root@kzk-73 sbin]#

Что сделал не так? Помогите пожалуйста

bind9