Опеределить кодировку файла и перекодировать в UTF-8

Перекодировать по частям, правда у utf8 плавающая длина символа в байтах, потому придётся это учитывать.

Может быть есть готовая утилита для перекодирования

В смысле у входной кодировки так может быть тоже.

http://php.net/manual/ru/function.mb-convert-encoding.php

Ну и от file_get_contents избавься что бы по памяти не падать.

Как я от него избавлюсь если вы предлагает ф-цию которая в качестве первого же аргумента требует всю строку. Надо ф-цию которая берёт путь к файлу или хотя бы дескриптор от fopen или утилиту типа `convert in.file out.file`.

Считай одну строку и передай её ну и в цикл, в чем проблема?

Ну вот что-нибудь типо такого совсем не судьба накарябать (не проверял код, писал на память, но основная идея передана):

$out_file = new SplFileObject('my_output_file.txt', 'w');
$file = new SplFileObject('my_input_file.txt');

if(!$file->eof()) {
    $line = $file->current();
    if (!mb_check_encoding($line, "UTF-8")) {
        $converted_line = mb_convert_encoding($line, "UTF-8");
        $out_file->fwrite($converted_line);
        $file->next();
        while (!$file->eof()) {
            $converted_line = mb_convert_encoding($file->current(), "UTF-8");
            $out_file->fwrite($converted_line);
            $file->next();
        }
    }
}

sudo apt install enca

iconv

enca -c