Как выделить много памяти?

X512 фига там у вас в вантузе костыли, оправдывайся

malloc выделит любой запрошенный объём, лишь бы хватило адресного пространства процесса. mmap то сисколл, его malloc иногда использует внутри себя для разных целей.

Можно ли выделить много памяти (скажем, блок на 100мб ) через malloc?

100мб – это немного. Если ты никаких странных манипуляций не планируешь, то дёргай malloc() и не парься. Если планируешь, например, делать ползучее выделение/освобождение с сохранением выделенного блока, как это делают некоторые GC, придётся с mmap() запариться.

Планирую делать mem pool , т.е. выделить огромный объем и выделять в нем самостоятельно куски свободной / занятой памяти.

Если оно надо все время существования процесса, то сделай большой неинициализированный массив и пользуйся

Если твой mem pool гарантированно влезает в оперативку и ты не планируешь проблем с этим, malloc() – твой выбор.

нельзя там выделить скажем 100 мегабайт

С чего бы это? Вот я спокойно выделил 50GB через HeapAlloc() из дефолтного хипа:

    HANDLE hHeap = GetProcessHeap();
    LPVOID buf = HeapAlloc(hHeap, 0, (SIZE_T) 50 * 1024 * 1024 * 1024);

    if (buf == NULL) {
        std::cout << "Error allocating from heap\n";
    }

Аналог VirtualAlloc в linux будет mmap. Ограничение те-же: размер выделяемого блока кратен размеру страницы. Выделение памяти через эти функции выгодно тем, что при освобождении память сразу доступна для других программ. Недостаток - это всегда системный вызов, может быть медленнее malloc\new для небольших блоков.

malloc сам по себе является аллокатором для набора пулов разных размеров.