Парсинг LinkedIn

Ну во-первых нефиг рекламировать запрещенный в россии сайт
Во-вторых зачем вы делаете это через *опу? Есть нормальное API: https://developer.linkedin.com/docs/guide/v2/people/profile-api

спамерский кстати сайт - мне пока не написал в саппорт что хочу удалить аккаунт вечно спам рассылал

полагаю в паи будет такое-же ограничение (кстати вконтакте такая же проблема), как и например нельзя загрузить больше (кажется, 800) своих фотографий из Инстаграмм и так далее, то-есть современные реалии. так что увы и ха, прийдется воспользоваться уточнением условий да и то не гарантирует что все профили можно будет вытащить (А вообще думаю тысячи вполне достаточно ну)

Разбивать поиск на отдельный подпоиск(к примеру по городу, компании и т.д)

ну так разбивай по алфавиту, например, firstName.startsWith и все такое. или по другому признаку с более равномерным распределением.

Я еще не видел ни одного случая, когда кто-то парсит сайт с социальными профилями для благих целей - только спам, только рассылка, только продажа базы.

я парсил hh когда искал верстальщика, удобнее чем ручками поиск ковырять)) хотя тащемто да, таже «расслыка» только я обзванивал

Зато полезный — я на нём таки нашёл работу для свала.

Проблема в том, что это позволяет просмотреть только страницы тех, чьи id тебе известны. Мне же наоборот нужно узнать id по поиску.

Ну во-первых нефиг рекламировать запрещенный в россии сайт

Во-первых, нефиг запрещать сайты.