Можно ли как-то замаскировать 3proxy?

Купи нормальный VPS и не парь мозг.

переименовать ?

Валить от такого хостера, быстро, решительно.

Как они его обнаружили? Лазили ко мне на впс?

Разьве с OVZ админу сервера не достаточно сделать просто # ps ax | grep 3proxy, что бы обнаружить этот процесс? Я правда не учерен на счет в OVZ

А хостер идиот и трафик не детектит? Глупо это, если товар говно — не надо его покупать. А говно-впс — это говно-впс. Вы же не покупаете дерьмовую еду?

Если еще жив HTTPS CONNECT модуль для nginx, настройте его в режиме forward proxy и VPS будет думать что это веб-сервер, если они конечно не снифают сам трафик.

Юзай ssh туннель.

Тут есть два варианта - искали какие-то другие процессы, и случайно взгляд зацепился за запрещённый 3proxy в дереве процессов, или заметили аномальное соотношение траффика у вашего контейнера. Если соотношение входящего и исходящего траффика на вашем хосте не совсем типичное для VPS, то возникает вопрос что на хосте запущено, обычно это вирусня(брутящая чужие админки, ssh или рассылающая спам), OpenVPN и/или 3proxy. Любой админ заинтересуется пободной аномальной сетевой активностью и начнёт копать, что там у вас вертится на контейнере.

Не поверите, но даже скомпилированный ручную 3proxy, который в списке процессов выдаёт себя за другое ПО(в том числе переименнованный с 3proxy в nginx и httpd) легко находится с помощью ss/netstat, lsof и readelf. Хотя последний админу, который будет искать 3proxy, скорее всего, не понадобится. Обычно в договоре с хостером и так указано, какое ПО считается не желательным на той или иной услуги, и там где есть 3proxy, рядом упоминаются и другие прокси-серверы, а понять что ПО является прокси-сервером не так уж сложно, просто понаблюдав за создаваемым им траффиком.

Не рекомендую пытаться прятать 3proxy, просто вместо услуги на OpenVZ(все процессы которой видны админу с хостноды) возьмите VPS-ку на KVM/XEN, на которой условия договора не будут запрещать устанавливать подобное ПО. И обратите внимание на договор-оферту хостинг-провайдера, не все хостеры разрешают запускать подобное ПО даже на XEN/KVM(но обнаружить его на VPS с данным типом виртуализации труднее).

Верно, с OVZ админу достаточно грепануть список процессов на хост-ноде.