На корпусе же должен быть GND?

Необязательно, корпус может быть изолирован от GND.

Как тогда…

В дырку ставят изолирующую втулку, в которой крепят антенну.

это ты сам ответь должна ли оплетка антенного кабеля быть соединена с корпусом или нет

Антенны разные бывают

Есть антенны, которые являются куском провода — к одному концу подключается сигнальный вывод, к другому — GND/земля. Соответственно при проверке, например, тестером будет видно короткое замыкание.
Или, та же антенна Харченко для цифрового ТВ — по сути это металлическое кольцо, изогнутое заданным способом, к определённым точкам которого подпаяны выводы коаксиального кабеля. То же будет КЗ на корпус...

Вроде так не должно быть? На корпусе же должен быть GND?

Должно. И на корпусе земля. Для несимметричного питания несимметричной антенны это нормально.

Я проверял при отвинченой антенне

В дырку ставят изолирующую втулку, в которой крепят антенну.

Сходу нашёл только такие: https://www.chipdip.ru/catalog-show/insulating-bushes Но не похоже, чтобы они изолировали rp-sma, у таких внутренний диаметр должен был бы быть 6 мм, и корпус они должны были бы изолировать с двух сторон (внутренней и внешней). Интересно другое: если изолирующая втулка необходиная вещь для крепления антенны, я ожидал бы, что они будут продаваться повсюду, и что было бы куча тех же кабелей pigtail-sma, которые уже в своей конструкции будут содержать что-то изолирующее. А их нету.

Или я чего-то крупно не понимаю, или одно из двух.

если изолирующая втулка необходиная вещь для крепления антенны

Не обязательно необходимая, например, иногда китайцы крепят антенну на плате, а от корпуса изолируют зазором с термоусадочной трубкой, также вместо втулки применяют изолирующие шайбы, кольца, трубки, …

что они будут продаваться повсюду

Мелочёвкой торговать невыгодно. Глянь в каталогах типа ©.

Что у тебя за антенна? Какая у тебя линия передачи? Неужели симметричная? Или коаксиал? Для коаксиала замыкание на землю нормально. Для симметричной линии надо разъём на 2 контакта.