как rust захватывает ссылки

Вообще-то ты «передаёшь по значению» Box, то есть перемещаешь его. Соответственно g вообще не отвечает за освобождение памяти. И ссылок тут нет.

При вызове f(x) забирает владение x себе. g за него больше не отвечает, можно считать, что x после вызова f(x) не определена.

Внутри f если выполнение пошло в первую ветку, x возвращается и владеть им будет тот, кто вызывал f. Т.е. владельцем станет на какой-то момент g, но она сразу же вернёт это значение в main и владельцем 20-ки станет main. После выхода из main это значение удалится.

Если выполнение пошло во вторую ветку, то возвращается новое значение 10. При этом f владеет переменной x и, соответственно, удаляет её. Дальше всё происходит как в первом варианте и в конце концов main удалит 10.

Псевдокод-аналог на C:

int *f(int* x) {
  if some_random_value {
    return x;
  } else {
    free(x);
    return malloc_int(10);
  }
}

int *g(void) {
  int *x = malloc_int(20);
  return f(x);
}

void main(void) {
  int *a = g();
  free(a);
}

Хватит совать return во все места, это же не си.

Для Box реализован Drop. Для того, чтобы лучше понять, как работает отслеживание принадлежности, можно реализовать Drop для своей структуры и поэкспериментировать, как показано здесь и здесь.

всем спасибо за ответы!