Ну, стоит начать в конца. По пункту 4:
Там не должно быть не 50 Ом, а больше... Это видно из размера самого полоска. Он уже, чем основной.
Точно настроит резистор можно, подключив хороший эквивалент к выходу. Нужно добиться нулевых показаний напряжения на детекторе обратной волны. Потом меняем местами вход и выход КСВ-метра, и добиванмся нулевых показаний на датчике прямой волны.
Если это не удается, то скорее всего основная линия не 50 Ом. (пункт 1 под вопросом), или ошибка в подключении (разводке) земли (под вопрос пункт 2).
Не исключен вариант и пункт 3: после точки соединения диода и конденсатора (того, что на землю), нужно поставить сразу дроссель на ВЧ феррите. На крайняк (если чувствительность головки позволяет) резистор 1...2 кОм. Иначе (уже попал) чуток ВЧ-напряжения будет наводиться на проводе, идущем от детектора, где будет мешать работе этого самого детектора.
NanoVNA с хорошим эквивалентом видят все на раз.
Чудес не бывает, это фигня какая то случается постоянно :-)