На что нагружаете передатчик? ALC показания от ксв антенны зависят тоже, попробуйте на активной нагрузке 50 Ом при тех же остальных установках.
И правильно сказали, посмотреть показания ФМ на КВ диапазонах, там же другой выходной каскад, чтобы хоть что-то понятно было, куда дальше копать...