Попробуйте поставить развязку в виде аттенюатора. Между смесителем и нагрузкой. Чем больше, тем лучше, но несколько dB как минимум. В Марки Майкровейв на подобных вещах собаку уже съели и много об этом говорили. Лично я сталкивался с тем, что отражения нагрузки вне полосы искажают амплитудную и/или фазовую (ГВЗ) характеристику тракта, что важно для широкополосных сигналов. Но пишут, что влияет и на интермодуляцию.
Мини Секетс теперь даже безотражательные фильтры разрабатывает и выпускает. Точнее, работал над ними человек, который занимался оборудованием для радиотелескопов Евент Горайзон. Тех, что сфотографировали черную дыру три года назад, а год назад опубликовали результаты, которые тянут на Нобелевку.
