Почему не ставил ADF4350? Дороже и никаких преимуществ.
Эти микросхемы реально покупать по 1$ ГУН внутри, - PLL получается по 3 рубля ведро
Единственно что нужен удвоитель. Удвоитель у вас на чем сделан? Преимущество PLL с отдельным VCO лишь одно, - если найти VCO c низким потреблением. Но по цене в любом случае дешевле ADF4350 не получится. Вы ведь за бюджетный трансвертер?! С MAX2871 дело хуже, - дешевле 10$ их пока не купить.
Теперь по фильтру. RO4003C Rogers высылает бесплатно всем желающим

МПЛ фильтр давно отработан нами и не требует вообще никакой подстройки (даже одного винта).
Успехов в доводке новой версии трансвертера! Главное желание у новых корреспондентов есть повторять, или приобретать
p.s Кстати VCO который вы нашли хорош по фазовому шуму (-92dBc/Hz 10 kHz на 5300 MHz). Но я не нашел производителя и нормальный даташит. А вы поставили на плату нонейм VCO
