Борис Андреевич, отец будущего министра, начал службу в лесном департаменте, но, очевидно под воздействием боевого порыва, охватившего русское дворянство во время противостояния с наполеоновской Францией, перевёлся в армию. В 1814 году он стал прапорщиком Козловского пехотного полка и успел повоевать в Европе с французами и их союзниками.
К началу 1814 года положение на фронте коренным образом изменилось в пользу антифранцузских сил. Не только вчерашние союзники, но и многие соратники Наполеона искали удобного случая, чтобы переметнутся на сторону коалиции.
Однако, несмотря на численный перевес союзников, французские части оказывали упорное сопротивление. Опытным наполеоновским генералам даже удалось выиграть несколько сражений. Но в битве при Бар-сюр-Обе лучшие французские части были разбиты. После чего союзники начали общее наступление на Париж.
Оборонявший французскую столицу маршал Огюст Мармон (1774 – 1852), не решился вступить в сражение и отвёл свои войска к югу от Парижа, а после и вовсе сдался.
Союзники 30 марта 1814 года заняли французскую столицу, а 6 апреля Наполеон Бонапарт отрёкся от престола. Французская империя, перед которой трепетали почти все европейские монархи, пала. Во Франции была реставрирована власть королевской династии Бурбонов. Эпоха «наполеоновских войн» закончилась.
Однако спокойная служба для барона Бориса Фредерикса была не долгой. В 1827 году он принял участие в русско-персидской войне и в войне с турками в 1828 – 1829 годов, командуя Эриванским карабинерским полком. После он участвовал в подавлении польского восстания 1831 года, будучи в должности начальника 1-й бригады 15-й пехотной дивизии.
За боевые подвиги 16 ноября 1828 года барон Б.А. Фредерикс был награждён орденом Святого Георгия 4-й степени за № 4180, и в 1829 году двумя золотыми шпагами с надписью «За храбрость», из которых вторая была украшена алмазами. В 1858 году барон был произведён в генерал-лейтенанты.
После Борис Андреевич состоял на придворной службе. С 1861 года он был товарищем, то есть заместителем, главноуправляющего IV отделением Собственной Его Величества канцелярии и исправлял эту должность до конца жизни. В 1864 году был пожалован придворным военным званием генерал-адъютанта.
IV отделение Императорской канцелярии было создано в 1828 году на основе благотворительного ведомства покойной императрицы Марии Фёдоровны, супруги императора Николая I, и занималось вопросами благотворительности, обучения благородных девиц, устройством сиротских приютов и обустройством общественных больниц.
Новая должность позволила Борису Фредериксу войти в избранный круг чиновников, тесно связанных с императорской фамилией и обзавестись определёнными связями в придворной среде.
Братья Бориса Андреевича Фредерикса так же выбрали военную службу и сделали карьеру, выслужив генеральские чины.
Барон Александр Андреевич (1778 – 1849), в 1843 году дослужился до чина генерал-лейтенанта. Барон Пётр Андреевич (1786 – 1855) был генерал-майором и в 1819 – 1826 годах командовал лейб-гвардии Московским полком, а после, перейдя на статскую службу, дослужился до чина действительного тайного советника и имел придворное звание обер-шталмейстера, руководя придворной конюшенной конторой. Генерал-майором был, и младший из братьев барон Фёдор Андреевич (1789 – 1833).
Их отец барон Андрей Иванович Фредерикс (1760 – 1843) добился высокого положения, имея могущественного покровителя. Он был адъютантом всесильного светлейшего князя Григория Александровича Потёмкина-Таврического (1739 – 1791), фаворита императрицы Екатерины II, что в немалой степени способствовало успешной службе его сыновей.
Несмотря на то, что Владимир Борисович родился в семье кадрового военного, родители не спешили приобщать сына к военной службе. В отличие от многих молодых дворянских отпрысков, поступавших в кадетские корпуса, будущий министр получил домашнее образование. Родители его жалели, не желая обременять тягостями кадетской жизни, к тому же они имели материальные возможности оплачивать его образование на дому.