Єпископ Каспер Боровський народився 6 січня 1802 року в Поліновщизні Вітебської губернії Російської імперії. Навчався у домініканських школах в Друї та Забялах,
у єзуїтській школі в Ужвалді, а після ліквідації її царською владою до 1824 року - у школі місіонерів-лазаристів в Ілкушті Курляндської губернії.
Навчався також у 1824-1827 роках у Вищому учбовому закладі піярів у Плоцьку, після чого у віці 25 років вступив до Головної Духовної семінарії у Вільнюсі,
яку закінчив 1831 року. 4 квітня 1831 року у Вільнюській катедрі отримав священничі свячення з рук єпископа-помічника Вільнюського Андрія Клагевича.
Спочатку служив вікарієм в парафії Жежиця, а від 19 грудня 1832 року - настоятелем парафії св. Йосифа в Йосифсталі (нині - Йосипівка Одеської
області). З 1835 року почав працювати викладачем у новоутвореній Вільнюській Духовній академії, яку 1842 року перенесли до Санкт-Петербурга. У 1845
році посів становище духовного отця академії, а 1846 року був піднесений до гідності греміального каноніка Могильовського митрополичого капітулу.
3 липня 1848 року призначений Святішим Отцем Пієм ІХ Луцько-Житомирським єпископом-ординарієм. 17 грудня цього ж року висвячений на єпископа консекраторами
єпископами Антонієм Мельхіором Фіалковським, Йосифом Йоахимом Голдманом та Ігнатієм Головінським, ймовірно, у Санкт-Петербурзі. 27 лютого 1849 року відбувся інгрес
до Житомирської катедри св. Софії. Розвинув енергійну пастирську і адміністративну діяльності, збільшив Духовну семінарію у Житомирі, дбав про
відновлення і будівництво костелів, часто відвідував парафії, видав ряд пастирських послань, опублікував також власні переклади послань Отців Церкви. Після ліквідації
Кам'янецької дієцезії 3 травня 1867 року був призначений Папою її Апостольським адміністратором.
Тривалий час зберігав добрі стосунки із царською владою (отримав навіть
кілька державних нагород), проте внаслідок протистояння спробам русифікації католицьких богослужінь у липні 1869 року був вивезений до Пермі. Тут з часом йому дозволили
душпастирство у місцевій парафії. Завдяки його зусиллям були збудовані новий храм, який він же і консекрував, та парафіяльний будинок. Звільнили із заслання лише через
тринадцять років, у травні 1882 року, проте повернутися до своєї дієцезії не дозволили, тому виїхав до Полоцька. Тут 15 березня 1883 року отримав призначенння Плоцьким
єпископом-ординарієм, 13 травня цього ж року відбувся інгрес до Плоцької катедри. Але урядував не довго, помер 15 січня 1885 року, похоронений у місцевій катедрі.
