Єпископ Каспер Боровський народився 6 січня 1802 року в Поліновщизні Вітебської губернії Російської імперії. Навчався у домініканських школах в Друї та Забялах, у єзуїтській школі в Ужвалді, а після ліквідації її царською владою до 1824 року - у школі місіонерів-лазаристів в Ілкушті Курляндської губернії. Навчався також у 1824-1827 роках у Вищому учбовому закладі піярів у Плоцьку, після чого у віці 25 років вступив до Головної Духовної семінарії у Вільнюсі, яку закінчив 1831 року. 4 квітня 1831 року у Вільнюській катедрі отримав священничі свячення з рук єпископа-помічника Вільнюського Андрія Клагевича.

Спочатку служив вікарієм в парафії Жежиця, а від 19 грудня 1832 року - настоятелем парафії св. Йосифа в Йосифсталі (нині - Йосипівка Одеської області). З 1835 року почав працювати викладачем у новоутвореній Вільнюській Духовній академії, яку 1842 року перенесли до Санкт-Петербурга. У 1845 році посів становище духовного отця академії, а 1846 року був піднесений до гідності греміального каноніка Могильовського митрополичого капітулу.

3 липня 1848 року призначений Святішим Отцем Пієм ІХ Луцько-Житомирським єпископом-ординарієм. 17 грудня цього ж року висвячений на єпископа консекраторами єпископами Антонієм Мельхіором Фіалковським, Йосифом Йоахимом Голдманом та Ігнатієм Головінським, ймовірно, у Санкт-Петербурзі. 27 лютого 1849 року відбувся інгрес до Житомирської катедри св. Софії. Розвинув енергійну пастирську і адміністративну діяльності, збільшив Духовну семінарію у Житомирі, дбав про відновлення і будівництво костелів, часто відвідував парафії, видав ряд пастирських послань, опублікував також власні переклади послань Отців Церкви. Після ліквідації Кам'янецької дієцезії 3 травня 1867 року був призначений Папою її Апостольським адміністратором.

Тривалий час зберігав добрі стосунки із царською владою (отримав навіть кілька державних нагород), проте внаслідок протистояння спробам русифікації католицьких богослужінь у липні 1869 року був вивезений до Пермі. Тут з часом йому дозволили душпастирство у місцевій парафії. Завдяки його зусиллям були збудовані новий храм, який він же і консекрував, та парафіяльний будинок. Звільнили із заслання лише через тринадцять років, у травні 1882 року, проте повернутися до своєї дієцезії не дозволили, тому виїхав до Полоцька. Тут 15 березня 1883 року отримав призначенння Плоцьким єпископом-ординарієм, 13 травня цього ж року відбувся інгрес до Плоцької катедри. Але урядував не довго, помер 15 січня 1885 року, похоронений у місцевій катедрі.