Первоначально храм планировали воздвигнуть на руинах Херсонеса, античного города. Но Михаил Лазарев (адмирал, вместе с Фаддеем Беллинсгаузеном, открывший Антарктиду) и бывший в ту пору губернатором, не согласился с выбором места и получил от императора разрешение строить храм на Центральном холме. Мотивация была проста.

В Севастополе не хватало церквей, приморский город должен был иметь свой собор. В Херсонесе все же возвели собор, и он тоже Владимирский. Но сделано это было позже (строили с 1861 года по 1892), приурочив к 900-летию крещения Руси. Строили храм всем миром начиная с 1848 года. Подписки, добровольные пожертвования, кое-какая помощь от казны подвигали дело довольно медленно. Вдобавок скончался М. П. Лазарев, зачинатель и ревнитель всего дела. Захоронить адмирала решили в нижней части собора, построив склеп и положив тем самым начало возникновению усыпальницы.Начавшаяся в 1853 году Крымская война остановила строительство. К этому времени была готова только цокольная часть. За время Первой обороны Севастополя погибло еще три адмирала: В. А. Корнилов, В. И. Истомин и П. С. Нахимов. Их останки похоронили рядом с Лазаревым. Из истории православного креста  Работы продолжились только в 1858 году. Руководство над ними взял архитектор А. Авдеев, изменивший проект. Первым освятили нижний храм в 1881 году. Закончили строительство полностью в 1888 году и тогда же освятили верхний храм. Место упокоения адмиралов отмечено надгробием из черного мрамора в виде огромного креста. Государству нужно было как-то воздать почести всем павшим в той войне. Император Александр III нашел блестящий выход. Он повелел установить в Верхней церкви мраморные доски с именами и фамилиями адмиралов и высших офицеров-моряков, которые были убиты или скончались от ранений во время войны 1853–1856 годов, а равно и для Георгиевских кавалеров, сражавшихся тогда, но умерших в мирное время. Последующие после революции годы ничего хорошего собору не принесли. Отняли его у верующих в 1932 году и передали в Осоавиахим, устроивший там мастерские и склады. Склепы были разбиты, прах раскидан и устроена свалка. Во времена Великой Отечественной служил то госпиталем, то постом для артиллерийских корректировщиков. Храм войну пережил, но был сильно поврежден. Лишь чудо спасло его от полного разрушения. Первая реставрация собора случилась в 1967 году, а в 1973 его передали в ведение Музея героической обороны и освобождения Севастополя. В начале 90-х годов XX века, когда поругание святынь перестало быть честью, нашлись неравнодушные люди из гражданских и моряков, для которых память о славном прошлом не просто слова. Они нашли костные останки в разрушенных склепах среди груд мусора. Общественность была сильно смущена этим фактом. В 1991 собор был освящен, а в 1992 прах адмиралов вернулся на место упокоения, восстановлено надгробие. Но только в 2011 году собор дождался начала работ по полной реставрации. Были изготовлены и установлены на прежние место памятные доски с именами героев и надгробия упокоенных здесь адмиралов. Для звонницы отлиты новые колокола.