Генеральный штаб был создан в 1815 году как высший орган управления военными подразделениями. Он просуществовал чуть более ста лет, подвергаясь частой реорганизации, и был окончательно упразднен в 1918 году. Для размещения столь важного учреждения в ХIХ веке требовалось подобающее строение. Заказ получил известный архитектор Карл Росси (1775-1849). Он должен был не просто создать торжественное здание, но и оформить им Дворцовую площадь, завершив ее ансамбль.

Перед архитектором стояла непростая задача. Напротив будущего Генерального штаба высился Зимний дворец, своим барочным фасадом придававший площади праздничный и величавый вид. Однако барокко уже вышло из моды, шел век ампира. Росси нужно было гармонично сочетать строгость ампира с пышностью барокко. И ему это удалось.

Росси построил не одно, а два здания, вытянув их полукругом по южной границе площади. Западный корпус предназначался для Генерального штаба (он протянулся от арки до Невского проспекта). Восточный был занят министерством иностранных дел и министерством финансов. При сооружении здания Главного штаба архитектор использовал уже существовавшие на площади жилые дома. Они были построены во второй половине ХVIII века. Своими разрозненными фасадами они портили вид Дворцовой площади и были выкуплены государством для реконструкции. Росси сохранил часть внутренних фасадов и отделку интерьеров.

С 1917 года в здании Главного штаба размещались Наркомат иностранных дел, Управление милиции, штаб Ленинградского военного округа. 30 августа 1918 года в подъезде дома № 6 был убит народный комиссар Северной коммуны М.С.Урицкий. Некоторое время Дворцовая площадь носила его имя.

Во время блокады 1941–1944 годов здание пострадало от артобстрелов. В послевоенное время в несколько этапов была проведена реставрация. В 1989 году часть помещений здания Главного штаба были переданы Государственному Эрмитажу, сейчас там размещаются выставки.