Самый значительный архитектурный памятник Летнего сада — летняя резиденция Петра I, предназначавшаяся для отдыха императора и его семьи (на современный лад — это была городская дача монарха). Поэтому не случайно, вопреки канонам регулярного паркостроения, Летний дворец не стал композиционным центром ансамбля Летнего сада.
Расположение Летнего дворца определялось и особым интересом Петра к Неве — главной водное артерии новой столицы.