В централната част на хълма, северно от Патриаршията, е разположен Дворцовият комплекс, строен от цар Иван Александър около 1360 г. Той представлява сбор от постройки, включващи тронна зала, дворцова църква и царски покои. Обграден е от вътрешна каменна стена, две бойни кули и два входа, от север и юг. Според житието на Теодосий Търновски в този дворец се е състоял съборът против евреите, свикан от цар Иван Александър в 1360 г. Формата му е на неправилна елипса с размери 114 м на 66 м, а общата площ е около 5000 кв. м.

Дворецът е бил защитен с крепостна стена и кули като типичен средновековен замък. Главният вход е бил от север и е защитен с три кули. Пред него се е намирал обширен площад. Помещенията в двореца били разположени покрай стените, а средата се оформял обширен двор. В западната част близо до северния вход се намирали две представителни помещения, свързани с обща фасада.