Karavanserais bestaan meestal uit een grote binnenplaats met een sluitende ring van gebouwen eromheen, vaak met een arcade ervoor. De poort moest breed genoeg zijn om lastdieren, zoals kamelen, door te laten. In de gebouwen bevonden zich kleine nissen en kamertjes waar zowel reizigers als dieren konden slapen. Vaak sliepen de mensen op de eerste verdieping en de dieren op de begane grond. Soms lagen er simpele matrassen in de kamers. Overnachten was gratis, maar men moest wel zelf eten en kookgerei meenemen. Daar stond tegenover dat sommige karavanserais een hamam hadden, en de meesten ook een gebedsruimte of moskee.