Auf dem Hügel oberhalb von Jelsa befinden sich die Überreste einer kleinen Burg und eines Turms, dessen lokaler Name Tor ist. Das Wachhaus liegt 235 Meter über dem Meeresspiegel und ist ein imposantes rechteckiges Gebäude. Die Wände bestehen aus massiven Quadern in Trockenbauweise, mit einem Eingang in der Südwand. Von Tor aus hat man einen wunderbaren Blick auf die Altstadt, die Insel Brač und das Festland. Es wird angenommen, dass der Turm im 4. oder 3. Jahrhundert v. Chr., während der Eisenzeit, erbaut wurde. Es ist im hellenistischen Stil gehalten, aber es ist nicht sicher, ob es tatsächlich von den Griechen erbaut wurde, die im 4. Jahrhundert v. Chr. ihre Kolonie in Pharos (der heutigen Stari Grad) gründeten, oder von den Illyrern, die ihre Vorgänger in der Gegend waren und deren Architektur bekanntlich von griechischen Stilen beeinflusst war. Aus diesem Grund wird Tor auch griechisch, illyrisch oder griechisch-illyrisch genannt