В 1323 году шведы напали на Корелу тайком, без объявления войны, но не смогли взять ее. Не раз еще в течение XIV и XV столетий они предпринимали безуспешные попытки захватить Корелу. В 1364 году в Старой крепости были проведены новые строительные работы: «в Карельском городке посадник Яков постави костер камен»,— говорит летопись. «Костер камен» — это круглая Воротная башня, состоявшая из подземного первого этажа и второго этажа с чердаком и смотровой вышкой над ним. Позднее во втором этаже башни были размещены восемь орудийных казематов.
В 1580 году шведский главнокомандующий Понтус Де-лагарди подошел к Кореле. Крепость мужественно сопротивлялась, но шведы раскаленными ядрами подожгли деревянные сооружения крепости. Город был сдан шведам, которые владели им 15 лет. Тявзинский мир 1595 года освободил Корелу, но в начале XVII века она вновь оказалась в руках шведов, на этот раз на 100 лет.