Шато де Шильон у владі бернцев і кантону Во
Фортеця знаходилася у володінні бернцев з 1536 по 1798 рік. Про це свідчить збережена на одній зі стін емблема Берна у вигляді ведмедя. Одночасно вона була резиденцією бальї. Склади зброї і харчів нові господарі розмістили в баштах, частину площі, як вже говорилося вище, була виділена під казарми. У підземеллі ж, як і раніше, функціонувала в’язниця. Стратегічне значення фортеці поступово втрачається, так як у XVIII столітті була побудована нова дорога, через сусідній перевал Сен-Готард.
З 1656 року замок був головною базою військового флоту Бернського кантону. З 1793-го тут розмістився військовий госпіталь.
11 січня 1798 року бальї був убитий військами кантону Во, репортерами резиденцію. Фортеця перейшла до їх рук. З тих пір і до наших днів вона знаходиться у власності кантону.
Надалі цитадель використали в якості гарматного арсеналу, з-за чого довелося навіть частково знести стіни. У 1844 році один з поверхів переобладнали під в’язницю для політв’язнів. З 1866 в донжоні, головній вежі, був облаштований архів, куди перенесли всі документи, що збереглися.
