राजा धर्म चंद ने 1556 में मुगल शासक अकबर को सौंप दिया और किले के दावों को त्यागने सहित श्रद्धांजलि देने के लिए सहमत हुए। लेकिन 1620 में, सम्राट जहांगीर ने उस कटोच राजा, राजा हरि चंद को मार डाला और कांगड़ा साम्राज्य को मुगल साम्राज्य में मिला लिया। नवाब अली खान के नेतृत्व में और राजा जगत सिंह की सहायता से, किले पर 1620 में कब्जा कर लिया गया था और 1783 तक मुगल शासन के अधीन था। 1621 में, जहांगीर ने इसका दौरा किया और वहां एक बैल के वध का आदेश दिया। कांगड़ा के किले के भीतर एक मस्जिद भी बनी थी
जैसे ही मुगल साम्राज्य का पतन शुरू हुआ, राजा धर्म चंद के वंशज, राजा संसार चंद बहादुर द्वितीय ने कन्हैया मिस्ल के सिख नेता जय सिंह कन्हैया के समर्थन से कांगड़ा पर विजय की एक श्रृंखला शुरू की। हालांकि, मुगल गवर्नर सैफ अली खान की मृत्यु के बाद, किले को 1783 में उनके बेटे ने सुरक्षित मार्ग के बदले में कन्हैया मिस्ल के सिख नेता जय सिंह कन्हैया को सौंप दिया था।

जय सिंह कन्हैया के इस विश्वासघात के कारण राजा संसार चंद ने सुकरचकिया मिस्ल (महाराजा रणजीत सिंह के पिता) और जस्सा सिंह रामगढ़िया के सिख मिसलदारों महा सिंह की सेवाओं की याचना की और किले को घेर लिया। 1786 में, राजा संसार चंद ने पंजाब में क्षेत्रीय रियायतों के बदले में जय सिंह कन्हैया के साथ शांतिपूर्ण संधि करके कांगड़ा किला हासिल किया।
संसार चंद ने जल्दी से अपने राज्य के विस्तार पर ध्यान केंद्रित किया और चंबा, मंडी, सुकेत और नाहन के आस-पास के राज्यों पर विजय प्राप्त की। 1805 में उन्होंने बिलासपुर की ओर अपना ध्यान आकर्षित किया और बिलासपुर के तत्कालीन राजा ने शक्तिशाली गोरखा साम्राज्य की सहायता का आह्वान किया, जिसने पहले ही गढ़वाल, सिरमौर और शमिला के अन्य छोटे पहाड़ी राज्यों का अधिग्रहण कर लिया था। 40,000 गोरखाओं की एक सेना ने सतलुज नदी को पार करके जवाब दिया और जल्दी से किले के बाद किले पर कब्जा कर लिया। 1808 में, गोरखाओं ने एक निर्णायक प्रहार किया और पाथियार (पालमपुर) के किले पर कब्जा कर लिया।

 1809 तक, कांगड़ा खुद गोरखाओं से सीधे खतरे में था और संसार चंद ने कांगड़ा किले में शरण ली थी। संसार चंद ने सहायता के लिए लाहौर के महाराजा रणजीत सिंह की ओर रुख किया, जिससे 1809 का नेपाल-सिख युद्ध हुआ जिसमें गोरखा हार गए और घाघरा नदी में वापस जाने के लिए मजबूर हो गए। उनकी मदद के बदले में, महाराजा रणजीत सिंह ने 24 अगस्त, 1809 को 76 गांवों (किले की प्राचीन जागीर) के साथ प्राचीन किले पर कब्जा कर लिया, जबकि बाकी कांगड़ा संसार चंद को छोड़ दिया।

1846 के एंग्लो-सिख युद्ध के बाद किले को अंततः अंग्रेजों ने अपने कब्जे में ले लिया था।

4 अप्रैल 1905 को एक भूकंप में भारी क्षति होने तक एक ब्रिटिश सेना ने किले पर कब्जा कर लिया था।
किले का प्रवेश द्वार एक छोटे से प्रांगण के माध्यम से है जो दो द्वारों के बीच संलग्न है जो सिख काल के दौरान बनाए गए थे, 

जैसा कि प्रवेश द्वार पर एक शिलालेख से प्रकट होता है। यहाँ से एक लंबा और संकरा रास्ता अहानी और अमीरी दरवाजा (द्वार) के माध्यम से किले के शीर्ष तक जाता है, दोनों का श्रेय कांगड़ा के पहले मुगल गवर्नर नवाब सैफ अली खान को जाता है। बाहरी द्वार से लगभग 500 फीट की दूरी पर मार्ग बहुत तीखे कोण पर घूमता है और जहांगीरी दरवाजे से होकर गुजरता है।

दरसानी दरवाजा, जो अब देवी गंगा और यमुना नदी की विकृत मूर्तियों से घिरा हुआ है, ने एक आंगन तक पहुंच प्रदान की, जिसके दक्षिण की ओर लक्ष्मी-नारायण और अंबिका देवी के पत्थर के मंदिर और ऋषभनाथ की बड़ी मूर्ति के साथ एक जैन मंदिर था।
किला कांगड़ा शहर के ठीक बगल में है। 32.1°N 76.27°E यह किला बाणगंगा और मांझी नदियों के "संगम" संगम (जहां दो नदियां मिलती हैं) पर रणनीतिक रूप से निर्मित, आसपास की घाटी पर हावी पुराना कांगड़ा (पुराने कांगड़ा में अनुवाद) में एक खड़ी चट्टान पर खड़ा है। कहा जाता है कि कांगड़ा उसी का होता है जिसके पास किला होता है।

साथ ही पुराने कांगड़ा के पास एक पहाड़ी की चोटी पर प्रसिद्ध जयंती माता मंदिर है। मंदिर का निर्माण गोरखा सेना के जनरल बड़ा काजी अमर सिंह थापा ने करवाया था। प्रवेश द्वार के पास एक छोटा संग्रहालय भी है जो कांगड़ा किले के इतिहास को प्रदर्शित करता है।

किले से सटे कांगड़ा के शाही परिवार द्वारा संचालित महाराजा संसार चंद कटोच संग्रहालय है। संग्रहालय किले और संग्रहालय के लिए ऑडियो गाइड भी प्रदान करता है और इसमें एक कैफेटेरिया भी है। कांगड़ा किला भारत के कांगड़ा शहर के बाहरी इलाके में धर्मशाला शहर से 20 किलोमीटर की दूरी पर स्थित है। यह भारत का सबसे पुराना किला है जिसे लगभग 400 ईसा पूर्व में कटोच राजा सुशर्मा चंद्र ने महाभारत युद्ध के बाद बनवाया था।