La chiesa di Kish si trova a Kish, a pochi chilometri dalla città di Sheki. Nel 550 a.C., Atrobats, governatore medo dell'Impero persiano, chiamò il luogo "Azerbaijan", che significa "protetto dal fuoco". Nel IV secolo d.C., una tribù che si faceva chiamare Arran fondò il Regno d'Albania, il cui territorio si estendeva sui monti del Caucaso, e si convertì gradualmente dallo zoroastrismo persiano al cristianesimo. A partire dal VII secolo d.C., il Regno d'Albania fu conquistato successivamente da arabi, mongoli, timuridi e dall'Impero ottomano, fino a scomparire completamente dalla storia. La frammentazione tra Persia, Impero ottomano e Russia tra il XVI e il XVIII secolo è una delle ragioni principali dell'attuale divisione dell'Azerbaigian in tre paesi. Il regno albanese del Caucaso un tempo copriva gran parte dell'Azerbaigian settentrionale, ma esistono pochi documenti storici e ancor meno siti archeologici relativi a questo regno, il che rende questa chiesa particolarmente importante dal punto di vista culturale. Gli azeri hanno a lungo cercato di cancellare le tracce della presenza armena sul loro territorio, sostenendo che queste aree siano state "parte integrante dell'Azerbaigian fin dall'antichità". La chiesa è stata ora trasformata nel Museo dell'Albania del Caucaso, che racconta il complesso passato della regione del Caucaso. Al suo interno sono esposti reperti storici e i visitatori possono osservare antichi resti sottostanti attraverso vetrate nel pavimento della chiesa.