Masjid dibangun pada tahun 1546. Masjid terdapat di dalam kompleks pemakaman Ki Ageng Henis. Dulu area pemakaman ini merupakan tempat tinggal beliau. Ketika wafat, beliau dimakamkan di lokasi kediamannya.

Ki Ageng Henis dan Sultan Hadiwijaya merupakan saudara sekaligus sahabat. Ki Ageng Henis adalah anak dari Ki Ageng Selo, sedangkan Sultan Hadiwijaya adalah anak dari Ki Kebo Kenongo atau dikenal dengan nama Ki Ageng Pengging. Ki Ageng Selo dan Ki Kebo Kenongo masih memiliki hubungan saudara yang cukup dekat dan termasuk trah Majapahit.

Sebelum menjadi kerajaan, Pajang masih berbentuk kabupaten di bawah kekuasaan Kerajaan Demak. Kala itu, Hadiwijoyo bernama Joko Tingkir menjadi menantu Sultan Trenggono yang memimpin Kerajaan Demak. Joko Tingkir kemudian naik tahta dengan gelar Sultan Hadiwijaya, sedangkan Ki Ageng Henis diangkat menjadi patih di Pajang.
Di depan masjid terdapat Sungai Jenes yang dahulu menjadi urat nadi perekonomian Kerajaan Pajang. Sungai yang bermuara (tempuran) di Bengawan Solo ini menjadi sarana transportasi perdagangan.

Masjid Ki Ageng Henis berperan penting dalam sejarah pendirian Kerajaan Pajang, yang kemudian berlanjut dengan berdirinya Dinasti Mataram. Berpindahnya pengelolaan Masjid Ki Ageng Henis mempengaruhi bentuk bangunan. Pakubuwana X memberi pengaruh bentuk bangunan keraton dalam Masjid Laweyan. Hal itu tampak dari bentuk soko (tiang) dan meret (penyangga genting) dari kayu jati yang memiliki arsitektur sama dengan Keraton Surakarta.