Masjid berada di dalam kompleks Kepatihan. Di samping selatan masjid ada kandang kuda dan kereta atau gedhogan.

Semula bangunan masjid tersebut hanyalah satu ruangan saja, yang sekarang menjadi ruang sholat utama. Di dalam ruang sholat utama terdapat empat saka guru dan diperkuat oleh delapan saka rawa dari kayu jati. Di kanan kiri mihrab masjid Al Fatih terdapat jendela yang besar dengan kusen dan daun jendela terbuat dari kayu jati dengan penambahan terali besi.

Mimbar terbuat dari kayu berukir yang diletakkan di dekat jendela sebelah utara berdekatan dengan pintu menuju pawestren. Ukiran pada mimbar tersebut berbentuk buah srikaya mengandung pesan agar siapa pun yang memberikan khotbah yang sarat makna sebagaimana yang telah dituntunkan oleh Nabi Muhammad SAW.

Ada lima buah pintu dari sisi timur menuju ruang sholat utama. Pintu utama yang selurus dengan mihrab, memiliki kaligrafi yang berlafaz Allah dengan tambahan ornamen ukiran berbentuk daun. Di sebelah kanan dan kiri pintu utama masing-masing terdapat dua pintu lagi yang mempunyai kaligrafi bertuliskan Muhammad. Kedua pintu tersebut masing-masing mempunyai pintu di sisinya.

Kedua pintu itu di kanan kiri pintu utama terdapat kaligrafi yang bertuliskan empat orang khalifah pertama agama Islam, yang dipercaya menjadi pemimpin setelah Rasulullah wafat. Empat orang yang dikenal dengan Khulafaur Rasyidin itu adalah Abu Bakar, Umar bin Khattab, Utsman bin Affan, dan Ali bin Abi Thalib.

Serambi masjid sebagai ruang terbuka dinaungi atap berbentuk limasan.

Atap masjid Al Fatih berbentuk tajug dengan bahan sirap seperti kebanyakan masjid tua yang berhubungan dengan kekuasaan kerajaan. Terdapat penambahan mustaka pada atap masjid yang melambangkan makrifat, yaitu tingkat penyerahan diri kepada Allah secara berjenjang sampai kepada tingkat keyakinan yang kuat.

Renovasi tersebut berupa pemasangan keramik pada dinding masjid untuk mengurangi biaya pemeliharaan seperti pengecatan.

Masjid Al Fatih didirikan pada 1312 H atau 1891 M. Masjid ini dibangun oleh Kanjeng Raden Adipati Sosrodiningrat IV, Pepatih Dalem, atas perintah Pakubuwono IX. Konon, pembangunan masjid ini sebagai mahar lamaran PB IX kepada seorang putri yang kemudian menjadi salah satu istrinya.

Sejak didirikan, masjid ini berada di bawah pengelolaan Keraton Surakarta, akan tetapi pada masa pasca kemerdekaan, pengelolaan berada di Departemen Agama.

Masjid ini telah mengalami pengembangan secara bertahap sesuai kebutuhan. Pertama, pawestren dan gudang. Pawestren berasal dari kata “pawestri” yang artinya wanita, yaitu ruangan yang dibuat khusus untuk para wanita. Sementara itu, gudang dengan ukuran dan bentuk mirip pawestren di sebelah selatan ruang utama.

Kedua, oleh karena jumlah jamaah yang melebihi kapasitas, sehingga dibuat bangunan tambahan dua lapis di bagian depan masjid, yang diselesaikan pada tahun 1992.

Ketiga, pada tahun 2019 dilakukan pemasangan paving block untuk halaman masjid dan renovasi kamar mandi untuk putra dan putri.