它位於道外區南部第十三街54號，屬於一級保存建築。清真寺始建於1897年，在1904年重建，是一幢磚木結構的伊斯蘭教堂。1935年，許多伊斯蘭信徒提議並捐贈了這座教堂，並對其進行了改建，成為佔地426平方米的阿拉伯風格的禮堂。它是傑出的伊斯蘭風格建築，每個圓頂頂部的望月樓上都有高聳的月牙。該清真寺以前分為東寺，西寺和婦女寺。主廳面積426平方米，具有阿拉伯建築風格。
在經過哈爾濱市政府的維修和保養後，這座清真寺煥然一新。主要建築有禮堂、浴室、宣禮樓、辦公房等設施。宣禮塔是清真寺的另一重要建築，它是一座高塔，用於攀登和召喚穆斯林敬拜；而祈禱廳佔地426平方米，高13米，可容納500至600人進行祈禱；禮拜堂的左側和右側有兩座高大的宣禮樓。
哈爾濱道外清真寺是黑龍江省最大的清真寺，它接待了來自中國的約10萬名穆斯林以及來自中亞，馬來西亞等地的其他穆斯林，它已成為哈爾濱穆斯林旅遊必去的景點。