Tatarzy narodzili się w XIII - XIV wieku, kiedy mongołowie przybyli podczas najazdów Czyngis-chana zasymilowali się z miejscową tureckojęzyczną ludnością. Przyjęli od nich kulturę, język i religię - islam.

Po raz pierwszy Tatarzy zostali sprowadzeni na tereny Wielkiego Księstwa Litewskiego na przełomie XIV i XV wieku przez księcia Witolda. Byli to dobrowolni emigranci, zbiegli pretendenci do tronu i jeńcy wojenni. Zagwarantowano im wolność wyznania, niektóre prawa obywatelskie, zezwolono na małżeństwa z chrześcijankami oraz wychowywanie potomstwa zgodnie z zasadami islamu. W zamian zobowiązani byli do służby wojskowej. Ich największe skupiska znajdowały się pod Trokami, Grodnem i nad Łosośną. Nazywano ich Lipkami (od tureckiej nazwy Litwy) lub Muślimami.

Według legendy, Tatarzy w Kruszynianach pojawili się dzięki królowi Janowi III Sobieskiemu. Nadał on włości pułkownikowi Samuelowi Murza-Krzeczowskiemu oraz jego żołnierzom w podzięce za uratowanie mu życia w bitwie pod Parkanami w 1683 r. Parę lat później król jadąc na sejm grodzieński odwiedził Krzeczowskiego. Do dzisiaj mieszkańcy Kruszynian mogą wskazać miejsce w którym stał dwór pułkownika. W rzeczywistości zasiedlenie Kruszynian miało miejsce na mocy przywileju z 1679 r. Wkrótce potem założono mizar (cmentarz) i wybudowano pierwszy meczet.

Obecnie stojący meczet pochodzi najprawdopodobniej z drugiej połowy XVIII wieku. Podczas drugiej wojny światowej został trafiony bombą, która na szczęście nie wybuchła, oraz został w nim zorganizowany niemiecki szpital polowy. Część wyposażenia meczetu została podczas wojny rozgrabiona.