Namun pada tahun 1591 invasi pasukan Maroko menjatuhkan Kekaisaran Songhai. Selain itu, invasi tersebut juha menghancurkan beberapa pusat pembelajaran dan manuskrip kota. Banyak sarjana terbunuh, dan beberapa dideportasi ke Maroko, termasuk Kanselir terakhir Universitas Sankore, Ahmed Baba. Sebagai akibatnya, kota legendaris Timbuktu itu hancur.
Tapi sampai saat ini, semua bangunan abad ke-14 ini masih berdiri di kota Timbuktu. Sekitar 80 perpustakaan pribadi dan perpustakaan umum Ahmad Baba masih ada di kota, menyimpan lebih dari 700.000 manuskrip yang tak ternilai.