Nabi Muhammad Shallallahu alaihi wassallam juga meletakkan dasar kenegaraan dalam Piagam Madinah itu dengan mengadakan persetujuan dengan pihak Yahudi atas landasan musyawarah dan persekutuan yang erat.
Kaum Yahudi menyambut baik Nabi Muhammad Shallallahu alaihi wassallam atas tujuannya menyatukan masyarakat Yatsrib. Rasulullah bermusyawarah dengan para kepala suku Yahudi yang selama ini lekat dengan konflik, baik dari Suku Quraiza, Suku Nadhir, maupun Suku Qainuqa. Begitu juga dengan kaum Nasrani.
Semua pembesar suku didekatkan oleh Nabi Muhammad Shallallahu alaihi wassallam. Dasar beliau sederhana, karena mereka ahli kitab dan kaum monoteis.
Lebih dari itu bahwa ketika kaum Muslimin berpuasa, mereka juga ikut berpuasa karena ajaran umat-umat terdahulu. Bedanya, umat Islam telah disyariatkan dengan jelas oleh Nabi Muhammad Shallallahu alaihi wassallam.
Dari sisi kiblat, pada waktu itu kiblat dalam sholat masih ke arah Baitul Maqdis, titik perhatian mereka, tempat terkumpulnya keluarga Israil. Dijelaskan oleh Husain Haekal, persahabatannya dengan pihak Yahudi dan persahabatan pihak Yahudi dengan Nabi Muhammad Shallallahu alaihi wassallam makin hari makin erat.
"Kewibawaan Nabi Muhammad begitu jelas terlihat di depan masyarakat Madinah karena penuh dengan akhlak mulia, sangat rendah hati, sarat dengan kasih sayang, selalu memenuhi janji, sifatnya yang pemurah, selalu terbuka dengan fakir miskin, dan selalu hadir bagi orang yang hidup menderita," cerita Ustadz Fathoni.
Nabi Muhammad Shallallahu alaihi wassallam berhasil menyatukan masyarakat Madinah dengan ikatan perjanjian persahabatan dan persekutuan serta menetapkan kebebasan beragama. Namun, Nabi Muhammad sesuai musyawarah juga menetapkan hukuman bagi siapa saja, dari kaum mana pun, dan dari suku apa pun yang melanggar kesepakatan dalam Piagam Madinah.
Jelasnya, sebelum Nabi Muhammad Shallallahu alaihi wassallam hijrah ke Madinah, di sana terdapat dua kabilah besar yang saling bertikai ratusan tahun lamanya.
Dua kabilah besar di Yatsrib tersebut adalah Kabilah Aus dengan sekutu Yahudi Bani Quraiza dan Kabilah Khazraj dengan sekutu Yahudi Bani Nadhir.