ولایت حضرت امیر ،کفر اهل مدینه

سلام طبق آیات اکمال دین و ابلاغ ولایت حضرت امیرالمومنین درست است که هر کس قبول نکند این را کافر است؟ اگر بلی؛ پس اهل مدینه غیر ازجز چند نفر که در رکاب حضرت ماندند و به تعداد انگشتان دست هم نرسیدند؛ همگی کافر هستند و جامعه مسلمین در بعد از پیغمبر اکثر قریب به اتفاق در کفر سیر می کردند! مثلا خود را حتما هم از متتابعین می دانستند؟!! راهنمایی فرمایید