قال ابن إسحاق: ثم بعث رسول الله صلى الله عليه وسلم خالد بن الوليد إلى العزى، وكانت بنخلة، وكانت بيتا يعظمه هذا الحي من قريش وكنانة ومضر كلها، وكانت سدنتها وحجابها بني شيبان من بني سليم حلفاء بني هاشم، فلما سمع صاحبها السلمي بمسير خالد إليها، علق عليها سيفه، وأسند في الجبل الذي هي فيه، وهو يقول:
أيا عز شدي شدة لا شوى لها ... على خالد ألقي القناع وشمري
يا عز إن لم تقتلي المرء خالدا ... فبوئي بإثم عاجل أو تنصري
فلما انتهى إليها خالد هدمها، ثم رجع إلى رسول الله صلى الله عليه وسلم.
قلت: والعزى صنم على صورة امرأة، يزعم المشركون أنها ومناة واللات، بنات الله تعالى وتقدس عن قولهم، فجعلوا لها بيتاً أودعوها فيه.
قال الكلبي في كتاب الأصنام: وكان سدنة العزى بنو شيبان بن جابر بن مرة بن عبس بن رفاعة بن الحارث ابن بهثة بن سليم بن منصور، من بني سليم، وكان آخر من سدنها منهم دبية بن حرمى السلمي.