How to disable unknown robots/spiders

اعاني كثيراً من استهلاك الباندويث في احدى المواقع ... اعتقد ان السبب هو بعض الروبوت والتي تشكل زيارات متعددة
حالياً لا افكر في تقدم الموقع وانما في استمراريته
فهل يمكن ايقاف بعض الروبوت وتحديدا غير جوجل حتى يتم تقليل الضغط علي الموقع بالتالي عدم استخدام موارد كبيرة