গিরিরাজের মন্তব্যের তীব্র নিন্দা করে বিরোধীরা বলেছেন, স্বল্পমেয়াদি রাজনৈতিক স্বার্থ পূরণে হিন্দু, মুসলিমদের মধ্যে বিভেদ তৈরি করাই তাঁর উদ্দেশ্য। তাঁকে কেন্দ্রীয় মন্ত্রিসভা থেকে বরখাস্তের দাবি তুলেছেন তাঁরা।
গিরিরাজ বলেছেন, বিহারে এমন সাতটি জেলা আছে যেখানে আমাদের সংখ্যা কমেছে। এটা উদ্বেগের ব্যাপার। জনসংখ্যা নীতির বদল হলেই আমাদের মেয়েরা নিরাপদে থাকবে। নয়ত, পাকিস্তানের মতো আমাদেরও ঘরের মেয়েদের পর্দার আড়ালে রেখে দিতে হবে। দেশে এমন আইন চাই যে, হিন্দু, মুসলিম, শিখ বা খ্রিস্টান নির্বিশেষে সবাই দুটি সন্তান জন্ম দেওয়ার অনুমতি পাবে। জনসংখ্যা নীতি সবার জন্য এক হওয়া উচিত। ভারতকে উন্নত দেশে পরিণত করতে চাইলে জনসংখ্যা নিয়ন্ত্রণ প্রয়োজন।
সমালোচনার মুখে গিরিরাজ সাফাই দিয়েছেন, চিন ১৯৭৯ সালে জনসংখ্যা নীতি চালু করেছিল। দেশের স্বার্থের কথা মাথায় রেখেই কথাটা বলেছি আমি। আজ মালয়েশিয়া, ইন্দোনেশিয়া, বাংলাদেশও জনসংখ্যা নিয়ন্ত্রণ নীতি চালু করেছে বলে দাবি করেন তিনি।