কালামের বাবা নৌকা তৈরি করতেন এবং মত্স্যজীবীদের নৌকা ভাড়ায় দিতেন। কালামরা পাঁচ ভাই ও পাঁচ বোন ছিলেন। পরিবারের আর্থিক অবস্থা ভালো ছিল না। এই অবস্থায় নিজের পড়াশোনার খরচ চালানোর জন্য কালাম সংবাদপত্র বিক্রিরও কাজ করতেন।
তামিলনাড়ুর রামেশ্বরমের একটা ছোট্ট গ্রাম থেকে রাইসিনা হিলস পর্যন্ত তাঁর সফর বহু মানুষকে রোমাঞ্চিত করে। সেই সঙ্গে আত্মবিশ্বাসের প্রেরণা যোগায়।
সারা জীবন কালাম অবিবাহিত ছিলেন। তিনি বিয়ে করেননি কেন, জীবদ্দশাতে বহুবারই তাঁকে এই প্রশ্নের মুখে পড়তে হয়েছে। সাধারণত এই প্রশ্নের জবাব এড়িয়ে যেতেনে তিনি। ২০০৬-তে সিঙ্গাপুরে বক্তৃতা দেওয়ার সময় ওই প্রশ্ন করা হলে তিনি বলেছিলেন, ‘আমি আশা করছি, আপনারা সবাই খুব ভালো জীবনসঙ্গী পাবেন’।
এরপর একটি সংবাদপত্রে প্রকাশিত খবর অনুযায়ী, কালাম এক বিশ্লেষকের সঙ্গে কথা বলতে গিয়ে বলেছিলেন, ‘যদি বিয়ে করতাম তাহলে জীবনে আজ যা হয়েছি, তার অর্ধেকও হতে পারতাম না। দেশের জন্য যা কিছু করেছি তাও করতে পারতাম না’।