Народився в сім'ї кріпаків дворових селян (брат Михайло, сестри Олександра, Марія, Ольга). Читання Желябова навчив його дід по матері Гаврила Тимофійович Фролов; дізнавшись про це, поміщик Нелідов вирішив продовжити навчання дитини. У 1860 р Желябов був визначений в Керченське повітове училище, пізніше перетворене в чоловічу Олександрівську гімназію. У гімназії вперше познайомився з ідеями соціалізму, прочитавши роман М. Г. Чернишевського " Що робити?». Закінчив навчання зі срібною медаллю.
У 1869 році Желябов вступив на юридичний факультет Новоросійського університету в Одесі. Був активним членом студентського гуртка соціалістів. У 1871 році Желябов очолив студентські хвилювання, викликані образливою поведінкою викладача Богішича, за що був виключений з Університету, а потім висланий з міста. Наступного року Желябову відмовили у відновленні в університеті. Він був змушений заробляти на життя випадковими уроками. Желябов знайомиться з членами гуртка " чайковців»
