Моя мать умерла, когда мне было шесть лет» — так герой повести мальчик Вася начинает рассказ. Его отец-судья горевал по жене, уделяя внимание лишь дочери Соне, так как она походила на мать. А сын «рос, как дикое деревце в поле», предоставленный самому себе, без любви и заботы.
Местечко Княж-Городок, где живёт Вася — «вонь, грязь, кучи ребят, ползающих в уличной пыли» — окружали пруды. На одном из них был остров, на острове — старый замок, ужас от которого «царил над всем городом».
В развалинах замка жили нищие и другие «тёмные личности». Между ними происходили раздоры и часть «несчастных сожителей» изгнали из замка. Они остались без крова и у Васи «сжималось сердце» от жалости к ним.
Главарём изгоев был Тыбурций Драб, обладающий страшной обезьяньей внешностью. В его глазах «светилась острая проницательность и ум», а было покрыто мраком неизвестности».
При нём изредка видели двух детишек: семилетнего мальчика и трёхлетнюю девочку.
Однажды Вася с друзьями забирается в часовню на горе возле замка. Друзья испугались «чертей» в темноте часовни и убежали, оставив его одного. Так Вася знакомится с Валеком и маленькой Марусей. Они подружились. Позднее Вася попадает в подземелье, где «две струи света… лились сверху… каменные плиты пола… стены тоже были из камня… тонули совсем в темноте». Здесь живут его новые друзья.
Вася стал часто ходить к детям из «плохого общества». Маруся была одного возраста с его сестрой, но выглядела болезненно: тоненькая, бледная, грустная. Ее любимой игрой было перебирать цветы. Валек сказал, что «серый камень высосал из неё жизнь».
Васю мучают сомнения в отцовской любви, но Валек отвечал, что отец Васи очень справедливый судья — не побоялся даже осудить богатого графа. Вася задумывается и начинает по-другому смотреть на отца.
О дружбе Васи с Валеком и Марусей узнает Тыбурций — он сердится, но позволяет сыну судьи ходить в подземелье, ведь его дети рады мальчику. Вася понимает, что зачастую подземелье живёт за счёт воровства, но с презрением к голодным друзьям его «привязанность не исчезла». Ему жалко больную, всегда голодную Марусю. Он носит ей игрушки.
