Главные события произведения разворачиваются в маленьком городке Княжье-Вено Юго-Западного края. Главный герой – Вася, который живет в семье судьи. Назвать детство ребенка счастливым довольно сложно. Он рос одиноким и никому не нужным. После смерти матери отец перестал обращать внимание на сына. Вася был предоставлен сам себе и целыми днями бродил по улицам. Но вот к дочери Соне, младшей сестре Васи, чувства отца были теплые, потому что она очень напоминала его покойную жену.

В городе, где жил главный герой, был старинный замок. Правда, его хозяева давно покинули, и он был на грани разрушения. Обитателями этого места стали городские нищие, у которых не было другого пристанища. Однако среди жильцов начали проявляться разногласия. Януш, один из бывших графских слуг, получил право решать, кто может оставаться в замке, а кто нет. Право на жилище получили немногие, а остальным пришлось прятаться под старым склепом заброшенной часовни. Старый Януш рассказывал Васе, что теперь в замке осталось только «порядочное общество» и теперь ему можно ходить туда. Но мальчику были интересны те, кто прятался в подземелье, так называемое «дурное общество».

Многие представители «дурного общества» были известны в городе. Это полубезумный «профессор» пожилых лет, который всегда что-то бормотал; отставной чиновник Лавровский, который любил выпить и рассказывал неправдоподобные истории о своей жизни. Здесь и Туркевич, именующий себя генералом. Руководителем всего этого сообщества «темных личностей» был Тыбурций Драб. Откуда он там взялся, никто не знал. Известен он был своим необыкновенным умом и часто развлекал на ярмарках публику интересными рассказами.

Однажды Вася со своими приятелям отправляется к старой часовне. Пробравшись внутрь, ребята там увидели кого-то и от страха убежали, оставив мальчика одного. Как потом оказалось, там были дети Тыбурция: сын Валек и его младшая сестра Маруся. Вася сдружился с детьми и начал часто приходить к ним. Но дети могли встречаться только тогда, когда их отца не было на месте. Вася решил не рассказывать никому о своих новых знакомых.

Как-то Валек и Маруся рассказывали, как их любит отец Тыбурций. Васе в тот момент стало обидно, что в его семье такого нет. Но неожиданно для него самого, дети рассказали о господине судье совсем другое, что он справедливый и честный человек.

Однажды Вася узнает, что его друг Валек ворует еду для своей сестры. Это открытие потрясло мальчика, но он не стал осуждать его. Также Валек показал Васе подземелье, где обитают остальные члены «дурного общества». Когда взрослых нет, дети собираются вместе и играют там в прятки. Однажды их застал Тыбурций, но он разрешил ребятам играть дальше, правда взял слово с Васи, что он никому не расскажет об этом месте.

Когда наступила осень, Маруся заболела. Васе так хотелось развлечь больную девочку, что он решил попросить у сестры на время куклу. Соня согласилась, а Маруся была в восторге от новой игрушки и стала поправляться.

В это время Януш начал жаловаться судье на жителей «дурного общества» и рассказал, что его сын с ними общается. Также няня заметила, что кукла Сонечки пропала. Васю наказали и не выпускали из дома, но спустя пару дней он сбегает.

Состояние Маруси ухудшалось. Обитатели решают, что куклу необходимо вернуть, чтобы девочка не заметила. Но увидев игрушку, малышка очень расстроилась и начала плакать. Вася тогда решает еще на время оставить ее здесь.

Мальчика снова не выпускают из дому, а отец пытается разузнать, где кукла дочери. Тогда он признается, что взял ее, но больше ничего не говорит. В этот момент появляется Тыбурций и в его руках видна кукла. Он рассказывает о дружбе его детей с Васей. Судья поражен и чувствует себя виноватым. Ему становится стыдно за то, что так вел себя с сыном. Но Тыбурций еще говорит ужасную новость: Маруся умерла. Вася прощается с девочкой. Жители «дурного общества» через время бесследно исчезают, остаются лишь некоторые.

Марусю похоронили на старом кладбище возле обвалившейся часовни. Вася с сестрой ухаживали за ее могилкой и часто приходили на кладбище, чтобы помечтать и поделиться своими планами. Когда семья решает переехать из города, они отправляются туда в последний раз и произносят свои клятвы.