Губернатор Иркутской губернии Николай Николаевич Муравьёв решил привлечь купцов к финансированию экспедиций,  благо Иркутск – город богатый. Сам принял участие в поездке к берегам реки Амур с учёным Ричардом Мааком. Её результаты были настолько блистательны, что к фамилии Муравьёва была прибавлена ещё одна – Амурский. 

ВСОИРГО в Иркутске располагался в деревянном здании неподалёку от Тихвинской церкви. Оно погибло в пожаре 1879 года. После этой страшной напасти было принято решение строить новое помещение для общества, такое, чтобы стояло века. Так в 1883 году город был украшен замком, построенным в мавританском стиле, с обширной усадьбой, библиотекой, обсерваторией, лекционным залом, лабораториями.

Именно в этом особняке проходили самые важные для Иркутска и иркутян встречи. Его гостями стали полярные исследователи, учёные, писатели, общественные деятели того времени. Экспозиция музея ВСОИРГО была настолько уникальна, что её показывали в Париже, во многих российских городах. 

ВСОИРГО существовало в Иркутске, пока при советской власти не было принято решение расформировать его на несколько учреждений науки и культуры. Собрание картин было передано в открывшийся художественный музей, двадцать тысяч томов книг – в библиотеку государственного университета. Музей географического отдела получил название краеведческого, в нём был открыт книжный фонд, хранящий издания по сибирике.

Сибирика – это труды учёных по исследованию Сибири, картографический материал и сибирская литература. Сегодня библиотека краеведческого музея хранит 75 тысяч томов книг, в том числе издания допожарного периода, а погибло в 1879 году более десяти тысяч томов. В основе библиотеки издания РГО и ВСОИРГО – книги частных лиц. Сейчас в отделе книжного фонда хранятся коллекции историков Фёдора Кудрявцева, Нита Романова, купцов Басниных. Сибирская литература представлена прижизненным изданием книги Ивана Калашникова «Дочь купца Жолобова».

Историк Виктор Агалаков называл библиотеку краеведческого музея «близкой сердцу сибиряка», потому что собраны в ней уникальнейшие описания исследования Сибири, которая простиралась в прежние времена до берегов Тихого океана. В библиотеке хранятся раритеты, содержащие первые знания по Татарии – так называли в Западной Европе территорию России от хребтов Урала. Подтверждение тому – книга «Северная и Восточная Татария», написанная губернатором Амстердама Николаем Витсеном, который в Сибири никогда не был, но вёл обширную переписку с учёными, занимающимися исследованием восточных территорий империи. Книга Витсена, изданная в Голландии, по мнению академика Алексеева, стала первой, в которой более-менее научно описана Сибирь. Всё, что знала Европа до Витсена, можно отнести к мифам и легендам.

Первыми исследователями Сибири были иностранные учёные, которых привлекать к этой работе начал Пётр I. Именно он отправил в неведомые края Даниила Мессершмидта в одиночку, без поддержки сколько-нибудь грамотных людей. Мессершмидт, проезжая Тобольск, познакомился со шведом Иоганом Таббертом – участником битвы под Полтавой, сосланным в Сибирь. На восток они отправились вместе, занимались изыскательской деятельностью, описанием мест, в которых побывали. По возвращении в Швецию Табберт, получивший дворянский титул и новое имя фон Стралленберг, издал труд «Описание Северной и Восточной части России и Сибири…». К раритетам относится и книга Иоганна Георга Гнелина «Путешествие по Сибири», изданная в Германии.

Во все времена музей ВСОИРГО, получивший название краеведческого, был местом притяжения учёных-исследователей. В его библиотеке в 20–30-е годы XX века работали Михаил Герасимов, Алексей Окладников, Фёдор Кудрявцев, заложившие основы фундаментального изучения направлений в исследовании истории Иркутской области. В 1950–1970-е годы музей дал путёвку в большую науку нашим современникам, ставшим известными учёными: Герману Медведеву, Владимиру Свинину, Владимиру Олтаржевскому, Михаилу Аксёнову и многим другим. 

В наши дни в библиотеке музея занимаются студенты и преподаватели вузов Иркутска, приезжают учёные из зарубежья, Москвы и Санкт-Петербурга. Здесь рождаются проекты по строительству новых выставок, черпаются знания по всему, что необходимо знать о городе, ставшем местом рождения Сибирского отдела Императорского Русского географического общества.