Святой Иларион поселился в Дионисиате, где во главе с игуменом Евлогием проживали 14 насельников (остальная братия подвизалась на островах Порос, Закинф и Скопелос и вернулась в обитель 6 июня 1830). Но поскольку там, как и в других афонских монастырях, стоял турецкий гарнизон (в Дионисиате – более 50 чел.), Иларион вскоре перебрался в пещеру близ обители, где подвизался 2,5 года. Затем в пещерах Катунакий Иларион в безмолвии провел еще 3,5 года, употребляя в пищу только травы, коренья и каштаны. Духовным отцом его в это время был афонский старец Неофит (Караманлис).
Однажды некий монах собирал близ пещеры Илариона Грузина улиток. Обнаружив в ней изнемогшего от болезней и голода старца, монах отдал ему улиток и рассказал о подвижнике в ближайших скитах; монахи стали приносить ему пищу и обращаться за духовными советами. Стесненный значительным числом посетителей, Иларион, испросив благословение у Павла, настоятеля Нового скита в честь Рождества Пресвятой Богородицы, ушел в затвор, укрывшись в башне Нового скита, где провел около 3 лет. Насельник скита монах Герасим раз в 15 дней приносил ему сухари и воду.
Монах Герасим неоднократно был свидетелем того, как преподобному Илариону являлись демоны. Однажды он нашел старца полуживым, избитым «бесчисленными полками бесов, идущими к его пиргу (башне) от самых Святопавловских песков, на протяжении расстояния получасового пути». Старца вынесли из башни, позвали иером. Венедикта (Киотишвили), и тот убедил отшельника оставить затвор. Старца перевели в келлию св. Харалампия, «где попечение о нем нес о. Венедикт», затем в дионисиатскую кафизму ап. Иакова, брата Господня. Но поскольку вскоре в Дионисиате среди братии возникли споры, с какой частотой следует принимать Причастие, и каждая сторона пыталась заручиться поддержкой Илариона, старец спустя 2 месяца перешел в Иверский монастырь, где прожил 6 месяцев (1836). Здесь он занялся разборкой груз. книг и составил 1-й каталог груз. библиотеки. Иером. Антоний Святогорец указывает также, что Иларион Грузин сделал из книг и рукописей извлечения (в основном жития святых), составившие 12 томов, которые под названием «Цветник» и без указания автора издал на грузинском языке в России игумен Зографа.
Оправившись от болезни, Иларион перешел в иверскую келлию ап. Иоанна Богослова, где подвизались грузинские монахи и где он «нашел истинное безмолвие». Двое братьев – каллиграф Макарий и Савва (впосл. известный афонский подвижник старец Савва Новый (1821-1908)) – упросили его взять их под свое начало. Иларион был рад ученикам-грекам: Савва помогал ему совершенствоваться в греческом языке. По просьбе русских монахов Иларион принимал исповедь в Русском великомученика Пантелеимона монастыре (Русике). Дабы избежать празднословия, он уходил на 5-10 дней к старцу Венедикту (Киотишвили) в иверскую келлию прор. Илии. Однако и там страждущие находили его, и старец в скором времени перебрался в построенную для него келлию св. Архангелов, а в 1843 г. перешел в дионисиатскую келлию ап. Иакова, брата Господня. Отказываясь от звания духовника, Иларион все же был вынужден принимать приходящих за духовным советом. Вскоре его стали называть «духовником духовников Афона». Нуждаясь в уединении, он периодически уходил на несколько дней в дионисиатскую кафизму св. Онуфрия.
В авг. 1849 г. И. Г. посетил церковный историк, писатель А. Н. Муравьёв, наслышанный о подвижнике от П. Иоселиани, изучавшего на Афоне грузинские манускрипты. Муравьёв назвал старца «неоцененным сокровищем – отшельником, каких мало на Афоне» и упомянул о том, что старец «ради крайнего смирения отказался от священнослужения» (Муравьёв. 1851. Т. 1. С. 290-292). В 1851 г. ученик Илариона Грузина Макарий принял блаженную кончину, а Савва был рукоположен во диакона, затем во иерея.
Сохранилось письмо иеромонаха Саввы монаху Денасию, подвизавшемуся в Русике, где он описывает, с какой глубокой тревогой отреагировал преподобный Иларион на известие о начале Крымской войны 1853-1856 гг. Узнав, что Константинопольский патриарх Анфим VI (Иоаннидис) издал указ о прочтении во всех афонских монастырях молитвы о даровании победы туркам, старец «ужаснулся и сказал: «Он не христианин!»» (Антоний Святогорец. 1985. С. 70). По предсказанию И. Г., читавшие молитву монахи монастыря Григориат (см. Григория преподобного монастырь на Афоне) навлекли на себя гнев Божий: водяной поток снес мельницу, в обители поднялся ропот. Игумен и братия умоляли старца Илариона указать им, как испросить прощение Божие, и следовали всем его наставлениям. По сведениям архим. Херувима (Карамбеласа), в 1854 г. офицеры русского парусника, бросившего якорь у Дионисиата, по приказу российского имп. Николая I обратились к святому Илариону, дабы узнать исход войны. Старец, не желавший, чтобы его почитали пророком, отказывался, но на 3-й день, уступив уговорам, сказал: «Россия перенесет трудности, она не победит, но и территорий не потеряет» (Херувим (Карамбелас). 2000. С. 326).
В 1857 г. в Дионисиате возник конфликт в связи с тем, что в просфорне жил просфорник, содержавший котов. Свтой Иларион обвинил настоятеля монастыря Евлогия в небрежении к святому и посоветовал выстроить для просфорни более просторное помещение – «хотя бы в половину» новой кельи настоятеля. Разгневанный игумен заставил старца покинуть монастырь, и святой Иларион перебрался в группу калив Малой св. Анны, находившуюся близ пещеры, где он раньше подвизался. Некий купец приобрел для него принадлежавшую скиту кафизму прп. Онуфрия,где старец прожил 5 лет. Алтарь келлии нуждался в значительном ремонте, но в скиту средств для этого не имелось. Деньги появились чудесным образом: один монах из Великой Лавры, занятый сбором средств для своей обители, встретил в Валахии некую женщину, которая вручила ему 20 червонцев и просила передать Илариону Грузину. Как выяснилось позже, старец не знал, кто она, и, решив, что деньги не для него, велел раздать нищим. Однако совет Лавры определил использовать эти средства на перестройку церкви в келлии старца: по пожеланию Илариона новый храм был освящен в честь Воскресения Христова.
В 1859 г. старца посетили приехавшие для разрешения духовных и церковных вопросов управляющий канцелярией Святейшего Синода РПЦ П. И. Саломон и чиновник особых поручений К. К. Зедергольм (впоследствии иеромонах Оптиной пустыни Климент): сохранились письмо Саломона старцу от 1862 г. и ответ святого Илариона, датированный 4 февраля 1863 г. В том же 1859 г. произошло ставшее известным за пределами Афона событие. Иером. Григорий из скита прав. Анны (Большая св. Анна) и игумен монастыря Кутлумуш «приняли английское подданство и паспорт». Иларион Грузин наложил на иеромонаха Григория епитимию – отлучил от литургисания на 40 дней. Однако игумен Кутлумуша, заявив, что иеромонах Григорий «слушает человека, дальше своей дикой пустыни ничего не понимающего», велел служить и поминать на проскомидии имя английского посланника-протестанта.
Духовник иеромонаха Григория и старец Иларион ужесточили епитимьи, но игумен, узнав об этом, поносил обоих старцев и вынудил иеромонаха отвергнуть их. После литургии у иером. Григория пошла из носа кровь, которую не могли остановить, и он скончался.
В 1862 г. Иларион Грузин и иеромонах Савва перешли в Русик и поселились в келлии Печерских преподобных, а спустя год – в выстроенной специально для старца его русским почитателем из Острогожска Е. Г. Хабаровым келлии вмч. Георгия, церковь в которой была освящена в октябре того года. Тогда же старца посетил настроенный предвзято по отношению к афонским насельникам обер-прокурор Святейшего Синода РПЦ гр. А. П. Толстой (1856-1862). Однако беседа со старцем, о котором граф был наслышан от своей супруги – грузинской княжны А. Г. Грузинской, создала об Афоне благоприятное впечатление.