Святий Іларіон оселився в Діонісіаті, де на чолі з ігуменом Євлогієм проживали 14 насельників (інша братія трудилася на островах Порос, Закінф і Скопелос і повернулася в обитель 6 червня 1830). Але оскільки там, як і в інших афонських монастирях, стояв турецький гарнізон (у Діонісіаті – понад 50 осіб), Іларіон незабаром перебрався до печери біля обителі, де трудився 2,5 роки. Потім у печерах Катунакій Іларіон у безмовності провів ще 3,5 роки, вживаючи в їжу тільки трави, коріння та каштани. Духовним батьком його тим часом був афонський старець Неофіт (Караманліс).
Якось ченець збирав біля печери Іларіона Грузина равликів. Виявивши в ній знемоглого від хвороб і голоду старця, чернець віддав йому равликів і розповів про подвижника в найближчих скитах; ченці почали приносити йому їжу та звертатися за духовними порадами. Стиснутий значною кількістю відвідувачів, Іларіон, випросивши благословення у Павла, настоятеля Нового скиту на честь Різдва Пресвятої Богородиці, пішов у затвор, сховавшись у вежі Нового скиту, де провів близько 3 років. Насельник скиту чернець Герасим раз на 15 днів приносив йому сухарі та воду.
Монах Герасим неодноразово був свідком того, як преподобного Іларіона були демони. Одного разу він знайшов старця напівживим, побитим «незліченними полками бісів, що йдуть до його пиргу (вежі) від Святопавлівських пісків, протягом відстані півгодинного шляху». Старця винесли з вежі, покликали ієром. Венедикта (Кіотішвілі), і той переконав пустельника залишити затвор. Старця перевели до келії св. Харалампія, «де піклування про нього нес. Венедикт», потім у діонісіатську кафізму ап. Якова, Господнього брата. Але оскільки незабаром у Діонісіаті серед братії виникли суперечки, з якою частотою слід приймати Причастя, і кожна сторона намагалася заручитися підтримкою Іларіона, старець через 2 місяці перейшов до Іверського монастиря, де прожив 6 місяців (1836). Тут він зайнявся розбиранням вантаж. книг та склав 1-й каталог вант. бібліотеки. Ієром.
Антоній Святогорець вказує також, що Іларіон Грузін зробив із книг та рукописів вилучення (в основному житія святих), що склали 12 томів, які під назвою «Квітник» і без вказівки автора видав грузинською мовою в Росії ігумен Зографа.
Оговтавшись від хвороби, Іларіон перейшов в іверську келію ап. Іоанна Богослова, де трудилися грузинські ченці і де він «знайшов справжню безмовність». Двоє братів - каліграф Макарій і Сава (після відомий афонський подвижник старець Сава Новий (1821-1908)) - впросили його взяти їх під свій початок. Іларіон був радий учням-грекам: Сава допомагав йому вдосконалюватись у грецькій мові. На прохання російських ченців Іларіон приймав сповідь у російському великомученику Пантелеїмона монастирі (Русіку). Щоб уникнути марнослів'я, він йшов на 5-10 днів до старця Венедикта (Кіотішвілі) в іверську келію прор. Іллі. Однак і там стражденні знаходили його, і старець незабаром перебрався в побудовану для нього келію св. Архангелів, а 1843 р. перейшов у діонісіатську келію ап. Якова, Господнього брата. Відмовляючись від звання духовника, Іларіон все ж таки був змушений приймати тих, хто приходить за духовною порадою. Невдовзі його почали називати «духовником духівників Афона». Потребуючи самоти, він періодично йшов на кілька днів в діонісіатську кафізму св. Онуфрія.
У серпні. 1849 р. І. Г. відвідав церковний історик, письменник А. Н. Муравйов, чув про подвижника від П. Йоселіані, який вивчав на Афон грузинські манускрипти. Муравйов назвав старця «неоціненим скарбом – пустельником, яких мало на Афоні» і згадав у тому, що старець «заради крайньої смирення відмовився від священнослужіння» (Муравйов. 1851. Т. 1. З. 290-292). У 1851 р. учень Іларіона Грузіна Макарій прийняв блаженну кончину, а Сава був висвячений на диякона, потім на ієрея.
Зберігся лист ієромонаха Сави ченцю Денасію, що подвизався в Русі, де він описує, з якою глибокою тривогою відреагував преподобний Іларіон на звістку про початок Кримської війни 1853-1856 рр. Дізнавшись, що Константинопольський патріарх Анфім VI (Іоаннідіс) видав указ про прочитання у всіх афонських монастирях молитви про дарування перемоги туркам, старець «жахнувся і сказав: «Він не християнин!»» (Антоній Святогорець. 1985. С. 70). За пророцтвом І. Г., які читали молитву ченці монастиря Григоріат (див. Григорія преподобного монастир на Афоні) накликали на себе гнів Божий: водяний потік зніс млин, в обителі піднявся ремствування. Ігумен і браття благали старця Іларіона вказати їм, як випросити Боже прощення, і дотримувалися всіх його настанов. За даними архім. Херувима (Карамбеласа), в 1854 р. офіцери російського вітрильника, який кинув якір у Діонісіата, за наказом російського імп. Миколи I звернулися до святого Іларіона, щоб дізнатися про результат війни.
Старець, який не бажав, щоб його вважали пророком, відмовлявся, але на третій день, поступившись умовлянням, сказав: «Росія перенесе труднощі, вона не переможе, але й територій не втратить» (Херувім (Карамбелас). 2000. С. 326).
У 1857 р. у Діонісіаті виник конфлікт у зв'язку з тим, що у просфорні жив просфорник, що містив котів. Свотій Іларіон звинуватив настоятеля монастиря Євлогія в недбалості до святого і порадив збудувати для просфорні більш просторе приміщення – «хоч би в половину» нової келії настоятеля. Розгніваний ігумен змусив старця покинути монастир, і святий Іларіон перебрався до групи калів Малої св. Анни, що знаходилася біля печери, де він раніше трудився. Якийсь купець придбав для нього кафізму прп. Онуфрія, де старець прожив 5 років. Вівтар келії потребував значного ремонту, але скиту коштів для цього не було. Гроші з'явилися чудовим чином: один чернець із Великої Лаври, зайнятий збором коштів для своєї обителі, зустрів у Валахії якусь жінку, яка вручила йому 20 червінців і просила передати Іларіону Грузіну. Як з'ясувалося пізніше, старець не знав, хто вона, і, вирішивши, що гроші не для нього, наказав роздати жебракам.
Однак рада Лаври визначила використати ці кошти на розбудову церкви в келії старця: за побажанням Іларіона новий храм було освячено на честь Воскресіння Христового.
У 1859 р. старця відвідали ті, хто приїхав для вирішення духовних і церковних питань, керуючий канцелярією Святішого Синоду РПЦ П. І. Саломон і чиновник особливих доручень К. К. Зедергольм (згодом ієромонах Оптиної пустелі Климент): збереглися листа Соломона6,2 листа Саломона6. датований 4 лютого 1863 р. У тому ж 1859 р. сталася відома поза Афона подія. Ієром. Григорій зі скиту правий. Анни (Велика св. Анна) та ігумен монастиря Кутлумуш «прийняли англійське підданство та паспорт». Іларіон Грузин наклав на ієромонаха Григорія епітімію – відлучив від літургіса на 40 днів. Однак ігумен Кутлумуша, заявивши, що ієромонах Григорій «слухає людину, що далі своєї дикої пустелі нічого не розуміє», велів служити і поминати на проскомідії ім'я англійського посланника-протестанта.
Духовник ієромонаха Григорія і старець Іларіон посилили епітимії, але ігумен, дізнавшись про це, ганьбив обох старців і змусив ієромонаха відкинути їх. Після літургії у єром. Григорія пішла з носа кров, яку не могли зупинити, і він помер.
У 1862 р. Іларіон Грузин та ієромонах Сава перейшли в Русик і оселилися в келії Печерських преподобних, а через рік – у побудованій спеціально для старця його російським шанувальником з Острогозька Є. Г. Хабаровим келії вмч. Георгія, церкву в якій було освячено у жовтні того року. Тоді ж старця відвідав налаштований упереджено до афонських насельників обер-прокурор Святішого Синоду РПЦ гр. А. П. Толстой (1856-1862). Однак бесіда зі старцем, про якого граф чув від своєї дружини – грузинської князівни А. Г. Грузинської, створила про Афон сприятливе враження.