A történelem egyik fontos eseménye 1964 nyarán történt, ma pedig már a háttérben meghúzódó döntésekről is tudunk. A száműzetésében elkészítette memoárját, melyet később úgy kellett kicsempészni nyugatra. Hruscsov pártfőtitkárnak nem volt választása.
Picundán töltötte szabadságát a Sztálint leleplező Nyikita Hruscsov, aki gépe leszállásakor értesült a Moszkvában tartott rendkívüli ülésről. Brezsnyev, a szovjet Legfelsőbb Tanács Elnökségének elnöke hívta össze a döntéshozókat Moszkvában, melyre az utolsó pillanatban kapta meg a meghívót.
Ezt személyesen a landoláskor közölte vele a KGB főnöke, Vlagyimir Szemicsasztnij. A Kremlbe utazásuk során közölte vele, hogy napirendi pont lesz a leváltásáról való döntés is. Elmondta, nem tanácsos szembeszülnie a döntéssel, és hozzátette, mindenki emlékszik milyen sorsra jutott a hasonló helyzetben lévő Lavrentyik Berija, Sztálin “balkeze”.
A találkozón nem várta meg, hogy elmondhassák a döntéshozók az álláspontjukat, ő maga megelőzte a bejelentést, vagy ahogy ő fogalmazott, hogy “Szarral terítsék be”.
Kijelentette: “Öreg vagyok és elfáradtam. Nem fogok ellenállni. De emlékezzetek, mert volna-e valaki, aki arról ábrándozhatna, hogy Sztálin arcába vágja, ideje volna visszavonulnia? Mostanra megváltozott a helyzet. Elmúlt a félelem ideje, egyenlőként beszélhetünk egymás közt. Ez az én hozzájárulásom. Nem fogok harcolni.”
A Központi Bizottság ülésén ő maga mondta, tekintettel a korára és megrendült egészségi állapotára, visszavonul. Helyére Brezsnyevet választották meg.
A memoárjában leírta: “az, hogy engem már nem végeztek ki, a legfőbb bizonyítéka lehet annak, amit ő maga vitt véghez”.
