Hüseyin Avni Paşa, yakın arkadaşlarından Sadrazam Rüşdi Paşa, Şura-yı Devlet Reisi Midhat Paşa ve Şeyhülislam Hayrullah Efendi ile beraber (ki bunlara Erkan-ı Erbaa [1] denirdi) Sultan Abdülaziz’i tahttan indirdi. Böylece dünyanın en büyük devletinde bir diktatör rolü oynadı.
Sultanın varlığından dahi rahatsız olan Hüseyin Avni, 4 Haziran günü de Ablülaziz Hanı şehid ettirdi. Bu günü sabırsızlıkla bekleyen Hüseyin Avni Paşa, saraydan yükselen çığlık sesleri üzerine Kuzguncuk’taki yalısında hazır bekleyen kayıkla Fer’iye Sarayına gitti. Şehid edilen Sultan Abdülaziz Hanın ölüm raporunu imzalamak istemeyen iki doktordan birini hemen Trablusgarb’a sürdü. Diğer Doktor Ömer Beyin de rütbelerini orada söktü. Zira padişahın cenazesi, karakolda en az bir saat can çekişir halde bırakılmıştı (Bkz. Abdülaziz Han). Yaralı kuşlar ve sokaktaki başıboş hayvanlar için bile hastaneler kuran Osmanlı Sultanlarına, Hüseyin Avni ve arkadaşlarının reva gördüğü hakaretler, tarihe yüzlerinin karası olarak geçmiştir.
Sultan Abdülaziz’in daha önceden de hal’ edilmesi için birçok çalışmalarda bulunan Avni Paşa, padişahın hal’ edileceğini birkaç sene önce Londra’da İngiliz nazırlarına söylemek cesaret ve hıyanetinde bulunmuştu. İngilizlerin devamlı Sultan Aziz’in intihar tezini savunmaları bundandır.
Hüseyin Avni Paşanın devlet idaresini ele geçirmesinin sevinci pek kısa sürdü. 15 Haziran'da Sultan Abdülaziz’in kayınbiraderi Kurmay Yüzbaşı Çerkes Hasan Bey tarafından vurularak öldürüldü. (Bkz. Çerkes Hasan)
Hüseyin Avni Paşa, tarihin kaydettiği en kindar şahsiyetlerden biriydi. “Ahd-i saltanatında on bir sene ma’zul görevden alınmış bulundum” diye Sultan Abdülaziz’i açıkça tenkit ediyor ve padişahın aleyhine konuşuyordu. Ancak, onun (Hüseyin Avni'nin) intikam almaktaki ustalığını bilenler, bu sözleri padişaha duyurmaktan her zaman çekinmişlerdi. Yine “Kinim dinimdir!” diyecek kadar ileri gitmesi onun bu yönünü çok iyi ifade etmektedir. Hüseyin Avni Paşa, geçimsizliğinden ve meziyetsizliklerinden dolayı pek çok defa azlediliyor sonra çeşitli entrikalarla bir makam kapıyordu. O, iki yüzlü, aşırı kiniyle garazından ve bilhassa önü alınmaz ihtirasından başka özelliği olmayan bir insan olarak tanınmıştır. Tanzimat'tan sonra Osmanlı Devletinde başlayan ve Türk siyasi edebiyatında “kaht-ı rical” (adam kıtlığı) deyimi ile isimlendirilen devirde ortaya çıkan Avni Paşa, bu dönemin bütün karakteristik özelliklerini üzerinde toplamıştı. Genel olarak bu devirde vatan sevgisinin, hanedan ve padişaha bağlılığın azalması, ahlaksızlık ve körü körüne iktidar hırsı, üst kademeleri işgal eden bazı devlet adamlarının özellikleri olarak sayılabilir.
Hüseyin Avni Paşa; kaba, görgüsüz, laubali ve zalim biri olarak tanınmıştır. Bazı askeri hareketlerde başarısı görülmüş ve Fuad Paşa tarafından da himaye edilmesi, yükselmesini kolaylaştırmıştır. Tanzimat ricalinden Âli Paşa bu adamdan nefret etmekle beraber, Fuad Paşayı kırmamak için yükselmesini engellememiştir.
Devlet içinde kendi düşüncesine göre bir şeyler yapmaya meraklı olan Avni Paşanın, Mahmud Nedim Paşa tarafından azledilip nişanlarının alınması, padişaha bitmez bir kin bağlamasına sebep olmuştur. Hüseyin Avni’nin azil sebeplerinden bir diğeri de, harem-i hümayunda 'hazinedar' denilen yüksek rütbeli bir cariyeye sarkıntılık yapmasıdır. Ayrıca bir selamlık alayında, en seviyesiz külhan beyinin bile yapmaktan utanacağı bir hareketle, Kadınefendiye lafla sarkıntılık etmesidir.
Şurası muhakkak ki, Hüseyin Avni Paşanın bu menfi hal ve hareketleri, Sultan Abdülaziz’in tahttan indirilmesine ve devletin başına 93 Harbi başta olmak üzere seri felaketlerin gelmesine sebep olmuştur. Hüseyin Avni Paşa, son yüzyıl Türk tarihinin en karanlık ve menfi şahsiyetlerinden biri olarak tarihe geçmiştir.
