L'Unité des services spéciaux (SSU), créée il y a plus de 20 ans, a été sous le feu des critiques après des cas de disparitions forcées et de meurtres.
"Nous avons démantelé cette unité qui tuait arbitrairement des Kényans", a déclaré dimanche le président Ruto.
"La sécurité s'est détériorée et la police s'est mise à tuer des Kényans au lieu de les protéger", a-t-il poursuivi.
En janvier, la police avait ouvert une enquête après la découverte de corps en état de décomposition, dont certains portaient des traces de torture, dans une rivière de l'ouest du Kenya.
Au moins 39 corps non identifiés, tous des hommes, ont été retrouvés dans la rivière Yala, selon Missing Voices, un groupe qui milite pour dénoncer des exécutions extrajudiciaires au Kenya.
Lire aussi : William Ruto investi président du Kenya
D'autres corps ont été retrouvés dans d'autres rivières du pays, dans des conditions similaires et sur fond de colère de la population contre les violences policières et ce qui a été perçu comme l'échec des autorités à faire rendre des comptes aux coupables parmi les forces de l'ordre.
La police n'a pas encore publié les conclusions de l'enquête.
La décision du chef de l'Etat a été saluée par plusieurs associations de défense des droits de l'Homme, dont Amnesty International.
"La police doit également auditer les activités de l'Unité [des services spéciaux] et répondre publiquement aux allégations de responsabilité dans les disparitions forcées et les exécutions extrajudiciaires de nombreux suspects", a néanmoins demandé Amnesty sur Twitter.
Lire aussi : Vidéo. Kenya: six policiers convaincus de corruption passent devant la justice
La police kényane a été accusée par le passé d'avoir dirigé des escouades de tueurs à gages ciblant des personnes enquêtant sur des violations présumées des droits de l'Homme par les services de sécurité, y compris des avocats.
Selon Missing Voices, 1.264 personnes sont mortes entre les mains de la police depuis qu'elle a commencé à collecter des données en 2007.
La Direction des enquêtes criminelles, à laquelle appartenait l'USS, a indiqué que tous les membres de cette unité avaient été rappelés dans l'attente d'"instructions plus détaillées".