Menurut sumber cerita dari para sesepuh desa, diketahui bahwa terbentuk desa Kartoharjo berasal dari riwayat :
Dari keterangan para pini sepuh seperti, Mbah Cokro, Mbah Darmo (Alm.), Mbah Soeparman (Alm.) Mantan Kades Kartoharjo yang ke-5, dan Pak Sarwo (Alm.) sesepuh Dusun Pangkur, bahwa asal-usul Desa Kartoharjo adalah dari beberapa persamaan, seperti milik tanah Kas Desa bergandengan/satu wilayah, kemudian adat istiadat, seperti Bersih Dusun/Nyadran, Makam (Kuburan) dari sebagian Penduduk Desa Winoto (Karangasri) yang meninggal dunia dikubur di Dusun Pangkur Desa Kartoharjo Ngawi, itulah bukti sebagian kecil.
Dari keterangan para pinisepuh tersebut Desa Nglayang memiliki wilayah Dusun Ketanggi, Candi, Gentong, Belem, Banaran, Sambirejo, Ngelo, Nglayang, kemudian Desa Nglayang dihapus pada waktu itu. Jadilah Desa Kartoharjo. Wilayah Desa Nglayang semuanya ditambah dari Desa Winoto (Karangasri) yaitu Dusun Bulung dan Desa Pangkur, untuk dijadikan kerajan Desa Kartoharjo adalah Dusun Pangkur, kemudian Desa Kartoharjo memiliki 3 (tiga) Dusun, dari gabungan Desa Nglayang adalah 1. Dusun Ketanggi, 2. Dusun Pangkur, 3. Dusun Bulung. Kita ambil kesimpulan bahwa Desa Kartoharjo lahir tahun 1920.
Kepala Desa yang menjabat pertama s/d sekarang adalah :
Tanggal 21 Juni 2010, Dusun Ketanggi resmi dipecah menjadi 2 (dua) yaitu : 1. Dusun Ketanggi Lor, 2. Dusun Ketanggi Kidul. Dan sekarang Desa Kartoharjo mempunyai 4 (empat) Dusun yaitu : 1. Dusun Ketanggi Lor, 2. Dusun Ketanggi Kidul, 3. Dusun Pangkur, dan 4. Dusun Bulung.
Berdasarkan riwayat tersebut maka dikenal maka daerah ini dikenal dengan Desa Kartoharjo sampai sekarang.