Родился Киселев в маленьком городке Орловской губернии Мценске, в многодетной купеческой семье. Семья была небогатой, но после приходской школы и уездного училища, Андрей Киселев смог продолжить свое образование в орловской гимназии, которую закончил с золотой медалью. Затем были долгие годы учебы в Петербургском университете.
В 1875 году со степенью кандидата физико-математического факультета, выпускник столичного высшего учебного заведения Андрей Киселев получает направление на работу в Воронеж преподавателем математики, механики и черчения в только что открывшемся Воронежском реальном училище. Любовь к точным наукам и педагогический талант молодого преподавателя математики вылились в написание «Систематического курса арифметики для средних учебных заведений», который Киселев издал на свои деньги в 1884 году. «Точность формулировок…простота в рассуждениях, сжатость изложения»,- вот кредо автора этого учебного пособия. После первой книги Киселев пишет учебники для разных сословий – реальных училищ, гимназий, семинарий, кадетских корпусов. С 1884 года математику в России изучают по книгам Андрея Киселева. Надо сказать, что «Элементарная физика для средних учебных заведений» Киселева издавалась и переиздавалась в России вплоть до 1918 года.
Свою писательскую и педагогическую деятельность Андрей Петрович Киселев сочетает с активной общественной – он гласный Воронежской думы, благотворитель, щедро помогающий своими деньгами сельским школам. Андрей Петрович Киселев прожил в Воронеже, ставшем для него второй родиной, более сорока лет.
После Октябрьской революции 1917 года Андрей Петрович Киселев продолжает свою просветительскую миссию. В 1938 году его «Элементарная геометрия» стала официальным учебником страны. Советское правительство наградило Андрея Петровича Киселева орденом Трудового Красного знамени. «Я снова за работой и поэтому считаю себя счастливым», - пишет он в письме своему сыну.
Умер замечательный математик и педагог Андрей Петрович Киселев в 1940 году в Ленинграде, похоронен на Волковском кладбище, на аллее академиков. Его скромная могила находится рядом с могилой великого российского химика Д.И. Менделеева.
Имя А.П. Киселева носит воронежская школа с математическим профилем обучения.