Будущий полководец родился 3 декабря (16 по новому стилю) 1901 года в селе Чепухино Валуйского уезда Воронежской губернии (ныне село Ватутино Валуйского района Белгородской области).
На момент рождения Николая крестьянская семья Ватутиных насчитывала 25 человек. Как было принято в старой русской деревне, вместе с дедом Ватутина, Григорием Дмитриевичем, жили его сыновья с женами и детьми. Николай был вторым ребенком в семье. Всего же его родители произвели на свет девять детей: пять сыновей и четыре дочери. С ранних лет Коля узнал, что такое тяжкий и изнурительный крестьянский труд. Ватутины не бедствовали, но, чтобы обеспечить большую семью, приходилось много работать.
Когда будущему полководцу исполнилось семь лет, его отправили учиться. Решение это далось родителям непросто: в школу уже ходил старший сын, Павел. А учить одновременно двух детей в то время могли себе позволить немногие крестьянские семьи: ведь каждый ребенок — это рабочие руки. Коля Ватутин учился прилежно и с увлечением, пел в детском хоре при школе, участвовал в театральных постановках. Учебное заведение в родном селе он окончил с отличием.
Чтобы продолжить образование, мальчику нужно было отправиться в уездный центр — город Валуйки — поступить в двухклассное земское училище. Это оказалось непросто. К тому времени отец Ватутина уже отделился от общей семьи и вел хозяйство самостоятельно, лишних денег на обучение детей не было.
По воспоминаниям родных, узнав, что учиться ему больше не придется, Коля так расстроился, что ни с кем не говорил, двое суток ничего не ел. Видя горе внука, на его сторону встал дед… Было решено отправить Николая в город.
В Валуйках Ватутин поселился на окраине города у родственников, Силиных, чуть ли не в пяти верстах от места учебы. Эта большая семья тоже жила в тесноте. Чтобы делать домашние задания, Николаю приходилось ждать, пока все уснут, но и это раздражало хозяина. Тогда мальчик решил вставать рано утром и приходить в училище задолго до начала занятий. Одевался он бедно, питался скудно, а порой и голодал по несколько дней. Но продолжал упорно учиться, много читал, занимался самостоятельно — и вскоре стал лучшим учеником. По свидетельству его товарища по училищу Ивана Насонова, уже в то время у Ватутина появилась мечта — стать военным.