Но бывший работодатель сказал, что он не обязан мне ее выдавать, чтобы я шла в налоговую и там брала нужные справки! Прав ли он?

Действия бывшего работодателя неправомерны. Работодатель обязан выдать Вам справку в течение трех рабочих дней с момента Вашего письменного обращения за ней.

Правовое обоснование

По письменному заявлению работника работодатель обязан не позднее трех рабочих дней со дня подачи этого заявления выдать работнику копии документов, связанных с работой (копии приказа о приеме на работу, приказов о переводах на другую работу, приказа об увольнении с работы; выписки из трудовой книжки (за исключением случаев, если в соответствии с ТК РФ, иным федеральным законом трудовая книжка на работника не ведется); справки о заработной плате, о начисленных и фактически уплаченных страховых взносах о периоде работы у данного работодателя и другое). Копии документов, связанных с работой, должны быть заверены надлежащим образом и предоставляться работнику безвозмездно (ч. 1 ст. 62 ТК РФ).