Efter några säsonger som assisterande tränare i Senators gjorde Alfredson det förbjudna inför den här säsongen.
Han lät sig värvas av ärkerivalerna Toronto och skrev på ett kontrakt som ”associate coach” till nyanställde Jim Hiller, som fick sparken av LA Kings förra säsongen.
Toronto har inlett seriespelet med en vinst och två förluster medan det här var Senators första match.
– Vi hade tillräckligt med chanser för att göra fler mål, men ge (Linus) Ullmark beröm för att han höll dem kvar i matchen med några vassa räddningar, kommenterade William Nylander när han mötte media efteråt.
Milstolpe för Nylander
William var med och spelade fram Auston Matthews till 1-1-målet tidigt i den andra perioden.
Det var den 30-årige svenskens 400:e assist i NHL och 694:e poäng på 753 spelade matcher.
– Jag vet inte om jag får pucken, men det vore coolt att ha den, log Nylander när han fick frågan om någon hade säkrat pucken som gav honom milstolpen i natt.
Maple Leafs hade ledningen med 2-1 när drygt sju minuter återstod av mittenperioden.
Men Ottawa jagade intensivt och fick till en kvittering genom Michael Amadio innan perioden var över.
Segermålet kom i mitten av den tredje perioden och det var Stephen Halliday, som tryckte in en retur sedan Fabian Zetterlund skjutit och målvakten Sergej Bobrovskij lämnat retur.
Senators nyutnämnde lagkapten Thomas Chabot utnämndes till matchens lirare efter att som vanligt spelat mest (27.06 min) av alla och noterat ett mål och en assist.