רש"י
לולא התמהמנו עַל יָדְךָ, כְּבָר הָיִינוּ שָׁבִים עִם שִׁמְעוֹן וְלֹא נִצְטַעַרְתָּ כָּל הַיָּמִים הַלָּלוּ:
ספורנו
כי לולא התמהמהנו. והטעם שקבלתי עלי חטא עולם אם לא הביאותיו הוא מפני שדבר ברור אצלי שלול' התמהמהנו מאז שספרנו אליך דברי האיש או מאז שכלה השבר: