Да, в конце слов автора ставится запятая.
Прямая речь в данном предложении оформляется по следующей формуле:
«П – а, – п».
– Да, – ответил он, повернулся и продолжил, – поэтому...
Если вторая часть прямой речи (Поэтому...) начинается с большой буквы, то после слов автора нужно ставить не запятую, а точку. По схеме:
"П, - а . - П..."
А вот если вторая часть прямой речи будет начинаться с маленькой буквы, тогда после слов автора нужно ставить именно запятую:
"П, - а , - п..."
