scrapy парсить с интервалом новое

0

2

Как на питоне с помощью scrapy парсить постоянно без завершения (с интервалом 30 сек) сайт на предмет новых скажем комментов, и самый новый коммент выводить в консоль? Скажем сайт anysite.ru/posts, а посты такого вида:

<div class="messages">

<div class="message">
<div class="date">04.02.18</div>
<div class="time">07:36</div>
<div class="text">Hi fucking world!</div>
</div>

<div class="message">
<div class="date">04.02.18</div>
<div class="time">07:33</div>
<div class="text">Three...</div>
</div>

<div class="message">
<div class="date">04.02.18</div>
<div class="time">07:30</div>
<div class="text">Two..</div>
</div>

<div class="message">
<div class="date">04.02.18</div>
<div class="time">07:27</div>
<div class="text">One.</div>
</div>

</div>