PHP скрипт з величезним часом виконання
Вітаю всіх хабрівчан
Є скрипт парсингу xml файлу з наступним записом в базу і закачування картинок по урлах з цього файлу. Скрипт використовує SimpleXML. Відразу обмовлюся, що писав його не я, я лише зараз доводжу його до стану потрібного нам дописуючи необхідні речі. Проблема полягає в тому, що обсяг файлу який ми паримо дуже великий - 8000-8500 записів. Плюс на кожен запис від 3 до 5 картинок, які він качає. В результаті скрипт парсить десь 6500 записів і далі тихо зупиняється. Я намагався запустити цей скрипт на хостингу, де можна підняти максимальний час виконання — допомагає але не повністю — парсить десь 7500-7800 записів і зупиняється. Може є ще якісь обмеження, які треба піднімати?
Прошу підказати мені про методики написання таких скриптів, що обробляють більші обсяги даних. Через cron його запустити не вдасться - оскільки це розширення до однієї з ЦМС. Буду вдячний за будь-які думки та ідеї
Можна написати скрипт щоб він парсів наприклад по 100 записів і потім зберігав поточну позицію і перезапускався, починав парсинг зі збереженої позиції.
Таким чином вирішите проблему з часом виконання та всім іншим