Всем привет.
Есть API, с которого нужно стянуть несколько сотен тысяч записей.
По документации за раз я могу получить не больше 500 записей. Далее нужно передавать спецпараметр для следующего набора записей и т. д.
Проблема в том, что после получения набора записей получаю иногда ошибку 429, а иногда прям сразу ещё до получения набора.
Можно ли при использовании HTTP-соединения как-то регулировать количество запросов к серверу? В заголовках у API нет, например, Retry-After.

В цикле что ли запрос?
Сделай в обработке ожидания, раз в 5 секунд

(1) Саму процедуру получения записей по апи(в которой создается HTTP-соединение? в обработчике ожидания запускать?

(2) повесить на регламентные запуск получения очередной порции 500 записей и прописать запуск регламента раз в 2-5 секунд

(0)


Либо api не секретный и можно показать ссылку на его документацию на форуме.

Либо api секретный и нужно задавать вопросы его создателям напрямую

Либо в api где-то написано чёрным по белому "как скачать 100 тыс записей и НЕ делать мозг их серверу"

(4) например на npchk.nalog.ru сервис проверки статусов контрагентов по ИНН на дату за раз обрабатывает только небольшой пакет, голов в 10000, ничего секретного, но и обходов, чтоб сразу все выкачать вроде не предусмотрено.

(0) МДЛП ?
"как-то регулировать количество запросов к серверу" - вопрос непонятен. Если на стороне сервера ограничение - его не обойдешь.

Чем руководствуются люди задавая вопрос на форуме, если есть чей-то api и есть документация, нужно обратиться в компанию предоставляющую передачу данных по этому api