qwarc

A framework for quick web archiving

Historie

JustAnotherArchivist 820384fe1e Stop deduping small responses For small responses, the additional headers for the revisit outweigh the payload truncation savings. The chosen limit of 100 bytes is completely arbitrary and not backed by any real-world data.		před 4 roky
..
__init__.py	Catch exceptions in Item.process and mark the items as errors instead of crashing	před 4 roky
aiohttp.py	Flush big responses to a temporary file instead of trying to keep everything in-memory	před 4 roky
cli.py	Support deep/multiple inheritance from Item	před 4 roky
const.py	Catch exceptions in Item.process and mark the items as errors instead of crashing	před 4 roky
utils.py	Write only successful retrievals (i.e. ones that don't cause an exception) to WARC	před 4 roky
version.py	Use setuptools_scm for versioning	před 4 roky
warc.py	Stop deduping small responses	před 4 roky