little-things

Graf revizí

Autor	SHA1	Zpráva	Datum
JustAnotherArchivist	565be7bf1b	Fix	před 2 roky
JustAnotherArchivist	e2085e6c81	Add cloudflare-email-decode	před 2 roky
JustAnotherArchivist	73f35f5591	Fix infinite loop when file ends with something that is not a WARC record	před 2 roky
JustAnotherArchivist	06d60a798c	Bump read size	před 2 roky
JustAnotherArchivist	3e0b70be6b	Handle processes with too many open connections	před 2 roky
JustAnotherArchivist	df7b25c2db	Error on unknown options	před 2 roky
JustAnotherArchivist	4bd4f5a30c	Fix 'Argument list too long' error when using --urls-from-stdin with many URLs	před 2 roky
JustAnotherArchivist	e20d35a553	Fix crash on 429	před 2 roky
JustAnotherArchivist	cef61434a0	Add --urls-from-stdin	před 2 roky
JustAnotherArchivist	b5cf04947b	Add Wasabi	před 2 roky
JustAnotherArchivist	d2afd1309d	Add s3-bucket-find-direct-url	před 2 roky
JustAnotherArchivist	95988466ec	Make S3 response pattern matching more flexible (so it also works on Scaleway)	před 2 roky
JustAnotherArchivist	a9a03d3a00	Add urlsort	před 2 roky
JustAnotherArchivist	9798cc1188	Typo	před 2 roky
JustAnotherArchivist	d193637e5e	Add kill-connections	před 2 roky
JustAnotherArchivist	6cfe8e51ba	Make job a global variable in --pyfilter expressions so it can be used in genexps	před 2 roky
JustAnotherArchivist	a4627fa1c6	Queue derives with `ia tasks` instead of this manual curl rubbish	před 2 roky
JustAnotherArchivist	c68b310afc	Always print the parts value if there is an upload ID Previously, parts wouldn't be printed if it was an empty list. This made resuming uploads that crashed in the first part harder than necessary.	před 2 roky
JustAnotherArchivist	fdc3c3d69e	Support float values for --partsize with M or G suffix	před 2 roky
JustAnotherArchivist	002c1eb7ae	Wait until item exists IA doesn't immediately create the item on CreateMultipartUpload, so if it didn't already exist, UploadPart would fail for a while and we'd waste bandwidth.	před 2 roky
JustAnotherArchivist	142a5a9c49	Get rid of asyncio No point in using it when it only delegates to a ThreadPoolExecutor anyway.	před 2 roky
JustAnotherArchivist	b6663ae731	Add concurrency	před 2 roky
JustAnotherArchivist	22f2e68356	Add JSONL output option for S3 listing	před 2 roky
JustAnotherArchivist	bfebe9a2a5	Fix only sending partial file contents on retries	před 2 roky
JustAnotherArchivist	39b3b7793a	Add support for IA_CONFIG_FILE environment variable	před 2 roky
JustAnotherArchivist	7ed2906dd2	Add progress bar	před 2 roky
JustAnotherArchivist	58f0f0f8d0	Fix being unable to resume an upload that crashed in the first part	před 2 roky
JustAnotherArchivist	74485c399b	Require decompressed WARCs with warc-tiny	před 2 roky
JustAnotherArchivist	e24790132e	Add at-tracker-sample-user-item-size	před 2 roky
JustAnotherArchivist	a14939b069	Add base64url	před 2 roky
JustAnotherArchivist	5c2ce7ec10	Add cdx-chunk	před 2 roky
JustAnotherArchivist	fe0b020352	Add support for reading from stdin	před 2 roky
JustAnotherArchivist	1010769c3c	Handle connection errors	před 2 roky
JustAnotherArchivist	1acdc88c81	Add ia-upload-stream	před 2 roky
JustAnotherArchivist	360c4d9371	Add youtube-extract-rapid	před 2 roky
JustAnotherArchivist	d07b5a7d09	Remove debugging prints	před 2 roky
JustAnotherArchivist	bf5e065a0f	Add URL/percent decoding tool urldecode.c is entirely written by OrIdow6 except for one bug fix (char → uint8_t in the mallocs) and whitespace changes. The test suite is by JAA. Co-authored-by: OrIdow6 <68304414+OrIdow6@users.noreply.github.com>	před 2 roky
JustAnotherArchivist	11485d9404	Add infrastructure for simple C-based tools	před 2 roky
JustAnotherArchivist	c50a8fd796	Fix 'Dictionary mismatch' error when very small dicts are used because the temporary file isn't written to disk before zstdcat gets executed	před 2 roky
JustAnotherArchivist	5bc3d4b020	Fix crash on an empty response This check was a leftover from the resumeKey pagination, where empty responses are supposed to be impossible. With the page pagination, they are possible.	před 2 roky
JustAnotherArchivist	7f25c092d1	Catch other connection errors	před 2 roky
JustAnotherArchivist	f8352809f3	Handle ConnectionResetError	před 2 roky
JustAnotherArchivist	0b34268210	Catch socket.timeout, which is a separate exception class from TimeoutError before Python 3.10	před 2 roky
JustAnotherArchivist	0f7a2b32a3	Log number of results on a page	před 2 roky
JustAnotherArchivist	628aeb052f	Handle rate limiting	před 2 roky
JustAnotherArchivist	d3ea3ce8a0	Switch from urllib to http.client to reuse connections	před 2 roky
JustAnotherArchivist	8f7619ff3a	Add retries	před 2 roky
JustAnotherArchivist	f98fdd5f01	Fix printing HTTP response line to stdout instead of stderr	před 2 roky
JustAnotherArchivist	c9400ac46f	Fix recognition of command without optional parts	před 2 roky
JustAnotherArchivist	5ca15a7c94	Add concurrency support The proper way to do that (with asyncio) is of course aiohttp. A major drawback of the implemented approach is that running tasks can't be cancelled in case of an error. However, it works with just the standard library, and that advantage outweighs the awkward error handling for now.	před 2 roky

1 2 3 4 5 ...

333 Revize (565be7bf1bcf2721732b525906a64c47739f2dbd) Všechny větve Vyhledat

333 Revize (565be7bf1bcf2721732b525906a64c47739f2dbd)

Všechny větve