JustAnotherArchivist
|
dde4464555
|
Cover two more rare URLs
|
před 3 roky |
JustAnotherArchivist
|
bbf2d2c315
|
Be more lenient regarding slashes to catch things with collapsed URLs in paths etc.
|
před 3 roky |
JustAnotherArchivist
|
362f66eb26
|
Handle youtube-nocookie.com and fix removenonyt mode not recognising CC domains
|
před 3 roky |
JustAnotherArchivist
|
81e2b4b999
|
Refine patterns
|
před 3 roky |
JustAnotherArchivist
|
9974d4613c
|
Stop trying to rewrite patterns for percent encoding
|
před 3 roky |
JustAnotherArchivist
|
0ee83bc0f2
|
Refactor
|
před 3 roky |
JustAnotherArchivist
|
b66260ca94
|
Add youtube-extract
|
před 3 roky |
JustAnotherArchivist
|
d82dff8b71
|
Add ETA column
|
před 3 roky |
JustAnotherArchivist
|
01274e461a
|
Prevent constantly moving bytes around for better performance on large chunked records
|
před 3 roky |
JustAnotherArchivist
|
77d9f61de0
|
Colourise output
|
před 3 roky |
JustAnotherArchivist
|
6512669cfd
|
Refactor and compare file list as well
|
před 3 roky |
JustAnotherArchivist
|
8e0cb30d0a
|
Add atdash mode
|
před 3 roky |
JustAnotherArchivist
|
5fe595d71c
|
Record wrapper script in meta WARC as well
|
před 3 roky |
JustAnotherArchivist
|
c1def0e7a8
|
Fix S3_WITH_LIST_URLS being defined (but empty) when --with-list-urls is not used
|
před 3 roky |
JustAnotherArchivist
|
398cbfdcda
|
Add s3-bucket-list-qwarc, rewritten s3-bucket-list on top of qwarc
|
před 3 roky |
JustAnotherArchivist
|
80084e0d35
|
Another alternative and performance/memory comparison
|
před 3 roky |
JustAnotherArchivist
|
6a288a6338
|
Use grep instead, which is faster but uses more memory
|
před 3 roky |
JustAnotherArchivist
|
4d274e64e0
|
Add dedupe
|
před 3 roky |
JustAnotherArchivist
|
a4af8e6ca6
|
Add IE6 UA
|
před 3 roky |
JustAnotherArchivist
|
ac277437a3
|
Add Googlebot UA
|
před 3 roky |
JustAnotherArchivist
|
0181e53f01
|
Treat NXDOMAIN and no A/AAAA record errors as ok
|
před 3 roky |
JustAnotherArchivist
|
41c2a9d2d4
|
Add support for alternative xmlns
Used on Google's storage under https://storage.googleapis.com/bucket/
|
před 3 roky |
JustAnotherArchivist
|
830e9dbc43
|
Treat redirects as successful retrievals
|
před 3 roky |
JustAnotherArchivist
|
7a999c9b0a
|
Ignore redirects
|
před 3 roky |
JustAnotherArchivist
|
579d589853
|
Add a script to extract errors from wpull 2.x logs
|
před 3 roky |
JustAnotherArchivist
|
d60948e90f
|
Verbosity
|
před 3 roky |
JustAnotherArchivist
|
a9a4792854
|
Fix server validation
|
před 3 roky |
JustAnotherArchivist
|
57e2e26d80
|
Support multi-file uploads
|
před 3 roky |
JustAnotherArchivist
|
02c967f608
|
Add gofile.io download script
|
před 3 roky |
JustAnotherArchivist
|
a83d28d08e
|
Add WARC/1.1 support
|
před 3 roky |
JustAnotherArchivist
|
ba2f7db380
|
Merge warc-peek repository into little-things
|
před 3 roky |
JustAnotherArchivist
|
79fc113467
|
Merge kill-wpull-connections repository into little-things
|
před 3 roky |
JustAnotherArchivist
|
b4bb9babac
|
Switch to HTTPS
|
před 3 roky |
JustAnotherArchivist
|
9f3c7b3ca8
|
Support negative filter values for date columns as relative to the current datetime
|
před 3 roky |
JustAnotherArchivist
|
c7151efc3e
|
Add script for checking whether a file on transfer.notkiska.pw was archived correctly with AB
|
před 4 roky |
JustAnotherArchivist
|
4c90bacaed
|
Shield values in colons with angled brackets
|
před 4 roky |
JustAnotherArchivist
|
f51adccd3f
|
Add --meta mode for dump-responses which prefixes each line with information about the file and record
|
před 4 roky |
JustAnotherArchivist
|
9cc1f41917
|
Pass the filename in NewFile events
|
před 4 roky |
JustAnotherArchivist
|
a38efc31b6
|
Introduce a way to provide additional arguments to processors
|
před 4 roky |
JustAnotherArchivist
|
ecf667884b
|
Fix deb file URLs
|
před 4 roky |
JustAnotherArchivist
|
1e5fbedcef
|
Fix log message going to stdout
|
před 4 roky |
JustAnotherArchivist
|
3a2cea1980
|
Add script for recursing over Debian repos
|
před 4 roky |
JustAnotherArchivist
|
4f12f73b57
|
Refactor filtering and add --pyfilter
|
před 4 roky |
JustAnotherArchivist
|
785f13ece8
|
Add --replace-{concurrency,delay}
|
před 4 roky |
JustAnotherArchivist
|
5067c406b2
|
Fix errors on invalid filter or sort values
|
před 4 roky |
JustAnotherArchivist
|
7e2befc827
|
+x
|
před 4 roky |
JustAnotherArchivist
|
49376db51b
|
Decode HTTP request bodies
|
před 4 roky |
JustAnotherArchivist
|
171ca4252b
|
Disable truncation when stdout is not a terminal
|
před 4 roky |
JustAnotherArchivist
|
9763370976
|
Truncate URLs by default to fit the terminal width
|
před 4 roky |
JustAnotherArchivist
|
1bc1487ecc
|
Add script for extracting remaining wpull 2 queue
|
před 4 roky |