.gitignore
Add infrastructure for simple C-based tools
преди 2 години
.make-and-exec
Add infrastructure for simple C-based tools
преди 2 години
.make-and-exec-Makefile
Fix make exiting 1 if test script is missing
преди 1 година
.urldecode-test
Remove debugging prints
преди 2 години
.youtube-extract-rapid-test
Add youtube-extract-rapid
преди 2 години
LICENSE
Initial commit
преди 5 години
README.md
Initial commit
преди 5 години
alphabetseq
Swap syntaxes
преди 2 години
archivebot-blogspot
Fix HTTPS handling
преди 5 години
archivebot-fix-queue-counters
Fix TypeError
преди 1 година
archivebot-high-memory
Support python3 in any directory instead of just /usr/bin
преди 4 години
archivebot-irccloud-paste
Add archivebot-irccloud-paste
преди 3 години
archivebot-jobid-calculation
More snscrape helper tools
преди 5 години
archivebot-jobs
Make job a global variable in --pyfilter expressions so it can be used in genexps
преди 2 години
archivebot-list-stuck-requests
Fix line endings
преди 5 години
archivebot-log-extract-ignores
Add archivebot-log-extract-ignores
преди 3 години
archivebot-monitor-job-queue
First set of little things
преди 5 години
archivebot-youtube
Add helper for AB/chromebot-ing YouTube channels and users
преди 5 години
at-tracker-sample-user-item-size
Add at-tracker-sample-user-item-size
преди 2 години
azure-storage-list
Add --jsonl option
преди 2 години
b64grep
Add b64grep
преди 2 години
base64url
Add base64url
преди 2 години
bencode2json
Add bencode2json
преди 1 година
bing-scrape
Fix
преди 2 години
bugzilla-url-list
Add Bugzilla URL list generator
преди 2 години
cdx-chunk
Add cdx-chunk
преди 2 години
cloudflare-email-decode
Add cloudflare-email-decode
преди 2 години
combine-by-prefix
Add combine-by-prefix
преди 2 години
curl-ua
Add IE6 UA
преди 3 години
deb-repo-urls
Fix deb file URLs
преди 3 години
dedupe
Another alternative and performance/memory comparison
преди 3 години
europarl-meps-collect
Add script for scraping MEP links from europarl.europa.eu
преди 5 години
foolfuuka-search
Better workaround for the 5000 results limit; works for FoolFuuka 2.0.1 and up
преди 5 години
format-size
Split out size formatting
преди 5 години
fos-ftp-upload
First set of little things
преди 5 години
get-crx4chrome-urls
First set of little things
преди 5 години
github-list-repos
Make --name a normal mode
преди 1 година
gitlab-list-repos
Add support for other instances and full-instance listing
преди 2 години
gofile.io-dl
Add support for password-protected folders
преди 2 години
html-extract-stupid
Filter out lines without an attribute value
преди 1 година
http-response-bodies
Add http-response-bodies
преди 1 година
http-response-bodies.c
Fix off-by-one error for non-chunked responses
преди 1 година
ia-cdx-search
Fix error when no arguments are provided
преди 1 година
ia-cdx-search-subdomains
Fix URLs without a path
преди 1 година
ia-derive
Queue derives with `ia tasks` instead of this manual curl rubbish
преди 2 години
ia-files-xml-to-jsonl
Guarantee stable output order
преди 3 години
ia-upload-progress
Proper script for tracking size of uploaded data
преди 5 години
ia-upload-stream
Fix exit statuses of ia-upload-stream and ia-wait-item-tasks
преди 1 година
ia-verify-file
Add a timeout to prevent potentially indefinite blocking
преди 2 години
ia-wait-item-tasks
Fix exit statuses of ia-upload-stream and ia-wait-item-tasks
преди 1 година
iasha1check
Fix output sometimes appearing after prompt
преди 1 година
ix.io-upload
Allow overriding the "remote filename"
преди 5 години
kill-connections
Handle processes with too many open connections
преди 2 години
kill-wpull-connections
Merge kill-wpull-connections repository into little-things
преди 3 години
killcx-all-https
First set of little things
преди 5 години
mastodon-enumerate-users
Enumerate users on a Mastodon instance
преди 5 години
mastodon-outdated
Finding outdated Mastodon instances
преди 5 години
parent-urls
Refactor, strip query/fragment
преди 3 години
pipelines-launch-in-tmux-windows
First set of little things
преди 5 години
pipelines-monitor-tmux-wget-outcomes
Monitor how a pipeline's wget processes are faring
преди 5 години
pipelines-stop-gracefully
First set of little things
преди 5 години
reddit-pushshift-search
Add Bing, Reddit/Pushshift, and FoolFuuka scrapers
преди 5 години
run-every-five-minutes
First set of little things
преди 5 години
s3-bucket-find-direct-url
Add Wasabi
преди 2 години
s3-bucket-list
Make S3 response pattern matching more flexible (so it also works on Scaleway)
преди 2 години
s3-bucket-list-qwarc
Add JSONL output option for S3 listing
преди 2 години
snscrape-extract
Add support for Twitter hashtag extraction
преди 4 години
snscrape-facebook-user
Silence by default
преди 5 години
snscrape-instagram-user
Silence by default
преди 5 години
snscrape-prepare-commands
Add support for Twitter hashtag extraction
преди 4 години
snscrape-tmux
Update tmux session commands
преди 4 години
snscrape-twitter-filter
Filter Twitter hashtag scrapes based on account scrapes
преди 5 години
snscrape-twitter-hashtag
Extract external links from Twitter
преди 5 години
snscrape-twitter-user
Extract external links from Twitter
преди 5 години
snscrape-upload
Print Instagram ignore immediately after upload instead of at the end
преди 5 години
snscrape-vk-user
Silence by default
преди 5 години
snscrape-wiki-transfer-merge
Helper tools for snscrape and the wiki pages
преди 5 години
social-media-extract-profile-link
Fix decoding of links on Facebook profiles
преди 4 години
sum-sizes
Fix confusing output for skipped lines
преди 1 година
tar-many-files-progress
First set of little things
преди 5 години
tcp-closer
Add tcp-closer command
преди 5 години
transfer.archivete.am-upload
Handle HTTP/2 lowercase headers
преди 3 години
transfer.notkiska.pw-check-ia
Switch to HTTPS
преди 3 години
uniqify
Add uniqify
преди 5 години
url-normalise
Normalise domain name to lower-case before further processing
преди 4 години
urldecode
Add URL/percent decoding tool
преди 2 години
urldecode.c
Add URL/percent decoding tool
преди 2 години
urlsort
Add urlsort
преди 2 години
warc-dump-responses
Add warc-dump-responses
преди 1 година
warc-dump-responses.c
Fix header matches potentially occurring in the record body
преди 1 година
warc-peek
Allow negative offsets to peek near the end of the file
преди 1 година
warc-size
Split out size formatting
преди 5 години
warc-tiny
Fix infinite loop when file ends with something that is not a WARC record
преди 2 години
website-extract-social-media
Add support for Facebook /pages/category/Category/Name-ID URLs
преди 4 години
wget-spider-estimate-size
First set of little things
преди 5 години
wiki-list-to-main
Add ArchiveBot wiki list helper
преди 5 години
wiki-recursive-extract-normalise
Fix deduplication within each section processing
преди 4 години
wiki-sections-sort
Add wiki-sections-sort
преди 4 години
wiki-website-extract-social-media
Add script for automatic social media discovery
преди 4 години
wpull1-parallel-progress-monitor
First set of little things
преди 5 години
wpull1-progress-monitor
First set of little things
преди 5 години
wpull2-extract-remaining
Clean up wpull DB commands
преди 3 години
wpull2-log-colourise
Add wpull2-log-colourise
преди 1 година
wpull2-log-extract-errors
Treat NXDOMAIN and no A/AAAA record errors as ok
преди 3 години
wpull2-requeue
Error on unknown options
преди 2 години
wpull2-url-origin
Clean up wpull DB commands
преди 3 години
youtube-channel-list.py
Use _type instead of key check hack
преди 1 година
youtube-extract
Exclude backslashes in channel patterns
преди 1 година
youtube-extract-rapid
Add youtube-extract-rapid
преди 2 години
youtube-extract-rapid.c
Add youtube-extract-rapid
преди 2 години
youtube-filter-autogen-channels
Add youtube-filter-autogen-channels
преди 4 години
zstdwarccat
Fix 'Dictionary mismatch' error when very small dicts are used because the temporary file isn't written to disk before zstdcat gets executed
преди 2 години