little-things

The little things give you away... A collection of various small helper stuff

JustAnotherArchivist 0598780c3c Fix crash on pipeline group without any jobs		преди 1 ден
.gitignore	Add infrastructure for simple C-based tools	преди 4 години
.make-and-exec	#!/usr/bin/env bash	преди 10 месеца
.urldecode-test	Get rid of Makefile for more control; add proper debug build support	преди 3 години
.warc-dump-responses-test	#!/usr/bin/env bash	преди 10 месеца
.youtube-extract-rapid-test	Get rid of Makefile for more control; add proper debug build support	преди 3 години
LICENSE	Initial commit	преди 7 години
README.md	Initial commit	преди 7 години
alphabetseq	Add common alphabets as names	преди 1 година
archivebot-blogspot	#!/usr/bin/env bash	преди 10 месеца
archivebot-compress-db	#!/usr/bin/env bash	преди 10 месеца
archivebot-db-edit	Avoid buffering full output when using a non-modifying command like print	преди 3 месеца
archivebot-fix-queue-counters	In-progress URLs are not counted as part of the queue	преди 1 година
archivebot-high-resources	#!/usr/bin/env bash	преди 10 месеца
archivebot-irccloud-paste	#!/usr/bin/env bash	преди 10 месеца
archivebot-jobid-calculation	More snscrape helper tools	преди 7 години
archivebot-jobs	Reimplement archivebot-pipelines-count-jobs with pipeline state tracking and colours	преди 2 седмици
archivebot-list-stuck-requests	#!/usr/bin/env bash	преди 10 месеца
archivebot-log-extract-ignores	#!/usr/bin/env bash	преди 10 месеца
archivebot-monitor-job-queue	#!/usr/bin/env bash	преди 10 месеца
archivebot-pipelines-count-jobs	Fix crash on pipeline group without any jobs	преди 1 ден
archivebot-requeue-refused	#!/usr/bin/env bash	преди 10 месеца
archivebot-tmp-log-check-and-delete	Add archivebot-tmp-log-check-and-delete	преди 5 месеца
archivebot-youtube	#!/usr/bin/env bash	преди 10 месеца
at-tracker-sample-user-item-size	#!/usr/bin/env bash	преди 10 месеца
azure-storage-list	Add --jsonl option	преди 4 години
b64grep	#!/usr/bin/env bash	преди 10 месеца
base64url	#!/usr/bin/env bash	преди 10 месеца
bencode2json	Add bencode2json	преди 3 години
bing-scrape	#!/usr/bin/env bash	преди 10 месеца
bugzilla-url-list	#!/usr/bin/env bash	преди 10 месеца
cdx-chunk	#!/usr/bin/env bash	преди 10 месеца
cidr-merge	Add cidr-merge	преди 1 година
cloudflare-email-decode	Add cloudflare-email-decode	преди 4 години
combine-by-prefix	#!/usr/bin/env bash	преди 10 месеца
curl-ab	#!/usr/bin/env bash	преди 10 месеца
curl-ia	Add --optional	преди 5 месеца
curl-irc	Allow for --insecure/-k for networks with invalid TLS certificates	преди 2 седмици
curl-ua	Add HTTP_USER_AGENT_OVERRIDE and HTTPS_INSECURE environment variables	преди 6 месеца
deb-repo-urls	#!/usr/bin/env bash	преди 10 месеца
dedupe	#!/usr/bin/env bash	преди 10 месеца
dir-to-ia	Send consistent UA to IA	преди 1 месец
europarl-meps-collect	#!/usr/bin/env bash	преди 10 месеца
extract-urls-for-archiveteam-projects	#!/usr/bin/env bash	преди 10 месеца
foolfuuka-search	#!/usr/bin/env bash	преди 10 месеца
format-size	#!/usr/bin/env bash	преди 10 месеца
fos-ftp-upload	#!/usr/bin/env bash	преди 10 месеца
get-crx4chrome-urls	#!/usr/bin/env bash	преди 10 месеца
gitea-list-repos	Add HTTP_USER_AGENT_OVERRIDE and HTTPS_INSECURE environment variables	преди 6 месеца
github-list-repos	Add --repo-list-urls	преди 6 месеца
gitlab-list-repos	Fix user/group resolution not having a timeout	преди 6 месеца
gofile.io-dl	#!/usr/bin/env bash	преди 10 месеца
grab-site-pack	Needs more --	преди 6 месеца
html-extract-stupid	#!/usr/bin/env bash	преди 10 месеца
http-response-bodies	Add http-response-bodies	преди 3 години
http-response-bodies.c	Fix extra LF between chunks	преди 2 години
ia-cdx-search	Send consistent UA to IA	преди 1 месец
ia-cdx-search-subdomains	#!/usr/bin/env bash	преди 10 месеца
ia-derive	Send consistent UA to IA	преди 1 месец
ia-download	Send consistent UA to IA	преди 1 месец
ia-files-xml-to-jsonl	Guarantee stable output order	преди 5 години
ia-metadata	Send consistent UA to IA	преди 1 месец
ia-s3-auth	Send consistent UA to IA	преди 1 месец
ia-task-log	Send consistent UA to IA	преди 1 месец
ia-tasks	Send consistent UA to IA	преди 1 месец
ia-upload-progress	#!/usr/bin/env bash	преди 10 месеца
ia-upload-stream	Send consistent UA to IA	преди 1 месец
ia-verify-file	Send consistent UA to IA	преди 1 месец
ia-wait-item-tasks	Send consistent UA to IA	преди 1 месец
iasha1check	Exit non-zero if retrieving the IA file list fails	преди 3 месеца
ix.io-upload	#!/usr/bin/env bash	преди 10 месеца
kill-connections	#!/usr/bin/env bash	преди 10 месеца
kill-wpull-connections	#!/usr/bin/env bash	преди 10 месеца
killcx-all-https	#!/usr/bin/env bash	преди 10 месеца
mastodon-enumerate-users	Enumerate users on a Mastodon instance	преди 7 години
mastodon-outdated	#!/usr/bin/env bash	преди 10 месеца
moinmoin-url-list	Add timeout and option to disable certificate verification	преди 7 месеца
parent-urls	#!/usr/bin/env bash	преди 10 месеца
pipelines-launch-in-tmux-windows	#!/usr/bin/env bash	преди 10 месеца
pipelines-monitor-tmux-wget-outcomes	#!/usr/bin/env bash	преди 10 месеца
pipelines-stop-gracefully	#!/usr/bin/env bash	преди 10 месеца
reddit-pushshift-search	#!/usr/bin/env bash	преди 10 месеца
run-every-five-minutes	#!/usr/bin/env bash	преди 10 месеца
s3-bucket-find-direct-url	Add support for PermanentRedirect error responses	преди 2 години
s3-bucket-list	Fix for DigitalOcean Spaces (which puts <Marker> after the <Contents>)	преди 1 година
s3-bucket-list-qwarc	#!/usr/bin/env bash	преди 10 месеца
sample	#!/usr/bin/env bash	преди 10 месеца
snscrape-extract	#!/usr/bin/env bash	преди 10 месеца
snscrape-facebook-user	#!/usr/bin/env bash	преди 10 месеца
snscrape-instagram-user	#!/usr/bin/env bash	преди 10 месеца
snscrape-prepare-commands	#!/usr/bin/env bash	преди 10 месеца
snscrape-tmux	#!/usr/bin/env bash	преди 10 месеца
snscrape-twitter-filter	#!/usr/bin/env bash	преди 10 месеца
snscrape-twitter-hashtag	#!/usr/bin/env bash	преди 10 месеца
snscrape-twitter-user	#!/usr/bin/env bash	преди 10 месеца
snscrape-upload	#!/usr/bin/env bash	преди 10 месеца
snscrape-vk-user	#!/usr/bin/env bash	преди 10 месеца
snscrape-wiki-transfer-merge	#!/usr/bin/env bash	преди 10 месеца
social-media-extract-profile-link	#!/usr/bin/env bash	преди 10 месеца
sum-sizes	Avoid float roundtrip for integer values	преди 2 години
tar-many-files-progress	#!/usr/bin/env bash	преди 10 месеца
tcp-closer	Add tcp-closer command	преди 7 години
torrent-tiny	Fix negative ints	преди 3 години
transfer.archivete.am-upload	Pass the curl exit status outwards	преди 5 месеца
transfer.notkiska.pw-check-ia	#!/usr/bin/env bash	преди 10 месеца
uniqify	#!/usr/bin/env bash	преди 10 месеца
uniqify-recent	#!/usr/bin/env bash	преди 10 месеца
url-normalise	#!/usr/bin/env bash	преди 10 месеца
url-prefix-count	#!/usr/bin/env bash	преди 10 месеца
urldecode	Add URL/percent decoding tool	преди 4 години
urldecode.c	Fix unused argc and argv error	преди 3 години
urlsort	#!/usr/bin/env bash	преди 10 месеца
warc-dump-responses	Add warc-dump-responses	преди 3 години
warc-dump-responses.c	Fix error when the terminating CRLFCRLF of a record is truncated	преди 2 години
warc-get-rubbish-offset	Add warc-get-rubbish-offset	преди 6 месеца
warc-peek	Allow negative offsets to peek near the end of the file	преди 3 години
warc-size	#!/usr/bin/env bash	преди 10 месеца
warc-tiny	Fix crash on non-understood payload digests	преди 5 месеца
website-extract-social-media	#!/usr/bin/env bash	преди 10 месеца
wget-spider-estimate-size	#!/usr/bin/env bash	преди 10 месеца
wiki-list-to-main	Add ArchiveBot wiki list helper	преди 7 години
wiki-recursive-extract-normalise	#!/usr/bin/env bash	преди 10 месеца
wiki-sections-sort	#!/usr/bin/env bash	преди 10 месеца
wiki-website-extract-social-media	#!/usr/bin/env bash	преди 10 месеца
wpull1-parallel-progress-monitor	#!/usr/bin/env bash	преди 10 месеца
wpull1-progress-monitor	#!/usr/bin/env bash	преди 10 месеца
wpull2-children	#!/usr/bin/env bash	преди 10 месеца
wpull2-db-edit	Add DB sampling	преди 8 месеца
wpull2-extract-ignored	#!/usr/bin/env bash	преди 10 месеца
wpull2-extract-remaining	#!/usr/bin/env bash	преди 10 месеца
wpull2-html-scrape	Add wpull2-html-scrape	преди 9 месеца
wpull2-log-colourise	#!/usr/bin/env bash	преди 10 месеца
wpull2-log-extract-errors	#!/usr/bin/env bash	преди 10 месеца
wpull2-requeue	Add wpull2-db-edit, a more flexible and powerful replacement of wpull2-requeue	преди 1 година
wpull2-url-origin	#!/usr/bin/env bash	преди 10 месеца
youtube-channel-list.py	Use _type instead of key check hack	преди 3 години
youtube-extract	Exclude backslashes in channel patterns	преди 3 години
youtube-extract-rapid	Add youtube-extract-rapid	преди 4 години
youtube-extract-rapid.c	Add youtube-extract-rapid	преди 4 години
youtube-filter-autogen-channels	#!/usr/bin/env bash	преди 10 месеца
zstdwarccat	Pass through zstd exit status	преди 1 година

README.md

Over the past few years, I’ve written and accumulated a number of useful little things to help with archival-related tasks. This repository collects them. I hope someone finds some of them useful.

License (applies to all programs in this repository)

This program is free software: you can redistribute it and/or modify it under the terms of the GNU General Public License as published by the Free Software Foundation, either version 3 of the License, or (at your option) any later version.

This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details.

You should have received a copy of the GNU General Public License along with this program. If not, see https://www.gnu.org/licenses/.