217 Ревизии (788b25707d9aad1f76da1922f4a48927ce205875)
 

Автор SHA1 Съобщение Дата
  JustAnotherArchivist 74162445aa Replace curl-archivebot-ua with a more general curl-ua script that supports different UAs selected by aliases преди 4 години
  JustAnotherArchivist 9d712d64d7 Ignore certain URLs on Twitter and Instagram entirely преди 4 години
  JustAnotherArchivist 87826d4844 Use line variable instead of prefix+url преди 4 години
  JustAnotherArchivist 163aacf13c Print deletion URL on stderr преди 4 години
  JustAnotherArchivist 486a593f15 Add support for more weird Facebook URLs преди 4 години
  JustAnotherArchivist 256a94443e Fix deduplication within each section processing преди 4 години
  JustAnotherArchivist 98d77ecc96 Deduplicate output преди 4 години
  JustAnotherArchivist 6ce64baf87 Remove redundant url-normalise after the extraction преди 4 години
  JustAnotherArchivist 318183148e Fix URL extraction from Facebook profile overview pages преди 4 години
  JustAnotherArchivist 869ade27eb Separate names in stderr annotations for the various url-normalise processes преди 4 години
  JustAnotherArchivist 79f0bd4332 Normalise URLs everywhere to reduce duplicates преди 4 години
  JustAnotherArchivist dc4efcfbfb One URL normalisation script to rule them all преди 4 години
  JustAnotherArchivist 0f13a1fadd Add verbosity options, and annotate stderr on wiki-recursive-extract преди 4 години
  JustAnotherArchivist 3ec816cd04 Add script for link extraction from social media profiles преди 4 години
  JustAnotherArchivist 5285c406d9 Add script for recursive website and social media discovery преди 4 години
  JustAnotherArchivist 2be9ca922e Ignore more useless Facebook links преди 4 години
  JustAnotherArchivist c3b0e5543e Add support for facebook.com/pg/something преди 4 години
  JustAnotherArchivist 7c389f1fef Add support for hashbang fragments on Twitter links преди 4 години
  JustAnotherArchivist c56736bc4a Ignore /intent on Twitter преди 4 години
  JustAnotherArchivist 4f34753788 Add support for Instagram posts and ignore spurious links from the CDN преди 4 години
  JustAnotherArchivist ad030f5d21 Add support for Facebook pages and groups преди 4 години
  JustAnotherArchivist cd0b3f6214 Ignore /vi/* on YouTube (video thumbnails) преди 4 години
  JustAnotherArchivist 6f1cca73ad Support hashtags преди 4 години
  JustAnotherArchivist c61efa03f0 Make social media normalisation script snscrape-independent преди 4 години
  JustAnotherArchivist e6008eb971 Add script for automatic social media discovery преди 4 години
  JustAnotherArchivist fed66542fa Support python3 in any directory instead of just /usr/bin преди 4 години
  JustAnotherArchivist 8f3c3bfdcd Add readme and licence преди 4 години
  JustAnotherArchivist 5982e131a4 Stop gracefully when encountering a SIGPIPE преди 4 години
  JustAnotherArchivist c13a1150df Add support for WARC/1.1 преди 4 години
  JustAnotherArchivist 376cde7b8c Fix broken block digest calculation on malformed HTTP responses преди 4 години
  JustAnotherArchivist b121cbd958 Write all log messages to stderr преди 4 години
  JustAnotherArchivist ed1270d988 Add support for upper-cased chunk lengths преди 4 години
  JustAnotherArchivist d4826abde2 Add record ID to log messages преди 4 години
  JustAnotherArchivist 4925a912c0 Add youtube-filter-autogen-channels преди 4 години
  JustAnotherArchivist 9b8f223776 Add wiki-sections-sort преди 4 години
  JustAnotherArchivist 552a4147c2 Fix not returning complete body for non-chunked responses преди 4 години
  JustAnotherArchivist 0dc0de6b50 Add support for lists преди 4 години
  JustAnotherArchivist 9d344df8c6 +x преди 4 години
  JustAnotherArchivist f6a7cbfc70 Fix --with-list-urls help message преди 4 години
  JustAnotherArchivist 9743aa7c35 Add s3-bucket-list преди 4 години
  JustAnotherArchivist 91adce786f Add YouTube normalisation script преди 4 години
  JustAnotherArchivist 5ca90c3b7d Update tmux session commands преди 4 години
  JustAnotherArchivist 679923d37d Add support for Twitter hashtag extraction преди 4 години
  JustAnotherArchivist 663383830c Add support for lists преди 4 години
  JustAnotherArchivist d85d142def Handle parameters on Twitter URLs преди 5 години
  JustAnotherArchivist 5984565417 Handle Twitter URLs with trailing slash преди 5 години
  JustAnotherArchivist 8647ccaa8f Support subdomain-less Facebook URLs преди 5 години
  JustAnotherArchivist 66ec0c93c4 Handle more Facebook URLs преди 5 години
  JustAnotherArchivist baa8a566bd Add script for scraping MEP links from europarl.europa.eu преди 5 години
  JustAnotherArchivist c2413b2c4f Add ArchiveBot wiki list helper преди 5 години