-
ネットサービス
-
Internet Archive総合 (web.archive.org) #6
-
UPLIFTで広告なしで体験しましょう！快適な閲覧ライフをお約束します！
なんだかんだでお世話になってるInternet Archiveについて語りましょう
Internet Archive
https://archive.org/
インターネット・アーカイブ - Wikipedia
https://ja.wikipedia...wiki/InternetArchive
------------------
X (旧Twitter)
https://x.com/internetarchive/
Bluesky
https://bsky.app/pro...znbu4wqwtcyurwbiulov
Mastodon
https://mastodon.arc...eck/@internetarchive
関連スレ
【保存・記録】ウェブアーカイブ総合 Page.02
https://mevius.5ch.n...internet/1700519014/
前スレッド
Internet Archive総合 (web.archive.org) #5
https://mevius.5ch.n...gi/esite/1690495133/ - コメントを投稿する
-
【QA】
Q.寄付したいんだけど?
こちらから金額,一度きりか毎月か,送金方法を選んで寄付してください
https://archive.org/donate
Q.すぐに保存したい場合は?
Save Page NowにURLを入力して「SAVE PAGE」ボタンを押す
https://web.archive.org/save/
Q.アカウント作ったらなんかいいことあるの?
A.ページのスクリーンショットを保存したり、ページの全てのリンク先を保存できる「Save outlinks」という機能が使える
Q.spn@archive.orgにメールでURLを送ったら保存されるの?
A.1週間後に保存完了のメールが届いたり、何も戻ってこない失敗した場合があるので、確実に保存したいなら辞めたほうがいい
Q.インスタのURLが保存できないんだけど
A.ログインしないとコンテンツが表示されない仕様になったので保存自体が無理になってます
Q.robots.txtでia_archiverをDisallowしても無視されるの?
A.中古ドメインでサイト見れなくするやつのせいでrobots.txtを見ない仕様になったので無視されることも従うこともある。保存できることもあるので確認してみたほうが早い
Q.鯖落ちしてる?
A.ここで鯖状態を見れる
https://analytics0.a...ive.org/stats/wb.php
https://archive.org/stats/
Q.Temporarily Offline The Internet Archive's sites are temporarily offline. We apologize for the inconvenience. って何?
A.たまにメンテやってサイト見れなくなることがあるので、待ちましょう。ツイッター(@InternetArchive)でメンテ予告は発表しています -
Q.Save Page Nowの制限などの仕様は?
A.ここを参照
https://docs.google....tSgpKHu4mk0MnrA/edit
Q.Save Page Nowで保存完了しても保存されたページが表示されないんだけど
A.完全にページが見れるようになるのと、/*/のページ一覧やカレンダーに反映されるまで時間かかるので最大数日待ってください
ほとんどは数分後には見えるようになってるはず、もしくはウェブブラウザのキャッシュを削除するといいかも
Q.「The capture is estimated to start in XX minutes.」って何?
A.Save Page Nowの保存サーバーの空きがなくて保存処理に時間がかかってる状態、急いでなければあとでやるのも手
Q.The same snapshot had been made XX minutes and XX seconds ago. We only allow new captures of the same URL every XX minutes.
A.同じURLを短期間の間に何度も保存できない仕様になっています、誰かが数分前に保存したか、自分で保存したときに一部の画像がかけて保存されている状態でも表示されることがあります
気になるなら1時間後ぐらいにもう一度保存してください
Q.The server didn't respond in time for https://(保存しようとしたURL)
A.極端にページの返答が遅いサイトを保存しようとするとこの表示が出ます、何度かやれば保存できることもあります
Q.「You have already reached the limit of active sessions」が出た
A.同じIPアドレスからの同時保存制限に引っかかってる状態。2021年5月24日以降はログインしていないユーザーは同時保存は3個まで。1分ほど待てば制限解除される
Q.「This URL has been already captured 10 times today. Please email us at "info@archive.org" if you would like to discuss this more.」が出た
A.1日に同じURLは10回まで保存できる制限に達したので、また明日(UTC) -
Q.「This URL has been excluded from the Wayback Machine. 」って何?
A. robots.txtのブロックや、サイトの運営者や著作権者がドメインやこのディレクトリごと非表示化の申請をした可能性があります、
ただしURLの保存はできますし、将来的にブロックが解除されて見れるようになる可能性もあります
Q.「Cannot get status of spn2-乱数」のエラーは何?
A.Save Page Nowで保存中にサーバーの状態が取得できなかったときのエラーで、/*/で保存されているか確認して、されてなければもう一度保存してください
Q.「404 Not Found」のエラーは何?
A.サイトが存在していてもこのエラーが出ることがあります。その場合は時間あけて一度保存してみましょう
Q.「Sorry Job failed」が出た
A.このエラーが出たとしても一部画像やスクリプトファイルが欠けた状態でページ保存できていることがありますので、/*/で確認してみてください
保存できてない場合はやり直してください -
拒否URL関係まとめ
This URL has been excluded from the Wayback Machine.
https://note.com/
https://gigazine.net/
https://boards.4channel.org/
https://bokete.jp/
https://yoshidakenkou.net/
https://tanteifile.com/
https://motherless.com/
https://www.lancers.jp/
This URL is in our block list
https://finance.yaho...o.jp/brokers-hikaku/ 以下全て
https://movie.eroterest.net/
https://anime.eroterest.net/
サイトの仕様で取れないもの
https://ch.dlsite.com/matome 記事本文が取得不可、todayなら取れる
https://www.pixiv.net/ 投コメのみ取得可、todayなら取れる
ArchiveTeamのexcludedまとめ
https://wiki.archive..._the_Wayback_Machine -
archiveってxvideoとかエロサイトの動画保存出来ないの？
-
2024/09/30 閉鎖 アキバ総研 https://akiba-souken.com/article/66874/ https://www.itmedia....2408/01/news124.html
2024/11/26 閉鎖 マンガ図書館Z https://closing.mang...info/2114/index.html
2024/12/20 閉鎖 vectorの作者個人ページ https://www.itmedia....2407/18/news117.html
2025/03/31 閉鎖 魔法のiらんど https://maho.jp/info..._no_longer_available
2025/03/31 閉鎖 SSブログ https://blog-wn.blog...s-blog.jp/2024-11-15
2025/03/31 閉鎖 ぷららのHPスペース https://www.docomo.n.../page/240627_01.html -
アーカイブ済のURL一覧を出力する方法
1. http://web.archive.o.../cdx?url=example.com*&output=txt にアクセス
2. example.comのところをアーカイブしたページのトップページURLに変える。*を誤って消さないようにすること
3. 大量のテキストが出るので全選択してコピー
4. Excel立ち上げてCtrl+Aで全選択して貼り付け
5. 「テキストから列へ」を選んでスペースを基準にセルを区切る
6. セル列のアルファベット文字をクリックしたらその列が全選択になるからURLの列をコピーしてテキストエディタに貼り付けるなりする
同じURLでも保存した時間分の数書いてあるから置換ツールで重複した行を消すこと
IAのURLsでは10000個までしか表示できないがこの方法使ってアーカイブされたURLの正確な総数がわかるはず
WEB版のExcelだと貼り付け時に容量オーバーで受け付けてくれないことがあるからその場合はLibreOffice Calcでも使えばいい
LibreOfficeの場合貼り付け後、表全体の全選択を解除し、1回セルAをクリックしてセルAを全選択した後、データ→テキストから列へ を選ぶことでセル分け可.能
引用元: https://exposureninj...ct-urls-archive-org/
https://mevius.5ch.n...esite/1628793497/332 -
>>1乙
-
たておつ
-
すれたて乙
-
ゲーム関係のファイル消えとる！
-
>>6
X(旧Twitter)も以下のメッセージが出て取得不可
We're currently facing some limitations when it comes to archiving this site.
We apologize for any inconvenience this might cause and appreciate your understanding. -
個人的に残しておきたい一覧
他にもまだまだありそうだ
https://hp.vector.co...jp/authors/VA003011/ nPOPQ
https://hp.vector.co...jp/authors/VA009019/ FitzNOTE
https://hp.vector.co...jp/authors/VA015839/ Linar
https://hp.vector.co...jp/authors/VA016080/ Yuuki! Novel
https://hp.vector.co...jp/authors/VA017441/ Noah
https://hp.vector.co...jp/authors/VA018351/ CLaunch/MouseGestureL.ahk
https://hp.vector.co...jp/authors/VA019601/ あやめ/かすみ
https://hp.vector.co...jp/authors/VA024591/ Irvine
https://hp.vector.co...jp/authors/VA031580/ MagFileCtrl
https://hp.vector.co...jp/authors/VA032094/ Qonoha
https://hp.vector.co...jp/authors/VA032597/ UnDup
https://hp.vector.co...jp/authors/VA033749/ AzPainter2
https://hp.vector.co...jp/authors/VA033958/ ZLCan
https://hp.vector.co...jp/authors/VA035069/ MeRu
https://hp.vector.co...jp/authors/VA036533/ ホットゾヌ
https://hp.vector.co...jp/authors/VA054960/ げっとおん -
好き嫌い.com、めちゃくちゃ書き込み数ある割にアーカイブされてないなと思ったら
クッキー使わないと書き込みページ見れない仕様なのか -
EchoAPIの柔軟なAPIモックツールのおかげで、ワークフローがすごく簡素化された -
このWeb開発の記事を楽しんでる！EchoAPIはAPIの管理とテストをシームレスに行うためのツールとなって、Web開発をずっと簡単で効率的にしてる -
新規保存が反映されてないくさい?
-
たしかにアーカイブしてもすぐには反映されなくなってるな
一応successと出てるから内部的には保存されてて数日後にはちゃんと表示されてるってパターンであることを願う -
web.archive.orgが全体的に503と表示されてるな…
archive.orgの方は動いてるからサイバー攻撃は食らってないっぽいが… -
EchoAPIをVS Codeで使い始めてから、開発プロセスが大きく変わた -
今見たらしっかり保存されてた
反映に時間かかってるっぽいね -
トップページを指定すれば全ページ保存されるのかと思ったけど、
配下のリンク先ページまでは保存してくれないのか -
特定のwebサイトを全部保存したいと思ったら皆どうしてる？
まず単純にトップページを指定しただけじゃ全然ダメだろうし
手動でwgetしてURLの一覧を手元で作ってそれをIAに投げるのが一番なのかな -
wget -m -p -E -k --continue --tries=100 --timeout 10
-
-m: ミラーリング用。再帰的ダウンロード、タイムスタンプ更新など、色々まとめて設定。
-p: ページ表示に必要な画像なども全部ダウンロード。
-E: ダウンロードしたファイルに適切な拡張子をつける。
-k: リンクをローカルで閲覧できるように書き換え。
--continue: ダウンロードが途中で止まったら、途中から再開。
--tries=100: ダウンロードの試行回数を100回に設定。
Infだと無限
--timeout 10: 10秒応答がなかったらタイムアウト。 -
postに時間かかるなと思ったらOfflineになってた
また攻撃されてるのかな
@internetarchive
We are working to restore service to archive.org.
午前0:35 · 202{}4年12月15日
x.com/internetarchive/status/186{}795{}660{}784{}344{}706{}7
{}←規制回避用 -
4桁の数字って書き込み規制の対象なのか
西暦も碌に書けないじゃん -
>>30
4桁の数字がアウト
NGになったのは大量の電番晒しマルチポストが原因
ちなみに電○○号というワードもNG
とのことらしい。まあ3桁ごとに数値文字参照に置き換えりゃ書けるんだけどそんなことやってられん。。 -
復活したな
-
ファンブログ サービス終了のお知らせ
2025年4月22日に閉鎖予定 -
最近、EchoAPIを使ってAPIテストを行っており、このツールのおかげでワークフローがすごく簡素化された -
fanblogs.jp/golf1000m/
fanblogs.jp/{任意の名前}
ってところか -
archive.todayのブログ、去年の８月から全く更新ないんだけど大丈夫なんだろうか
-
斧やux.getuploaderなどのロダって、ロダのページからアクセスできるファイルへの直リンがない(ダウンロードボタンを押さないとリンクが生成されない)のでIAへのアーカイブって無理ですよね？
-
>>41
uxならPC版ブラウザでF12を押して開発ツールを開いてDLボタンを押せば直リンが表示されるからURLをコピってsave pageに貼り付ければおk
斧でも以前は出来たけど去年の12月頃に対策でもしたのか直リンが出なくなり保存してもパス入力ページに飛ばされるようになったっぽいから無理くさい? -
ここ最近、アーカイブへの保存が遅いぞ、何やってんだ海外ニキ！！本当にやる気あんのか？
全部俺に丸投げしてるんですか？
https://www.youtube..../watch?v=fBs_AY2F-x0
https://www.youtube..../watch?v=h38Fnb6KuC0
-
「アーカイブ」ってちゃんと覚えられたんだｗ
-
仕事中や就寝中で確認できなかった時に、アーカイブ保存をしている人は一体何やってんだか。
仕事中や就寝中で確認が出来ないからアーカイブする余裕が無いのかとしか思えない -
全く利用者何やってんだよ💢
本気でアーカイブ保存する気あんのか？
なんで誰も保存しないんだ？ -
アーカイブでNGしたらさすがに支障出るよな
-
>>42
情報ありがとうございます
uxの直リンなのですが、パターンがあるんですね
一方のファイルはシンプルな直リンなのですが、もう一方のファイルは生成されるtoken(ボタンから確認可能)が用いられてます
ファイルの種別によって方式が違うのかもしれません
アクセスしたときのtokenは全員共通ではないので、ダウンロードページからは辿れないため、検索からロダの名前で絞り込むのがいいですかね
他にいい方法などあれば教えてください -
元のファイルがアーカイブされているのに
わざわざ再アップロード物をアーカイブする理由が解らん
https://web.archive.org/web/*/download.microsoft.com/download/b/b/2/bb286c56-1f41-4f0f-8370-ea4b2978a42a/AOE2DEMO.EXE -
noteのR18記事をアーカイブする方法ないかな
-
エラー出るぞ
-
>>53
ドメイン乗っ取りじゃなくて逆SEO対策な、てかその資料に書いてあるけど -
>>49
API使えばCookie送れるから、Cookieで解決できるページならそれでアーカイブ出来る -
>>51
それはあくまでも例にあげただけで本命は別です -
アーカイブチームや利用者たちは本当にYouTubeの動画をアーカイブ保存で残す気あんのか？
まだアーカイブされてない動画が多くて、本当にやる気がないのか？と思ってしまう。
全部私に丸投げしてるのか？ -
おまけ機能だからしゃーないとしか思わないな
スポーツ新聞バカが消えたと思ったら今度はユーチューブバカか -
VTuber動画やライブ配信の初動データを確認できないとファン活動や分析に悩まされるんだよ。
保存はずっとで取り組むものです。
みんなどうせアーカイブが消えないので今すぐ保存する必要はない、手間がかかるから面倒くさいのでやりたくないと思ってんでしょ？ -
vtuberじゃないけど、東映チャンネルとかの動画をyt-dlpで保存するスクリプト回していたけど
最近403頻発するようになって諦めたな。 -
Vはファンコミュニティ色んな場所、いろんな形で共有してるし、なんなら動画やチャットをセルフホストして疑似youtubeのサイトつくったりもしてるからそっち系のアーキビストになればいいのでは
-
29日にニコニコ春画が終了するそうだ
-
インターネットアーカイブ全然使えない。
自分が見逃した動画のデータを見るのに適してない。
アーカイブ保存されるのに時間かかり過ぎ。
保存する人がやる気が無いように思えてしまう。 -
おまけ機能だからしゃーないとしか思わないな
-
>>64
大本のニコニコ静画自体が海外からのアクセス弾く上に２週間前に告知かよ -
YouTubeはアカウントのクッキー渡さないとすぐipブロックくらうようになったな
渡してもダウンロードしすぎるとそのアカウントでしばらく動画見れなくなる -
YouTubeはアカウントのクッキー渡さないとすぐipブロックくらうようになったな
渡してもダウンロードしすぎるとそのアカウントでしばらく動画見れなくなる -
うわっ、そのレベルになったのか
しばらく我慢かな… -
https://www.youtube..../watch?v=b_D7VFUy-ko
の方も公開から1時間後にアーカイブ保存かよ。
とても人気のある情報なのに全然使えねー。
私が求めているのは公開後すぐにアーカイブ保存してくれることであって、この件は全部俺に丸投げするのかよと思ってしまうわ。
-
複数アカウント使えばダウンロードできなくはないから自分でやることをオススメする
Archiveteamのyoutube プロジェクトもip規制でうまく動いてないから、本当に無くなってほしくない動画なら自分でやるしかない -
ipv6になって強制固定ipになったから、何か合った時が怖いんだよなー
ipv4時代はルーター再起動でip変わったけど、v6にしてからもう数年ipv4変わってない。 -
https://www.reddit.c...82t/comment/m6rpbur/
この投稿によれば--rate-limit 500000 にして、動画の再生リストをフル品質でミュートせずにブラウザで再生しながらするとブロックされないっぽい？ -
今までcliでvideoId放り投げれば終わりだったのに、rate-limitはともかくブラウザでオンタイムで再生させる必要があるのは完全な敗北レベルだな…
-
>>72 結局Archiveteamのyoutube プロジェクトも私に丸投げする気かw
本当に自己中すぎる
独りじゃ負担が大きいのに、24時間監視してろというのか？ニートじゃないんだから無理なんすよ。
みんなが動画が公開されてすぐにチェックしたのにそのまま放置、すぐにアーカイブ保存しないからこういうことになる。
みんな私に丸投げするするんですか？ -
おかしな人はもういいよ…
-
初心者で申し訳ないんですが、youtubeの動画って保存できてるんですか？
71のYoutubeはIAで再生できないです
tubeupの方でもみつけられないです
archive.org/details/youtube-b_D7VFUy-ko -
その 71 の再生画面のアーカイブ履歴凄いな
一人でやったのかｗ
-
YouTUbeのホロライブの配信枠、動画が公開されたらなるべく早くアーカイブ保存してほしいのに。就寝中や仕事中などで私一人では保存しきれません。
なので、アーカイブチームなどの皆さんの協力が必要です。
アーカイブ保存の遅延の改善を強く求めます。 -
直後に保存する必要性が理解できない
-
pcつけっぱにしてCrontabで定期的にytdlp回し続ければいいじゃん
Download archiveで重複回避もできるんだし -
私の個人的な発言ですが、動画は再生できなくてもいいから初期データあるいは公開から30分以内のデータが必要なんです。
情報収集のために直後、いや、なるべく早いアーカイブ保存が必要です。
そのためには皆さんの協力が必要なんです。できれば協力してほしい。 -
気持ち悪いよ
他人のコンテンツだろ -
クラウドソーシングで依頼すれば喜んでやってくれると思うぞ
-
インターネット上に存在するものをアーカイブする行為だから否定するつもりは無いけど
スポーツ新聞野郎と同じ臭いを感じる -
つか何故ここで呼び掛けるのかw
-
VTuberなんかよりって言ったら失礼だけどもっと他のものないんかな()
ローカルにダウンロードし解けばええやんという -
公開から30分以内のデータはinternetarchiveじゃなくて定期的にスクショ撮るスクリプトのほうが良さそう
-
そんなにやりたいならVスレにでもいけや
-
それな
-
ほらほら、その態度だ。
みんな初期データなんかどうでも良いと思ってんでしょう？それが甘いんですよ。
保存活動の重要性が軽視したり、「どうせ誰かが保存しているだろう」といった心理が蔓延したりするから誰もすぐに保存しようとしないんです。
そんなに初期データにこだわるなら自分がやれとか言って、動画データの保存を全部私に丸投げするんですか？
動画や配信枠が公開されたら直ちに保存しないと、今後見られなくなる可能性だってあるんですよ。
それでもいいというんですか？
これも全部みんなやアーカイブチームの責任ですよ。私一人に責任を押し付けるのはやめて欲しい。 -
動画は見れなくていいんじゃなかったのかw
-
アーカイブ作業といっても労働でしょ
ただ働きさせるつもり？ -
お前がファーストペンギンになればいいじゃん
-
甘いのはお前だ
-
まずはお前が率先してやって、他の視聴者に布教すればいい
その動画やらを見もしない奴に期待するな -
動画データの保存とかそういうのはべつの掲示板や鯖、フォーラム、チャンネルで活発に行われてるんだけどそれを知らないってことはその程度ってことなんだよね
-
自分もVtuber好きだけど
こういうこと言うのやめてほしい
自分でサービス知ってるなら動け
やり方もわかるでしょ
お前のお手伝いさんじゃないんだから
むしろコンテンツが好きで残しておきたいなら
俺だったら自分用に残すために自分で動くけどね -
てか、優先度とかもあるし
特定のコンテンツ重視で動くわけないだろ
好きなものなら自分で残すのが鉄板だぞ
世界中にアーカイブするものなんか星の数ほどあるんだから
