これまでの経緯とこれからの予定 †
要旨: カオスになっている2chdat保管ページの管理を (wiki管理人の手を煩わせずに) 行おうじゃなイカ
- アニ関wiki開設当初、2chdatのページは、ページリネームする(管理権限必要)ことによって分割するという方法を取っていました。
↓
- しかし、管理人さんがリアル社会の方で多忙を極め、その分割が滞りがちだったので、管理人さんの手を煩わせない方法に変えようということで、意見・要望・雑談でお話が進んでいました。(現在、その話し合いの記録は打ち合わせの記録?のページに移動させてます)
↓
- 代替策として、アニ関Wiki過去ログうｐ支援ツール(外部サイト)を用意、2011/02/20(日) 16:00:00.00に移行。
↓
- 実際に動かしてみて、不具合などを確認。そして更なるバージョンアップを狙う。 ←いまここ
不具合、？な動作などありましたら、是非、最下(↓)の動作報告にコメントをお願いします。
↓
- ページの区切り方や表(テーブル)の書式を変えたので、既存の表(テーブル)も新体制にあわせて順次作り変え ←次ここ(同時並行で作業中)
うｐ支援ツールの特徴 †
- 番組ch(西日本)とアニ実の、アニ関＆滋賀奈良和歌山スレを簡単にうｐできます。使い方は、いままでのdat2chプラグイン/Updateプラグインと変わりません。
- 現行のdat2chプラグイン/Updateプラグインは、一旦使用を中止しています。(ページからは消去)
- dat保管ページは、スレ立て時刻を元に、以下のとおりに自動的に分かれます。
| 西日本 アニ関 | ページ名: 2chdat/2011/02 | 1ヵ月ごとにページわけ |
| アニ実 アニ関 | ページ名: 2chdat/liveanime/2011 | 1年ごとにページわけ |
| アニ実 滋奈和 | ページ名: 2chdat/liveanime/SNW | 当分ページは分けない(500スレ超えたら改めて考える) |
- ページわけの日付変更線は、午前5時(深夜29時)。つまり、0:00.00.00〜4:59.59.99は前日扱い(24:00.00.00〜28:59.59.99)とします。
- 例えば、「とある魔術の禁書目録?」が日曜日って言われると何か違和感ありませんか(土曜深夜って認識)。なので深夜は深夜として扱うことにしました。
- スレ立て日時・スレ終了日時の表記をはじめました。また、閲覧機能を追加しました。
- 実質表記の付記は、今までどうり手動で。付記場所も従前と同様(2chへのURL表記の後ろへ括弧書きで付加)
- 実質表記しなきゃいけない事態がそんなにないだろう、という前提に立ってます。だからこれからもスレ番あんま間違えないでください。
- 実質表記以外のコメントも、従前のとおり扱います(短いものは括弧付記、長いものは脚注として扱う)
- 2chdatページのページ更新は、タイムスタンプを変更「する」。
- 現行のdat2chプラグイン/Updateプラグインはタイムスタンプを変更しない仕様だったため、手動編集する際も基本的にそれに従っていましたが、今後はタイムスタンプを変更します。
- タイムスタンプを変更「する」ことによりメニューバーの「最新の15件」にliveな2chdat添付ページが乃莉続けることになり、当該ページへのアクセスがしやすくなる効果が期待されます。
ソース †
移行までの打ち合わせの記録 †
打ち合わせの記録?に移動させました。
動作報告・更なるバージョンアップ提案など †
うｐ支援ツールの動作についての報告(不具合とか疑問点とか)、新機能の要望・提案などありましたら、こちらにどうぞ。
- という訳で、移行させました。もう賽は投げちゃったので今更後戻りはできません --
- 深夜実況分のdatうｐを精力的に買って出てくださってた方へ、(↑)でちょっと書きましたが、一部誤りがありました。申し訳ありません。追加事項分含め、改めて書きます。 --
- 新体制に移行(上記うｐ支援ツールを使用)に変えると同時に、アニ関Wiki内のdat2ch/Uplodeプラグインを「ページ上からは」全て消します(ややこしいので／プラグインそのものは引き続き残る、というか放置されます)。「人間が操作する場合は」うｐ支援ツールの使い方はdat2ch/Uplodeプラグインと変わりません(POSTする情報が数点変わっています)。大変恐縮ですが、うｐ支援ツールのURLへの書き換え等をお願いしたく思います。
- なお、外部サイトを利用しているため、どうしてもakismet認証が時々発動します。「テーブル追加中にキャプチャ認証にひっかかりました．」と言うメッセージを返しますので、その際は適宜人力認証をお願いしたく思います。(ここらへんの対応はある程度運用した次の段階で考慮できればいいなと思ってます。というかwiki管理人なくして対応しようがない)
- 既存ページの変更作業は以下のとおりで遂行中。--
- アニ実と2011年以降のアニ関分を先行、その後、現行2chdatにdat.gzが添付されている2009年8月以降までは早急に作り直します。それ以外のページの作り直しは月を跨ぐかもしれません。
- 既存の2chdatページは、dat.gzがいっぱい添付してあるだけのページとして、当分の間存続します。(2chdatにdat.gzを添付している)14311スレ以降のページのテーブルは消します。それ以前の、2chdat_*****-*****なページのテーブルの扱いは再考中。
- (機能ダウンすることなく)スピードアップさせること、はもう少し今のままで使ってみて動作記録取ってから考えることにしましょう。で、ここらへんは、PHP使い慣れてる他のアニ関民の方のお知恵もお借りできればと思います。--
- テーブルの添付がなんか上手く行かないですね(21584,実質21586〜21588で"2chdat/2011/02 のテーブルに追加できませんでした．"が出た模様)。手動編集で対応できるのでさしたる事ではない(と言うことにしておきたい)ですが。 --
- 21584スレ(1298164720.dat.gz)が999まで状態で添付されちゃったりしましたが、(打ち合わせ中に話に出てたとおり)2chdatのページの方に添付されてる(完全なものに)リンク貼って適切に処理したのでこのまま続行。 --
- うｐ支援ツールのログとかでなんかエラーでてませんでしょうか。保管ページのテーブルの前後に別の記述をしても支障がないようにプログラミングしたつもりなので、これが問題とは考えにくいのですが、一応これも検証はしてみます。 --
- 21584スレ(1298164720.dat.gz)が999まで状態で添付されたのは、bg20にも999までしかなかったからですね。in_kakoで2chに記録されてるレス数を取得し、うｐしようとするdatのレス数と一致することを確認するようにしました。(ちなみに、プラグインでうｐされたdatにも1000まで行ってないスレが多数あります。確認しただけでも2008/12までで184スレ以上。(1228152548 1227376631 1225563811 …)たぶん実況中でもなかなか1000まで取れなかったときと同じ現象です。)21584,実質21586〜21588でテーブルに追加できなかったのは、アニ関Wikiが吐くhtmlのtitleが判定条件を満たさなかったということですよね。htmlをdumpするようにしましたので、次なったら見てみます。 --
- ちょうど同じ時間帯に作業していた悪寒ｗ。21584スレのような症状の件、対応お疲れ様でした。datの999病(と自分は呼んでる)は、live24鯖時代に頻繁に起こってますね(雪だるま構成だったlive24の仕様なのでしょうがないのですが)。テーブル作り変えの時こっそり新しいdatに差し替えようと画策しておりました。20589スレ以降は、多分datうｐを精力的に買って出てくださってた方が3時ごろに添付してくださったんでしょうね、こちらもありがとうございます。で、それらの添付も軒並みテーブル書き換えは失敗したようです。すみませんが、dump監視、よろしくお願いします。 --
- 21584以降全部失敗してたんですね・・・get_akismet_formでフォーム抽出する際に、UTF/EUC混在したテキスト全体から抽出後にUTFとEUCを分割して文字コード変換していたため、ちゃんとフォーム抽出できてなかったようです。初めからUTF部分とEUC部分を別々に抽出するように修正しました。これでいけると思います。 --
- むぅ…。アニ実(試)アニ関スレがdatを直接アップから添付できない悪寒。 --
- 「(試)」を入れたときにミスってたので直しました。あと、checkで実際の保管庫の表記に合わせて日付を省略するようにしました。 --
- 修正お疲れ様でした。後ほど試します。dump記録の方でもうお気づきかもしれませんが、akismet認証発動の条件が"datを自動アップ"と"datを直接アップ"で違ってるようですね。(どっちかの)同じ条件で発動するならまだわかるんですが、これは… --
- datを自動アップ: 毎回必ず発動してるっぽ。なぜか見れちゃうこれとかも参考になるかな
- datを直接アップ: 不定期に発動／テーブル編集で発動した時は"datを自動アップ"を別途１度やって(この時にに認証引っかかるので)再認証すれば、その後は特に引っかからず。ファイル添付で(誤)発動した時は、数十秒くらい待ってもう一度同じことをすると、(当然テーブルは"同じ項目が存在します．"エラーになるが)添付はすんなり成功することが多いです。但し、小一時間で20件以上連続して添付すると、ファイル添付時の(誤)認証が格段に増えました。ちなみにアニ実アニ関944スレはbg20鯖から取得でしたが、ファイル添付(誤)認証発動してしまいました。同じようにして回避しましたが。
- dat2chex側でCookieを処理するように修正しました。この修正に伴って、dat2chex側からwikiにcmd=akismetをPOSTするために、認証発動した際は、認証コードを一旦dat2chexにPOSTするようにしました。そのためにnoscriptの認証formを使います。これでコピペが一手間増えますが、認証発動自体は少なくなるんじゃないかと思います（自動アップによる編集で何度か試した感じでは）。また、前バージョンでは、「表」などが「表\」「表\\\」と増殖してしまっていました（2011/02ページは手動で修正済）。これを回避するために、akismet関数内で、stripslashesとEUCへの変換をしてますが、stripslashesで副作用がないかちょっと心配です。増殖の原因はSJISな文字をwikiにPOSTするとwiki側のPHPが「\」をエスケープするからみたいなので、これで問題あるようならソースをEUCベースにしようかと思いますが、このままでも大丈夫でしょうかね？ --
- 修正お疲れ様でした。21655スレを自動アップした時ちょっと上手く行きませんでしたね(認証は通ったみたいですが、テーブルは追加されず。テーブルは手動編集)。余談ですが、押しボタンが2つ出ました("I'm human"と"GO"。GOが正解っぽ)。後者は、いわゆるダメ文字の件ですかね懐かしい。wikiに送るデータは素でいい(wikiの方で適切に処理されるので)と考えてますのでそれで大丈夫だとは思いますが、いい機会なのでソースもう一度読み込んで見ます、おそらくあかりちゃんの後の作業になってしまいますが。 --
- ああ、コピペうんぬんの意味が今わかりました。ものすごい勘違いしてた。認証、通りました。 --
- 2011年4月24日午前7時現在、西日本の方のdatが添付できない状態となっています。「2chdat/2011/04 を編集できません．」エラーで全てが止まっています。 --
- datを自動アップ、datを直接アップのいずれでも発生します。
- アニ実は、問題なく添付できています。
- 編集漏れチェックは、2chdat/2011/04のページでも問題なく動いているようです。
- 午前7時過ぎよりここらへん(↑)の検証作業をしましたので、ログにばっちり残ってると思います。
- なお、2chdat/2011/04?のページ自体は編集可能です。(ついさっき実質表記付加しました)
- 以上、とりあえず現状報告まで。ここから先は管理権限ないと調べられない領域だと考えますので、よろしくお願いします。
- 編集前のソースをpreg_matchで抜き出すときに文字列が長すぎるとうまくいかなかったみたいです。strposを使うように修正しました。 --
- メンテおつかれさまです。とりあえず土曜深夜分全部添付して特に問題はありませんでした。 --
- これは「preg系関数 100Kを越える大きさの文字列を処理できない」(外部サイト)というPHPの罠だった、ということでしょうか多分。とんでもない設定を隠し持ってるなぁPHPと言うことで、将来のために一応ここへ記録保存。あと、月曜アニメラッシュとかまどか☆マギカの影響か、4月は2月・3月の1.7倍ペースでスレが消費されてて驚愕しました。それで問題が顕在化したと。
- メンテの際によさげな新機能を追加されてるようですが、この件はもうwikiとかで触れてもいいのでしょうか？(上で特に言及がなかったので) --
- ええ、構いませんよ。(ここはぶら下げられないのね) --
- 忘れそうなのでうｐツールでのキャプチャ認証方法をメモ。 --
- キャプチャ認証が発動したら、”認証してください”という案内文と共にキャプチャと入力ボックスが出現。
- "Type the two words."のボックスに表示されてる英単語を打ち込む（単語間にはスペースを）
- 英単語がわかりにくい時は、"Try another challenge"のリンクをクリックすれば別の問題に変わる。
- "I'm a human"のボタンを押す。
- 正解なら”Your answer was correct.〜”という文章が出て、ボックスが2つ表示される。
上のボックスには、やたら長い暗号みたいな文字の羅列が表示されているはず。
- その暗号みたいな文字を、下のボックスに手動でコピペする
- 暗号みたいな文字は右に見切れさんしてるので、ctrl＋Aとかで完全にコピペするよう留意してください。コピペが欠けてたら失敗します。
- "GO"ボタンを押す。
- コピペに成功してたら、アニ関wikiの該当ページに飛ばされます。
- うｐツールに戻りたい時は、もう一回そのページを別途開いてください、
- うｐツールでキャプチャ認証がいつ発動するかは神のみぞ知るセカイ。(手動添付してる時に)認証発動したら、素直に認証してください。*1 --
- 一応、発動しにくいようプログラムされてますが、100％回避は現在のところ不可能。経験則上、10日に1回くらい発動してるかな。
- キャプチャ認証をすっ飛ばして次のdat添付しても、うｐツール的には大きな問題はありません。その場合は、dat.gzファイルは添付されるけどテーブルは更新されない状態になります。うｐツールの"編集漏れチェック"を行えば、この状態になってるdat.gzを発見できます。
- あ、ふと疑問に思ったんですが、西日本の(アニ関)スレのアップロードでうｐツールは大体何％くらい利用されてますか？ほぼ100％でしょうか？ --
- どのdatをツールでうｐしたか個別にはわかりませんが、アニメ放送中に頻繁にアクセスがあるので多分ほぼ100%だと思います。ちゃんとログとって調べた方がいいのかな… --
- 頻繁にアクセスがあるということはほぼ100%とみていいと思います。使用度計るためのログ取りは別にいいかなと思います。ネタの1つとしてやるのはそれはそれで面白い(うｐ率100％とかツールのページに表示されてたらちょっと嬉しい)かもしれませんが。
"datを自動アップ"を使って添付されたdatの一覧としてのログが見れたらよさげかもしれません(datを自動アップを使った＝ローカル保存されたdatのうｐじゃない＝中身改変の可能性が少ない、ので少し安心できる気が) --
- うｐツール、hayabusa鯖が落ちてると自動アップも手動アップもどっちも出来なくなってしまうことにさっき気づいたという。ソース見れば一目瞭然なのになぜ今まで気づかなかったのかと自分を責めつつ。変なdat添付されるリスクと天秤にかければ、これは仕方のない仕様でしょうか。 --
- あと、手動アップですが、3回同じこと繰り返してからエラー吐いて終了するようです。これもまた想定外の動きではないかなということで一応記録。大きな実害はないので、慌てて修正するところでもないとは思いますが。(レン鯖やbg20鯖等に無駄な負荷をかけてはいると思いますが、それを言い出すともっと余計な負荷かけてる所ありますし・・・) --
- プログラム等は全くわからず、難しいものだったらスルーしてくださって構わないのですが、複数のdatファイルを同時にアップロードできるようにできましたらお願いいたします。 --
- 特に難しいことでもないですし、実はその方法はうｐツール高速化の最大の切り札と目される有意な方法(kwskはおいおい)なのですが、プログラム弄る前にリファクタリングしたほうがよさげ(なんとなく危険な香りがするのです)のがめんどくさいなぁとｗ。前向きに検討させていただきますが、日常生活と実況の合間の作業になりますので、長い目でお待ちいただければなと思います。リファクタリングとテストコード(プログラムはPHPです)書いてくれる凄い人がいると嬉しいな。 --
- 今さっき思い出したので記載。添付中、タマに画面が真っ白のレスポンスが帰ってきます。添付・表更新は大抵成功してるんですが。
多分エラーを吐いてるのでしょうが(補注:セキュリティ上、エラーはユーザーに対して見えないようにしている)、どんなエラー吐いてますでしょうか。例えば、今日午前1時半過ぎにエラーはいてると思います。 --
- すでに書いていたらごめんなさい。dat落ちしててもdatのあるサイトからとってきて自動アップできるんですね。すごいです。 --
- pa.land.to鯖が何かToLOVEってるんですかね。とりあえず現時刻において全ての添付機能が使えません。あとレスポンスも異様に遅いですね(1件につき2分くらいかかってます。これはfile_get_contentsの問題な可能性もありますが)。慌てても仕方ない(というか鯖管じゃないのでどうしょうもない)ので、まったり添付作業放置プレイ中。 --
- pa.land.to鯖のToLOVEるは14日昼過ぎには解消していますので、現在は通常通り添付作業可能です。時々、以前にも増してクッソ重くなりましたが(1件添付に90秒弱かかるときがあります)。 --
- 午前5時〜6時半頃まではしゃれにならないレベルでクッソ重くなってしまいましたね(1件添付に約120秒かかります)。ただ、anikan.tｖの鯖(さくらインターネット)も、この時間帯は普通に開くだけで時間余計にかかってるように見受けられますが。クッソ重い犯人は果たして誰なのでしょう。添付の際にアクセスしてる鯖全部だったりして…。 --
- hayabusa→uni鯖移転の際に未添付だった(試)アニ関1197,1198スレと滋奈和57スレは、公開中の最新のソース中、in_kako関数の前半9行をコメントアウトすることで(localhost鯖にて)添付できました。
LIVEなsubject.txtを要求して「もうずっと人大杉」が返ってくる時(鯖移転した時はこうなるっぽい)は、前9行部分でNULLを返しちゃうため、たとえ過去ログdatの概要が見れる(＝そこからレス数とサブタイを抽出できる/in_kako関数の後半の処理)場合でも添付不能に陥りますねこれ。超レアパターンだと思いますので特に改修の必要性は感じませんが、将来の似た事例発生時に備えメモメモ。 --
- とある大阪北OCNの方より良くわからないアクセスを大量に受けてる(参照)影響で、akismet認証が頻発してます。その影響でdat添付だけされてテーブルは追記されないケースがここ半月以上継続してますが、これはwiki管理人さんじゃないとどうしようもないです、とメモメモ。 --
- あ、テーブルは定期的に手動追記してますので、添付作業自体は今までどおり続けて戴いて全く差し支えありません。 --
- とある大阪北OCNの方の良くわからないアクセスは相変わらず半端ないですね。ここ1ヶ月のakismet認証発動記録約3600件中1500件余を占めてます。あと最近は奈良so-netや富山niftyや東京UCOMの方もなんか頑張ってるようです。--
- ひょっとしたらこれらの回線の方のPCがウイルスにやられてbot化してるのかなぁとも思いつつ。該当回線利用者の(アニ関民の)方はウイルスチェック(自身のPCが変な通信をしてないかチェック)された方がいいかも知れませんね。--
- あと、うｐツールも何気に320件/3600件程度ひっかかってるので、akismitの中の人にスパム認定されちゃってるかもしれませんね。これは少し数減らしできるのでおいおい対策をとメモ。 --
- ずいぶんと放置しててすいません。鯖移転の修正と複数うｐ対応しました。多すぎるとタイムアウトするかもしれないので、とりあえず５個まで。旧版も残してあるので不具合あればそちらを（うｐサイトの下の方のリンク）。重いときの予備ページ --
- ↑バージョンアップお疲れ様でした。ぼちぼち時間が取れそうなので、またソースコード読み込んでいろいろ勉強させていただきます。 --
- 1つ質問なのですが、pa.land.to鯖でcURLは利用できますか？(phpinfoのcURL supportが'enabled'でしょうか？) --
- うpツール使用時間の大半は(wiki鯖や2ch鯖からの)返答待ちなんですよね。
localhostでのベンチマークで、かつサンプル数が少ない結果なので恐縮ですが一応。
年末の更新前のプログラムで、1件の添付処理にかかる時間の全体平均21.15秒中、file_get_contents(1回の添付につき最大12ヵ所で使用される)が平均19.94秒使っています。約95%がうｐツール→2ch鯖・bg鯖、tv2ch鯖及びwiki鯖へのHTTP通信に使われていることになります。pa.land.to鯖でも、実時間の差異はあっても、返答待ちが占める割合はあんま変わらないと推測します。
で、実際wiki鯖とかで書き込みした時に体感できるように、その大半は各鯖からの返答待ちであると推測されるのです。特にwikiでページ更新した時(edit)の返答とかクッソ遅いですよね(ページ更新は、302で更新後のページ表示へ遷移させる仕様なのでどうしても時間がかかる)。 --
- なので、通信にかかる時間を減らせればうｐツールを人間が使ったときのストレス軽減に資するわけですが、その切り札が「複数のdatファイル同時処理(HTTP通信数そのものの削減)＋cURL同時接続(返答待ち時間の削減)」かなぁと踏んでいます。勿論、cURL使うときは行儀良く、が前提ですが(hayabusa2鯖やbg鯖はともかく、wiki鯖やtv2ch鯖への同時接続は各々最高2件までにすべきでしょう。あとattachとeditを同時にするとwikiがパニくりそうなのでこれは避けた方がいいでしょう。)
自分自身ちゃんと頭でまとまってる改善案ではないのですが、去年9月頃においおいと書きつつ放置プレイだったのでとりあえずメモっときます。--
- 1001未満でdat落ちした場合、最終レスの1つ前が最終時刻としてテーブル作られるため、最終時刻が微妙にずれますね。 一応、"まで)"で検索して見つかったテーブルについては全て手動で直しました。滅多に起きないことですので、これからも手動修正でいいかなとは思いますが、一応ご報告。 --
- ちなみに、避難所datうｐスプリクトを作った*2とき、日付欄が「Over 1000 Thread」の時は更に1行前を読み込む、日付を取得できたら終了って形でループさせてました。数字だけで判定すると"1000"の所をスプリクトを動かした日の10時00分と解釈しちゃった為のカイゼンでしたが、これにも有効かも。 --
- とりあえず、2014/3/14以降過去ログ保管が歯抜けになっているのは、「datを取得できませんでした．」エラーになるからです。また、直接アップでも「datが壊れてます．」エラーになります。 --
- 添付成功しているものは、過去ログ送りになる前(=1001到達後4時間以内)に添付処理をしたものがほとんどだと思われます。--
- 2ch過去ログが自由に見れるように仕様変更された影響なのか、最近、bg20鯖のようすがちょっとおかしいんだが、な所為なのかはいまいち掴めないです。うｐツールのコード読み直せばある程度特定可能だとは思います。しかし、さすがに年度末にそんなヒマはないので、歯抜け分については現状放置中です。--
- 余談ですが、直接アップする時はブラウザで開いて表示されるbyte数と添付ファイルのbyte数を一応確認してからうｐしてたんですが、ブラウザにbyte数が表示されなくなったのでこの確認が出来ず、あげちゃっていいものか躊躇することがなきにしも。--
- 過去ログ送りになっていないものをアップロードしてもエラーになっているようです。過去ログは2chで見れる状態なのでとりあえず応急処置でdat添付しない状態での一覧への追加を行いたいのですが、いかが。 --
- あーいいっすねー、という冗談はさておいて、本スレとアニ実スレは当分の間スレタイ&スレリンク一覧にせざるを得ないでしょうね。 --
