新月実装開発部

c92fedcc anonymous 2016-01-23 13:32
dat形式の強化やadmin.cgiの機能追加とかやったけど今日はバクフィックスメイン
引っかかってたバクがなくなってすっきりした
082b18b7 anonymous 2016-01-23 15:20
なんかmikaから壊れたデータが送られてきてるみたいなんですがどうしたもんでしょう。

Downloading file: 133.130.115.168:80/stable/server_api thread_E887AAE4BD9C7063

これの元スレは「自作PC」(thread_E887AAE4BD9C5043)なんですけど、スレタイ(ファイル名)が「自作pc」(thread_E887AAE4BD9C7063)と小文字になってるデータが代わりに来てます。レコードの内容は同じようです。

http://133.130.115.168/stable/server_api/get/thread_E887AAE4BD9C5043/0-
http://133.130.115.168/stable/server_api/get/thread_E887AAE4BD9C7063/0-

壊れたデータの出どころはこちらからは正確にはわからないので、そちらでも調べていただけると大変助かります。
0230e607 anonymous 2016-01-23 16:10
@markdown
`TABLE thread`の`title CHAR(255) NOT NULL`がcase sensitiveになっていない(`utf8_bin`のcollationの指定がない)みたいですがこれは大丈夫なんでしょうか。

```
CREATE TABLE thread(
        -- titleのサイズは適当
        id INT UNSIGNED AUTO_INCREMENT PRIMARY KEY,
        title CHAR(255) NOT NULL,
        timestamp TIMESTAMP NOT NULL DEFAULT '0000-00-00 00:00:00',
        records INT NOT NULL DEFAULT 0,
        removed_records INT NOT NULL DEFAULT 0,
        UNIQUE(title),
        INDEX(timestamp, id)
);
```
https://github.com/yuuki0xff/mika/blob/a8594a242215d3e56178eacb53cdd52d5fe21de3/db.sql
f3180331 anonymous 2016-01-23 16:43
一晩ぐらいおいておけばいいかな。
f5a3f4bb anonymous 2016-01-23 17:44
よかったよかた。これで安心です。
83feb8cb anonymous 2016-01-23 19:53
@markdown
mikaが/updateを取りこぼしているようです。
```
clojure.lang.ExceptionInfo: clj-http: status 500
    data: {:status 500,
           :headers
           {"Server" "nginx/1.6.2",
            "Date" "Sat, 23 Jan 2016 10:45:00 GMT",
            "Content-Type" "text/html",
            "Transfer-Encoding" "chunked",
            "Connection" "close",
            "X-Frame-Options" "SAMEORIGIN"},
           :body "<h1>Server Error (500)</h1>",
           :request-time 283,
           :trace-redirects
           ["http://133.130.115.168:80/stable/server_api/update/thread_E68E83E999A4/1453545919/a793ab0b78ae4ff7be6896cd4e9f22c1/45.56.121.29:48888+server"],
           :orig-content-encoding nil}
```
2240a5a1 anonymous 2016-01-23 19:55
>>83feb8cb
この/update命令は[[掃除/a793ab0b]]のものですが、現時点で http://133.130.115.168:80/stable/ にはこのレスはありません。
ac5fc5b0 anonymous 2016-01-23 23:59
>>83feb8cb
指摘してくれてありがとう
デプロイするバージョン間違えてたorz
今、起動直後の同期が行われているので、10分もあれば取りこぼしたレスも全て拾えると思います
a660c9b0 anonymous 2016-01-24 05:04
今日はrssと軽量化、そしてデバック
それと設定でrangeを細かく設定出来るようにしたんだがどこまで効果のあるものなのか
9c9a1d90 anonymous 2016-01-24 07:52
mikaのdevelではTHREADが大文字になってるけど誤作動の原因にならないのかな
59ea8675 anonymous 2016-01-24 09:10
TEST
ae13ca5b anonymous 2016-01-24 16:54
新月をtor上で動かせない物でしょうか？
そうすれば日本の法律に縛られること無くゲートウェイが設置できて言論の自由なスレ立てができると思うのですが。
因みにtorブラウザの5.0.7最新verで一般公開ゲートウェイからの書き込みは確認致しました。

68f96452 anonymous 2016-01-24 17:37
>>9c9a1d90
develの方ですね
今は対応出来ないのでシャットダウンしておきました
755a3452 anonymous 2016-01-24 18:11
すいません、スレを間違えました。
b7f601fb anonymous 2016-01-24 22:51
>>ae13ca5b
オーバーヘッドがすごくて効率が悪すぎじゃない?
スレ立てできる公開ノードもあるんだから、Tor経由でそっちを使ったら?
9e5e4db9 anonymous 2016-01-24 23:12
>>ae13ca5b
自由なスレ立ては今でも可能だし、匿名だからって好き放題されるとノード管理者の負担が増える
f1fa04cb anonymous 2016-01-24 23:20
どちらかというとTor経由の公開ゲートウェイへの書き込みは’遮断する方向で行く予定だったんだけど、需要があるなら様子を見つつ考えなおすよ。
949e8ce6 anonymous 2016-01-25 01:37
需で全文検索をするためのメモ。
Apache LuceneがClojureからつかえるそうです。
時間ができたらやろうっと。

https://github.com/weavejester/clucy
https://github.com/kostafey/clucy
http://mvnrepository.com/artifact/org.apache.lucene/lucene-analyzers-kuromoji/5.4.0
https://lucene.apache.org/core/5_4_0/analyzers-kuromoji/index.html
08cdce9b anonymous 2016-01-25 01:45
あ、またスレ間違えた。すみません…
73353020 anonymous 2016-01-25 15:03
今日は高速化をしました
メモリキャッシュで爆速です
aaf18f45 anonymous 2016-01-27 07:49
データベースを最適化しといた
これでスピードがまともになった
49f841de anonymous 2016-01-29 22:55
>>cf9738e4
そうです。結局スパムだったみたいですけど、どうも変なんですよね…
もうちょっと様子を見てみます。
http://133.130.115.168/stable/server_api/get/thread_E887AAE4BD9C5043/1454091200/0979737832e70f43be00ce2dfb995f59
45071615 anonymous 2016-01-30 03:16
mikaからの書き込みがうまく伝播してないみたい。

16-Jan-29 10:11:21 INVALID /update COMMAND: thread_E887AAE4BD9C5043 1454091200 0979737832e70f43be00ce2dfb995f59 133.130.115.168:80/stable/server_api

さっき/updateが来たので/getで取りに行ったけどレスが見つからないって出てる。
cf9738e4 anonymous 2016-01-30 07:44
>>45071615
UTCだと18時11分頃ですよね？
ログを見る限り、正常に応答を返したようです
916e9c2a anonymous 2016-01-31 01:02
mikaの自作PCのスレにスパムがありますね
spam対策自分もやってなかったから気付いた
986c87ac anonymous 2016-01-31 12:56
>>916e9c2a
そうなんですよね...
mikaも次のバージョンでスパム対策をします
3442e554 anonymous 2016-01-31 14:29
ちょっと気になる事があるんだけど
どっかタイムスタンプの算出間違えてない？
同じ内容でタイムスタンプが違うレコードがいくつも有るんだけど
f211d353 anonymous 2016-01-31 14:39
>>3442e554
やばいな～ /getのアドレスを晒してくれない?
cedafffa anonymous 2016-01-31 14:41
>>cf9738e4
これうちのスパムフィルタに引っかかってただけみたい。失礼しました。
e3e57e7a anonymous 2016-01-31 14:44
>>3442e554
9時間足したり引いたりするのを忘れているとかかしらん。
bad0c511 anonymous 2016-01-31 15:00
>>3442e554
それ多分mikaが原因です
申し訳ありませんでした
f5997a0e anonymous 2016-01-31 15:04
>>3442e554
うちにも重複してるレスが来てたので拡散しないように止めといた。これからデータベースを調べてどこから来たのか調べてみる。

/get/thread_E382A2E3838BE383A1/0-

1372390979<>0cca395cde4d352e0e9f7f4eae2a2552<>body:誰かガルガンをレビューしてくれませんか。<br>映像を見る限り既存の設定満載で面白くなさそう、だが作画的には面白そうという<br>アンビバレントな感情を解決したいのです。

1372423379<>0cca395cde4d352e0e9f7f4eae2a2552<>body:誰かガルガンをレビューしてくれませんか。<br>映像を見る限り既存の設定満載で面白くなさそう、だが作画的には面白そうという<br>アンビバレントな感情を解決したいのです。
0f512f8e anonymous 2016-01-31 15:05
>>e3e57e7a
そのようです
83d1ff82 anonymous 2016-01-31 15:06
ちなみに私のログ上ではmikaから取得したっぽいとだけ
fbd56a60 anonymous 2016-01-31 15:12
>>f5997a0e
ものの見事に9時間ずれてるな。
815474a2 anonymous 2016-01-31 15:25
調べてみたけどうちの合から拾ってきたみたい。
mikaからだとしたらもうだいぶ拡散してるな…
dc45fa34 anonymous 2016-01-31 15:29
>>f5997a0eのレスはアーカイブにあった。

0cca395c :Anonymous 2013-06-28 21:42
誰かガルガンをレビューしてくれませんか。
映像を見る限り既存の設定満載で面白くなさそう、だが作画的には面白そうという
アンビバレントな感情を解決したいのです。
http://archive.shingetsu.info/49436b16895e96d7a8fd1e8d336d7d21/0cca395c.html
795cc743 anonymous 2016-01-31 15:48
とりあえず同じスレのidが同じでstampのmod 32400も同じレスは、最初に取得したもの以外は全部スパムとして扱えばいいことがわかったので、需のほうはなんとかしておきます。このあいだの件もあるし、ゲートウェイはともかく新月ネットワークに流すデータには気をつけてね。一緒に新実装を作るのは楽しいからいいんだけどさ。
e3237878 anonymous 2016-01-31 15:50
>>dc45fa34
2013ってそんな前のレコードまでやり取りしてるって事!?!?
0b06fdeb anonymous 2016-01-31 15:58
一番古いのは2006年ぐらいだった希ガス。
a10ee833 anonymous 2016-01-31 16:06
自分のはsqlだからrowid後ろのをばっさりカットでいけそうだけど朔の対応はどうしようか
7b45216d anonymous 2016-01-31 16:26
>>a10ee833
それだと同じデータが流れてきたときに困らない?
合は/removedが使えるかもしれんけど、朔はスクリプトを書いてキャッシュを直接いじるしか…
547861a2 anonymous 2016-01-31 16:26
私の不手際のため、皆さんにご迷惑おかけしてしまい申し訳ありませんでした
今後は隔離したネットワーク上で動作確認を行ってから設定変更を行い、このようなことが再発しないよう注意して作業を行います。

>>a10ee833
Linuxなら朔のキャッシュはこれで消せると思います

#!/bin/bash
for d in thread_*/record/; do
        pushd $d
        ls|awk -F_ '{print ($1+32400) "_" $2}'|xargs rm -f
        ls|wc -l|tr -d '\n' >../count.stat
        popd
done
7fa41cd9 anonymous 2016-01-31 16:41
>>547861a2
これだとタイムスタンプが新しいほうが削除されない?
うちのはタイムスタンプが古いほうが後で取得されてる。

(ju.db.core/get-records-by-short-id "0cca395c")
=>
({:tags nil,
  :suffix nil,
  :deleted false,
  :file-id 752,
  :stamp 1372423379,
  :remote-address nil,
  :dat-file-line "新月名無しさん<><>2013/06/28(金) 12:42:59 ID:0cca395c<>誰かガルガンをレビューしてくれませんか。<br>映像を見る限り既存の設定満載で面白くなさそう、だが作画的には面白そうという<br>アンビバレントな感情を解決したいのです。",
  :size 291,
  :time-created #inst"2016-01-16T10:08:17.000000000-00:00",
  :record-short-id "0cca395c",
  :id 9237,
  :origin nil,
  :record-id "0cca395cde4d352e0e9f7f4eae2a2552",
  :body #object["[B" 0xeece1be "[B@eece1be"]}
 {:tags nil,
  :suffix nil,
  :deleted false,
  :file-id 752,
  :stamp 1372390979,
  :remote-address nil,
  :dat-file-line "新月名無しさん<><>2013/06/28(金) 03:42:59 ID:0cca395c<>誰かガルガンをレビューしてくれませんか。<br>映像を見る限り既存の設定満載で面白くなさそう、だが作画的には面白そうという<br>アンビバレントな感情を解決したいのです。",
  :size 291,
  :time-created #inst"2016-01-31T05:47:32.000000000-00:00",
  :record-short-id "0cca395c",
  :id 315536,
  :origin "balthazar.ygg.io:8880/server",
  :record-id "0cca395cde4d352e0e9f7f4eae2a2552",
  :body #object["[B" 0x21e3d448 "[B@21e3d448"]})
3a381675 anonymous 2016-01-31 16:50
>>7fa41cd9
仰るとおりでした
これでどうでしょうか

for d in thread_*/record/; do
        pushd $d
        ls -r|awk -F_ '{print ($1-32400) "_" $2}'|xargs rm -f
        ls|wc -l|tr -d '\n' >../count.stat
        popd
done

04a84b18 anonymous 2016-01-31 17:08
>>3a381675
良さげに見えるけど、自分はLinuxはサーバーをたまにいじるときにしか触らないので、もうちょっと詳しい人に聞いたほうがいいかも。
f2b116e1 anonymous 2016-01-31 17:19
DBをスキャンしたら重複レスが2万だって。なんとかなりそうだし、まあいいか。
e77a7d34 anonymous 2016-01-31 18:21
Linuxクラスターの需は復旧しました。Windowsの合は結構キャッシュが汚染されていたので停止しておきました。Windowsで動いている「新月@ゆぐちゃんねる」の朔は大丈夫そうだったのでそのままです。Que será, será.
45c0ec9f anonymous 2016-01-31 21:23
>>e77a7d34
ご迷惑をおかけしてしまい申し訳ございません
d4bcb4c4 anonymous 2016-02-01 04:17
>>45c0ec9f
まあ起きたことは仕方ないです。こういう出来事もP2Pネットワークの共同開発ならではですからね。次につなげていきましょう。

Top of this page. | <<last 0 1 2 3 4 5 old>>

Agreement
limit: 1536KB

(新月実装開発部/255/0.8MB)

Powered by shinGETsu.