pythonでなんJから会話データ抽出するプログラム回して1日経った

1 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:04:07.47 ID:q4hhkTsSM
まだ全体の5%くらいしか終わってない模様
2 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:04:40.71 ID:q4hhkTsSM
なんJ舐めてたわ
これやべえデータ量になる
3 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:04:43.20 ID:237mgr9z0
それサーバーに負荷かけないの?
5 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:05:12.85 ID:q4hhkTsSM
>>3
まあ一応ちゃんと間隔は空けてるから大丈夫だと思うけど
4 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:04:48.91 ID:/o/X2dPO0
ソース先っぽだけでいいから見せてよ
17 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:11:16.87 ID:q4hhkTsSM
>>4
いまのコードひっどいからだめ
リファクタリングした後ならええで
6 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:05:13.36 ID:yY5vPjhu0
当たり前じゃろ
あとよく知らんけどパイソンってくっそ遅いって聞いたで
7 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:05:45.51 ID:18gQSmVU0
卒研か
8 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:06:40.58 ID:q4hhkTsSM
5%も終わってねえな
計算したら1.6%
9 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:07:57.30 ID:mhsVUaNy0
なんJからって
分母はいつからいつのなんjなんや
13 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:08:49.83 ID:q4hhkTsSM
>>9
swallow鯖に移転してから
10 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:08:05.60 ID:q4hhkTsSM
もっとNGワードとか最低レス数高く設定するべきやったかな
11 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:08:22.18 ID:0tbozOXo0
煽り合いばっか集まりそう
何レスも続く会話って限られとるし
12 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:08:23.61 ID:KUVRD+hX0
うんち
14 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:08:57.46 ID:lHhATYbL0
二ちゃんのレスを取得するAPIとかあるンゴ?🤔
15 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:09:39.83 ID:p/d8vAki0
あぁなに、リアルタイムにじゃなくて過去ログからも掻き集めてるのか。
なんか変に流行過ぎたネットスラングとか使ってきそうやな
25 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:14:20.26 ID:q4hhkTsSM
>>15
リアルタイムは完全無視や
たしか11/20あたりまでで一度スレのURLを全部テキストファイルに書き出して、それをクロールしてる感じや
16 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:11:06.97 ID:0tbozOXo0
ワイのレスバも使われるかと思うと胸が熱いで
18 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:11:52.66 ID:wxiJseb+0
なんJ民が会話してるとは思えんの矢が
19 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:12:33.12 ID:JVfP+Xx50
それでなにするんや
24 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:13:41.50 ID:P0vOMgXM0
>>19
BOTが作れる
21 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:13:14.46 ID:DM9xpMTG0
底辺陰キャ同士の会話データとかある意味貴重かもな
Facebookとかでは絶対収集できないやろ
22 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:13:16.65 ID:Awome3ncK
ワイが立てたクソ定期スレも全部こびりついとるわけか
23 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:13:35.73 ID:cw99Df9zd
会話データって何
26 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:14:34.33 ID:4y24RWIs0
スクレイピングは犯罪ちゃうんか?
28 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:16:03.20 ID:A240pkPs0
>>26
公開されてるデータを切り貼りするのの何が罪やねん
32 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:17:16.25 ID:wQwfSsdiD
>>26
せやで
でも5chのサーバアメリカにあるからセーフなんやで
27 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:16:03.10 ID:dwP16nq10
それ収集して何を分析するの?
29 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:16:49.16 ID:q8ZJHRZU0
ガ●ジの出現回数多そう
30 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:16:56.96 ID:A240pkPs0
分業できんのか?
31 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:17:12.60 ID:237mgr9z0
得た情報(著作物)から金儲けはダメ
サーバーに負荷かけたらダメ

まぁ一般論だけど

33 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:18:01.40 ID:G9UZJrGY0
APIキー持ってんの?過去ログ無理やり取得してるとどっかでアクセス制限かけられるんちゃうか
34 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:18:17.08 ID:LwBr+3Mp0
GitHubのアカウント教えてくり~
35 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:18:18.50 ID:6SpG8Q0P0
ワイの友達も間隔開けてっからとか言ってたけどQiitaにめっちゃ迷惑かけてたぞ
36 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:18:43.05 ID:zktmmVyN0
第二のGIFガ●ジみたいなの作る気か?
37 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:18:44.73 ID:hdNLP5Gqd
スロットガ●ジにめちゃくちゃにされそう
38 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:18:56.22 ID:3jDIw2G/0
何に使うんや?
39 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:19:10.73 ID:x5KUIk1Z0
スクレイピングに時間かかってんの?それともデータ抽出に時間かかってんの?
40 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:19:17.58 ID:nEVPkElb0
1秒間隔程度なら罪にはならんやろ
41 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:20:09.11 ID:ZJ9cp4hM0
負担かかるんだから辞めとけ
42 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:20:52.81 ID:q4hhkTsSM
ホンマはTwitterでやるべきなんやろけどな
でもTwitterで抽出するやつはもう確立されてたからやりたくなかったんや
すまんな
43 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:21:34.60 ID:G9UZJrGY0
ちゃんと間隔開ければ罪にはならんけどそもそも3日も回してたら普通に運営から怒られてアクセスできんくなると思う
44 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:21:55.46 ID:9WY5eRcH0
スクレイピングか?
45 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:23:09.30 ID:9WY5eRcH0
レス取得するだけならdatだけ取ればええんちゃう
46 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:23:43.93 ID:F0SNDT7Ma
ちょっと前に特定のワードに反応して書き込むbotおったろ
47 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:23:55.08 ID:r8UZgWCe0
負荷かけてるのバレたら終わりやで
48 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:24:51.60 ID:ZFEF+i9u0
ひえー
なんJ荒らさないでクレメンス
49 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:25:08.29 ID:i9A+wdat0
やだこわい😰
50 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:25:26.56 ID:l+gPjPoBM
うんち
51 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:25:34.98 ID:9y2+/qdXa
あなる
52 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:25:51.77 ID:9dyS+msfd
datなりログ速なりあるやろ
53 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:26:19.77 ID:hOdcjxhk0
gifガ●ジは運営に怒られて一生アク禁喰らったんかな
54 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:26:26.21 ID:G9UZJrGY0
負荷の問題やなくてそもそもサービス上の規約として禁止行為のはずやから見逃せないレベル超えたら止められてまう
で、これは間隔の問題やなくて回数の問題や
まあ止められるだけやけどな
55 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:27:17.90 ID:dpDAuGAE0
gifガ●ジは最近はもうおらんの?
56 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:27:31.91 ID:zowjKgkb0
glfガ●ジ2世でも作る気か
57 名前:ひみつの名無しさん 投稿日時:2019/12/06(金) 00:27:47.10 ID:A240pkPs0
浪人買って回せばええやろ
スクレイピングが犯罪とかほざくならまずF9処刑しろや

コメント

タイトルとURLをコピーしました