- まだ全体の5%くらいしか終わってない模様
- なんJ舐めてたわ
これやべえデータ量になる - それサーバーに負荷かけないの？
- >>3
まあ一応ちゃんと間隔は空けてるから大丈夫だと思うけど - ソース先っぽだけでいいから見せてよ
- >>4
いまのコードひっどいからだめ
リファクタリングした後ならええで - 当たり前じゃろ
あとよく知らんけどパイソンってくっそ遅いって聞いたで - 卒研か
- 5%も終わってねえな
計算したら1.6% - なんJからって
分母はいつからいつのなんjなんや - >>9
swallow鯖に移転してから - もっとNGワードとか最低レス数高く設定するべきやったかな
- 煽り合いばっか集まりそう
何レスも続く会話って限られとるし - うんち
- 二ちゃんのレスを取得するAPIとかあるンゴ？🤔
- あぁなに、リアルタイムにじゃなくて過去ログからも掻き集めてるのか。
なんか変に流行過ぎたネットスラングとか使ってきそうやな - >>15
リアルタイムは完全無視や
たしか11/20あたりまでで一度スレのURLを全部テキストファイルに書き出して、それをクロールしてる感じや - ワイのレスバも使われるかと思うと胸が熱いで
- なんJ民が会話してるとは思えんの矢が
- それでなにするんや
- >>19
BOTが作れる - 底辺陰キャ同士の会話データとかある意味貴重かもな
Facebookとかでは絶対収集できないやろ - ワイが立てたクソ定期スレも全部こびりついとるわけか
- 会話データって何
- スクレイピングは犯罪ちゃうんか？
- >>26
公開されてるデータを切り貼りするのの何が罪やねん - >>26
せやで
でも5chのサーバアメリカにあるからセーフなんやで - それ収集して何を分析するの？
- ガ●ジの出現回数多そう
- 分業できんのか？
- 得た情報(著作物)から金儲けはダメ
サーバーに負荷かけたらダメまぁ一般論だけど
- APIキー持ってんの？過去ログ無理やり取得してるとどっかでアクセス制限かけられるんちゃうか
- GitHubのアカウント教えてくり～
- ワイの友達も間隔開けてっからとか言ってたけどQiitaにめっちゃ迷惑かけてたぞ
- 第二のGIFガ●ジみたいなの作る気か？
- スロットガ●ジにめちゃくちゃにされそう
- 何に使うんや？
- スクレイピングに時間かかってんの？それともデータ抽出に時間かかってんの？
- 1秒間隔程度なら罪にはならんやろ
- 負担かかるんだから辞めとけ
- ホンマはTwitterでやるべきなんやろけどな
でもTwitterで抽出するやつはもう確立されてたからやりたくなかったんや
すまんな - ちゃんと間隔開ければ罪にはならんけどそもそも3日も回してたら普通に運営から怒られてアクセスできんくなると思う
- スクレイピングか?
- レス取得するだけならdatだけ取ればええんちゃう
- ちょっと前に特定のワードに反応して書き込むbotおったろ
- 負荷かけてるのバレたら終わりやで
- ひえー
なんJ荒らさないでクレメンス - やだこわい😰
- うんち
- あなる
- datなりログ速なりあるやろ
- gifガ●ジは運営に怒られて一生アク禁喰らったんかな
- 負荷の問題やなくてそもそもサービス上の規約として禁止行為のはずやから見逃せないレベル超えたら止められてまう
で、これは間隔の問題やなくて回数の問題や
まあ止められるだけやけどな - gifガ●ジは最近はもうおらんの？
- glfガ●ジ2世でも作る気か
- 浪人買って回せばええやろ
スクレイピングが犯罪とかほざくならまずF9処刑しろや
pythonでなんJから会話データ抽出するプログラム回して1日経った
なんJ
コメント