プログラマーに聞きたいんだけどTwitterのデータを検索してcsvに保存することってできる？

1 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 00:49:56.898 ID:I4LMwE190: 過去1ヶ月で特定のワードを検索したい
検索結果件数は約数百万レコードある
2 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 00:50:22.695 ID:pJmDoVHP0: 余裕
3 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 00:50:46.775 ID:I4LMwE190: >>2
ググってもなかなか見つからない
4 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 00:50:54.966 ID:e2kdzSMBd: 俺にできないことはねえよ
5 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 00:51:03.389 ID:uSeP9IQd0: 簡単
6 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 00:51:05.258 ID:doRb0V4L0: なんかそんなツールあったな
7 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 00:51:11.204 ID:xTkFURwYp: そういうツールあったよね
8 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 00:51:22.951 ID:Se65pDwz0: できるけどAPI呼び出し制限厳しいし時間はかかると思うよ
9 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 00:51:31.951 ID:XDWn/8IP0: 便利な便利なcsvファイル
10 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 00:51:48.854 ID:pD2vNymM0: api使えるなら
11 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 00:52:03.466 ID:I4LMwE190: ツールでもいいから教えて欲しい
ちなみに検索結果が数百万レコードになる
12 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 00:52:19.911 ID:aPxJJRUKM: 出来ないことなんか無いだろ
13 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 00:53:10.017 ID:I4LMwE190: APIを使うのは必須だと思うけど
時間は数日かかってもいい
14 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 00:53:57.149 ID:/d6Luu/Hd: 検索ワードが多いと難しい
難しいと言うよりは時間がかかるだけど
15 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 00:54:10.225 ID:8coIvmJw0: 普通にコード書くだけだぞ
16 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 00:54:38.649: 数百万行となるとデータベースに入れたほうがいいんじゃないか
csvファイル開くのきつそう
19 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 00:58:26.103 ID:doRb0V4L0: 検索すると論文がちょくちょく引っかかるわ
今こんなことになってんのかすげえ時代だ
21 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 01:00:38.138 ID:Se65pDwz0: よびだしは150回/minとからしいから
テストは小規模で
適切なインターバル挟むように
22 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 01:01:19.305 ID:I4LMwE190: ありがとうありがとう
マジありがとう！
23 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 01:01:38.921 ID:BNPyBEua0: API使わずに、seleniumとかロボットとか使ってブラウザ越しに頑張る人とかいないかねw
24 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 01:02:07.063 ID:jivxcMXw0: >>23
多重アクセスで弾かれそう
26 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 01:03:02.372 ID:Se65pDwz0: >>23
Twitterのwebクライアントスクレイピングするのが早いだろうけど数百万オーダならうまくやらんと弾かれるだろう
25 名前:ひみつの名無しさん投稿日時:2020/05/12(火) 01:02:20.972 ID:doRb0V4L0: 毎秒qiitaとかgithubはチェックしろ