数据集 开放访问

一个大型Covid-19 Twitter Chatter DataSet,用于开放科学研究 - 国际合作

Banda,Juan M.; Tekumalla,ramya; 王,观音; 玉,景园; 刘,托..; 丁,云宁; artemova,凯塔瓦; Tutubalina,Elena.; Chowell,Gerardo.

版本65. of the dataset. 

由于Covid-19全球大流行的相关性,我们正在释放我们从与Covid-19 Chatter相关的Twitter流中获取的推文数据集。自从我们的第一个版本以来,我们已从我们的新协作者收到额外的数据,允许此资源增长到其当前大小。专门的数据收集从3月11日开始,每天产生超过400万推文。我们从1月27日到3月27日增加了我们的新合作者提供的其他数据,以提供额外的纵向覆盖。版本10添加了 在1月1日至5月8日之间收集的俄语〜150万推文,优雅地向我们提供: Katya Artemova(NRU HSE)和Elena Tutubalina(KFU)。从版本12开始,我们已包含每日Hashtags,提及和Emoijis以及它们的频率相应的ZIP文件。从版本14. 我们  已将Tweet标识符及其各自的语言用于DataSet的清洁版本。自从 版本20我们包含所有推文的语言和地点。

从流中收集的数据捕获了所有语言,但普遍率较高: 英语,西班牙语和法语。我们在full_dataset.tsv文件(1,104,969,701个唯一推文)上释放所有推文和转发,以及full_dataset-clean.tsv文件上没有转发的清洁版本(280,062,431个独特的推文)。我们有几个实际原因让我们离开转推,跟踪重要推文,他们的传播是其中之一。对于NLP任务,我们提供了频率_Terms.csv的前1000个频繁的术语,验证的前1000名Bigrams,以及频率_trigrams.csv中的前1000个Trigrams。 full_dataset-statistics.tsv.和full_dataset-clean-statistics.tsv文件中的两个数据集都包含每天的一些常规统计信息.tsv文件。有关更多统计信息和一些可视化访问: http://www.panacealab.org/covid19/ 

可以找到更多详细信息(并将更新更新: //github.com/thepanacealab/covid19_twitter)我们对数据集的预先打印(//arxiv.org/abs/2004.03688

与始终一样,由于Twitter的条款和条件仅用于研究目的,因此仅在此分发的推文仅为推文标识符(附加日期和时间)仅用于重新分发Twitter数据。需要使用它们以使用水。

该数据集至少将在每周更新两周期,至少使用其他推文,请查看用于这些更新的GitHub repo。 发布:我们已经标准化了资源的名称以匹配我们的预打印手稿,并且不必每周更新它。
Files (12.3 GB)
名称 尺寸
emojis.zip.
MD5:E8AEC94A9DC12B4C22B390A1EDB2DE70
8.3 MB Download
频率_bigrams.csv.
MD5:A804B2D71FD0EEC190B1AE1F67CCA98F.
19.4 KB. Download
验证_terms.csv.
MD5:8004E0BA817A4C29A95134968A96838F
11.7 KB. Download
验证_trigrams.csv.
MD5:341C1DD734CFD28BE4AB799BD2E2D008
26.7 KB. Download
full_dataset-statistics.tsv.
MD5:6EBC0AB62E6EF86C6588F57F11EA38E0
9.8 kB Download
full_dataset.tsv.gz.
MD5:EBF39049D25F945E97871CB7244AADB1
9.3 GB Download
full_dataset_clean-statistics.tsv.
MD5:95C4FD7AC624BF9014D18D072804CF96
9.4 kB Download
full_dataset_clean.tsv.gz.
MD5:932817B42E9BF65DE4B8CE9D42A8A7F
2.6 GB Download
hashtags.zip.
MD5:9F1D611540532CA10D5D65B949C8A30D7
151.3 MB. Download
提到
MD5:6FD131F04B302C7877F4295425E93011
247.7 MB. Download
90,805
109,007
views
downloads
所有版本 这个版本
意见 90,805389
下载 109,00753
数据量 151.2 TB.40.3 GB.
独特的观点 72,165299
独特的下载 24,49936

分享

引用