« 上一篇 下一篇 »
页: [1]   页底

作者 主题: 【救生艇向】关于为卫生纸论坛制作镜像的一些建议  (阅读 4502 次)

副标题: 如果真的有人想这么干的话……

离线 zghzgh1779

  • 讲个故事吧
  • 根源索寻者
  • *
  • 帖子数: 4906
  • 苹果币: 17
  • 布被秋宵梦觉，眼前万里江山。
【救生艇向】关于为卫生纸论坛制作镜像的一些建议
« 于: 2015-09-20, 周日 00:31:53 »
那么闲话少说直入正题

1.论坛url的结构
论坛的url只有两种类型，范例分别如下：
http://community.wizards.com/forums/103106?page=4
http://community.wizards.com/forum/product-and-general-dd-discussions/threads/4255431?page=2
第二个url是每个贴子的url，这种url是按照版面分类的，可以分区进行抓取，换言之，如果多人合作抓取镜像的话，应该以版面为分配原则
第一个url则是每个分区的url，注意与贴子的url不同，这里是forums，所以所有分区目录的url也需要单独抓取一次

2.关于嗅探层数的问题
分区和贴子上的超链接无法一次链接到5页之后；换言之，假如在“eberron版面的第9页”作为起始地址开始嗅探的话，那么嗅探三层通常只能到达第21页，所以在抓取时应当适当增加嗅探层数并设置分区的不同页数的url作为起始地址（例如page=10处设置一个起始地址，page=20处增加一个地址，下同）
但是那些摩天大楼在没有付出足够成本的前提下，仍然可能丢失中间的大量楼层

3.然而喵因为各种各样的原因，白天没法用电脑，只能精神上期待有人能做个镜像出来，或者卫生纸脑子突然开窍放论坛数据一马…… :em003
« 上次编辑: 2015-09-20, 周日 00:36:11 由 zghzgh1779 »
记录

离线 Sheepy

  • 純良的白色生物
  • 風紀委
  • *
  • 帖子数: 14113
  • 苹果币: 2
Re: 【救生艇向】关于为卫生纸论坛制作镜像的一些建议
« 回帖 #1 于: 2015-09-21, 周一 14:15:53 »
记录
(10:23:05 PM) 欧剃: 咩的笑话一般不仅冷，而且是黑漆漆的阴冷？
(10:23:11 PM) 布布: 这只是，对别人来说是掉SAN值的腹黑，对咩来说仅仅是笑话而已
(10:23:45 PM) ***Sheepy 聳肩, 一笑置之
(10:24:17 PM) ***布布 死了		　　D&D 4e 歿土英豪 頭兩章試譯

离线 zghzgh1779

  • 讲个故事吧
  • 根源索寻者
  • *
  • 帖子数: 4906
  • 苹果币: 17
  • 布被秋宵梦觉，眼前万里江山。
Re: 【救生艇向】关于为卫生纸论坛制作镜像的一些建议
« 回帖 #2 于: 2015-09-21, 周一 17:12:34 »
原来blog也是挂在论坛下面的？！
（从来没有点进去过233
记录

离线 Sheepy

  • 純良的白色生物
  • 風紀委
  • *
  • 帖子数: 14113
  • 苹果币: 2
Re: 【救生艇向】关于为卫生纸论坛制作镜像的一些建议
« 回帖 #3 于: 2015-09-21, 周一 18:40:45 »
引述: zghzgh1779 于 2015-09-21, 周一 17:12:34
原来blog也是挂在论坛下面的？！
（从来没有点进去过233
官方 Blog 及活躍人仕的 Blog 算是官網的一個賣點了。

另外就是我相信你沒有辦法分開 D&D 和 MTG 論壇，要抓只能一起抓。

我找了部高速電腦+高速網路抓了半天都只有九牛一毛，看上去非常不妙。
记录
(10:23:05 PM) 欧剃: 咩的笑话一般不仅冷，而且是黑漆漆的阴冷？
(10:23:11 PM) 布布: 这只是，对别人来说是掉SAN值的腹黑，对咩来说仅仅是笑话而已
(10:23:45 PM) ***Sheepy 聳肩, 一笑置之
(10:24:17 PM) ***布布 死了		　　D&D 4e 歿土英豪 頭兩章試譯

离线 zghzgh1779

  • 讲个故事吧
  • 根源索寻者
  • *
  • 帖子数: 4906
  • 苹果币: 17
  • 布被秋宵梦觉，眼前万里江山。
Re: 【救生艇向】关于为卫生纸论坛制作镜像的一些建议
« 回帖 #4 于: 2015-09-21, 周一 20:58:01 »
贴子勉强可以按版面分
但是每个分区的页面目测就只能和mtg论坛一起抓了
这还算好的，博客之类反正喵是不知道怎么分……
果然只能指望卫生纸高抬贵手了么……
记录

离线 Sheepy

  • 純良的白色生物
  • 風紀委
  • *
  • 帖子数: 14113
  • 苹果币: 2
Re: 【救生艇向】关于为卫生纸论坛制作镜像的一些建议
« 回帖 #5 于: 2015-09-22, 周二 12:17:59 »
每一萬頁大約需要 15-20 GB，以 HTML 為主。
肯定超過十萬頁，實際有多少還不清楚。基本確定不可能全抓。

沒有甚麼特別的話，下次報告應該是幾日後的事。
« 上次编辑: 2015-09-29, 周二 16:44:59 由 Sheepy »
记录
(10:23:05 PM) 欧剃: 咩的笑话一般不仅冷，而且是黑漆漆的阴冷？
(10:23:11 PM) 布布: 这只是，对别人来说是掉SAN值的腹黑，对咩来说仅仅是笑话而已
(10:23:45 PM) ***Sheepy 聳肩, 一笑置之
(10:24:17 PM) ***布布 死了		　　D&D 4e 歿土英豪 頭兩章試譯

离线 Sheepy

  • 純良的白色生物
  • 風紀委
  • *
  • 帖子数: 14113
  • 苹果币: 2
Re: 【救生艇向】关于为卫生纸论坛制作镜像的一些建议
« 回帖 #6 于: 2015-09-29, 周二 16:44:29 »
上次看錯了，每一萬頁大約需 1.5GB，不是 15。

已抓了約三十萬頁，待索引頁的增長明顯放緩，但依然沒看見終點。
记录
(10:23:05 PM) 欧剃: 咩的笑话一般不仅冷，而且是黑漆漆的阴冷？
(10:23:11 PM) 布布: 这只是，对别人来说是掉SAN值的腹黑，对咩来说仅仅是笑话而已
(10:23:45 PM) ***Sheepy 聳肩, 一笑置之
(10:24:17 PM) ***布布 死了		　　D&D 4e 歿土英豪 頭兩章試譯

离线 浅水源

  • 挖坑正在填星人
  • Knight
  • ***
  • 帖子数: 302
  • 苹果币: 0
Re: 【救生艇向】关于为卫生纸论坛制作镜像的一些建议
« 回帖 #7 于: 2015-09-29, 周二 21:52:49 »
羊姐姐辛苦了...
记录
页: [1]   页顶
« 上一篇 下一篇 »