当前位置 > 首页 > Asp.net

自动登陆带有google-analytics 的网站

5/26/2009 5:04:00 PM来源:Asp.net

最近要从某网站上采集一些双色球的信息,本来是想从中彩网上获取的,但那个服务器的反映速度真的让人无法接受,于是另外找了一个城市的网站。

在进行数据抓取的过程中,发现有几个cookie是浏览器自己产生的,一开始心里没底怎么弄,因为在调试的时候老报错,后来又把它的urchin.js下载下来,放在本机上调试,呵呵,现在才知道js文件也可以调试的,开心!

不过不管怎么弄,都一直报错,非常怀疑那些js代码在本机跑的时候是不是有什么不一样(偶对js代码只是刚刚看懂),但调试了很久,还是不对。

但我想非常没有道理,于是我从头开始找其它cookie的错误,再找postdata的错误,终于在postdata中找到了,原来掉了一个字母,我狂晕。

在这里说一下带有google-analytics 的网站

它post 的cookie数据包含:

__utma Sent 195722668.1791181037.1243267423.1243317013.1243324232.8 
__utmb Sent 195722668.2.10.1243324232
__utmc Sent 195722668
__utmz Sent 195722668.1243267423.1.1.utmccn=(direct)|utmcsr=(direct)|utmcmd=(none)

 

上面的数据其实我们并不要关心,这是我花最多时间去研究的,其实最后提交的时候加上就可以了。当然,你可以用随机数的方式替换一下。不过第一串数字195722668是不能变的,这是这个网站域名的hash值。

写完了,心里真是开心。在这里公布一个有用的类,主要是来处理postdata的,相当于一个hashtable里,读存 key 和value

调用示例:

RequestData pstData = new RequestData();

pstData.AddField("txtPassword", "");

pstData.AddField("txtUserName", "");

pstData.AddField("txtValidateCode", "");

 

读取

pstData.GetData()

 

[代码]

 

 

 

 



------------------------------------------------------------------------------------------
本文链接: http://www.cnblogs.com/szyicol/archive/2009/05/26/1490170.html
作者博客: http://www.cnblogs.com/szyicol/ [订阅]
网站导航: 博客园首页  新闻  .NET频道  社区  博问  闪存  找找看
新闻频道: 消息称支付宝将进入手机客户端市场

  • 时间同步算法与Simple Ring-based election algorithm算法分析

    1/14/2010 6:03:00 PM

    阅读: 194 评论: 2 作者: lbq1221119 发表于 2010-01-14 16:03 原文链接 时间同步算法的应用非常广泛。 譬如在 U

  • [叩响C#之门]第4章 流程控制 4.7 循环语句深化练习:分形图

    1/13/2010 3:48:00 PM

    阅读: 189 评论: 1 作者: 寒飞雨 发表于 2010-01-13 13:30 原文链接 2004年刚学C#的时候萌生了写一本书的念头,边学边写,中间经历了无数次的修改,到今年出版时

  • 分页代码及相应SQL效率的分析(附:测试报告结果)

    3/6/2007 3:32:00 PM

    摘要: 前阵子一直在研究一个老问题,就是分页效率问题。虽然网上代码不计其数,但是大部分都是雷同的,不尽如人意。在此我把这几天的研究成果给大家分享下,希望对各位程序开发人员有所帮助。(注:这里没有研究

  • .NET(C#): 多个应用程序域下有趣的封送对象

    10/24/2011 1:35:00 PM

    仔细研究下多个应用程序域下按值封送(marshal by value)和按引用封送(marshal by reference)的具体调用过程,发现还是有一些有趣的差别的。  

  • Crest的OO核心实现

    12/3/2009 3:54:00 PM

    阅读: 361 评论: 0 作者: 老翅寒暑 发表于 2009-12-03 12:32 原文链接 至此,我们已经有了一个比较好用的宏封装的代码风格,一个基础的类对象结构的模拟代码,但是始终

  • How to use the Netduino Go Piezo Buzzer Module

    7/10/2012 4:48:00 AM

    Originally posted on ChrisHammond.com Over the next couple of days people should be receiving their

  • 《N2CMS实例教程》--第四讲:Article Template Page

    8/12/2009 10:44:00 PM

    这一节我们创建一个模板页—Article Page,我们先看看这个页都包含哪些内容,如图1所示。 图1 从图中我们可以看出,Article包括Title、Publ

  • 了解ASP.NET MVC几种ActionResult的本质:FileResult

    8/14/2012 8:42:00 AM

    FileResult 是一个基于文件的ActionResult,利用FileResult我们可以很容易地将从某个物理文件的内容响应给客户端。ASP.NET MVC定义了三个具体的FileResult

  • Silverlight学习笔记:资源的位置

    11/18/2009 12:46:00 AM

    阅读: 243 评论: 0 作者: Cocowool 发表于 2009-11-17 21:08 原文链接 在 Web 项目中,我们免不了使用一些诸如图片、音频、视频、字体之类的在我们的程

  • Asp.net控制Tomcat启动关闭

    1/9/2012 12:39:00 PM

    一、场景 近日有个项目客户要求能自己配置相关权限。由于历史原因这个项目采用的是公司以前的权限系统。这个权限系统很强大,不过有个弊端,就是每增加一个权限菜单都要重启才能生效,不然就要等1天它缓存