.net下模拟浏览器行为

.net下http或https请求实现流水线的执行别人的网站的功能


       起这个标题只是为了让那些不懂实际情况的点进来看看而已偷笑,实际上浏览器上的操作还是一个个请求,这与什么语言的请求是一样的过程,只不过大多数人想到做这个的时候还是会想到浏览器这个关键词,所以也只有这个才能提高浏览率,嘿嘿。。。


        在某一次工作需求做了相关的工作,特此记录下,网上相关的文章很多,但是有时候环境,代码理解不同会导致这些文章不适合你当前的坑,但是实话大多数的坑是自己埋得也是自己的经验不足导致的,更大情况就是自己懒,总想别人解决了拿来用。我当时的情况就是大概知道怎么去做,真正去做的时候,就发觉网上拿来的代码完全没效果,一开始网站返回了sessiontimeout,当然懵懂的我还以为是系统返回的而非别人设置的,这个就好比标题那样浏览器这个梗,当然本人鸟语水平不高,对这个单词解读也让我痛苦了好久,然后是去看网上的文章得到了大致的意思就是sessionid不对,那么解决的办法就是请求头带去sessionid,于是就有了这句代码    httpWebRequest.CookieContainer = cookieContainer;  其实这句也只是解决了session的问题,当我提交过去的时候得到了一个错误的页面,但是这时候的我还是不知道怎么搞,毕竟用了postman模拟了请求就是这样子的,那时候还以为是请求头信息缺了哪个,结果自造session以及请求头一致后还是不行,比较了很久postman的东西,后面才看到了提交表单的形式,20180521153552209.png看到这里其实已经接近答案了,可惜有时候人蠢是不会知道这就是答案的,很明显我只会在表头标明这是form的形式,而不在意数据的格式是不是对的,就这样问题没解决,方向放在了sessionid上面去,老是在怀疑这个c#的写法是不是会自己添加一些东西,而且动用了抓包工具去抓这个进程包,很显然我不熟这些抓包软件导致抓包时是不成功的,后面还延伸了要换语言,因为网上常常搜索到.net版本不同会让这个httpWebRequest会有个bug出现,这就更让没有头绪且基础薄弱的我坚定了错误方向了,但是在换语言的道路上还是失败的,主观是自己太懒了,遇到复杂的配置环境就没那个干劲了,当时念头只有放弃,终于到了最后一刻,看了下postman的这个20180521154225791.png功能,其实这个在c#上的code是不太建议看的,因为引用的是别人写的库,这里没有标明,导致你后面找这个库的时候会路途遥远,且找到了还是用不了,所以最好还是看它实实在在的原生http是怎么定义这一块的,当时怀疑httpWebRequest这种写法的时候有尝试过直接socket来直接实现https请求的,后面还是因为复杂才没弄,想想其实所谓的https的请求也就是一个流里面的信息包括了这些标明的字符串,实际上还是一个流,并没有华丽的封装,只是逻辑上封装看起来这是一个很复杂的东西。后面走投无路时,终于索性一搏,把http code里面的form数据放上去,结果是真的可以了,这让我想到了这些数据要urlcode,但是无奈这样的code会让本来正常的符号会变了,然后那边的解码就不对了,所以还得自己Replace来替换特殊的东西,但是这样就很麻烦至少在提交这种  x-www-form-urlencoded 的形式上,然后我又想到要提交这种form-data呢,发觉这种是不用处理特殊符号的,但是要有相对应的符号去区分这些是什么,比如这一串 ------WebKitFormBoundary7MA4YWxkTrZu0gW--  很怪异,结果就是还是麻烦,发现离开封装回到底层是啥也不会,老是渴望点出来的东西实在不现实。


      再次补充下,就是要注意设置请求的超时时间,最好的做法就是异步等待请求,有了消息再去通知前台。不然超时返回的就是空白的东西,再根据空白的东西处理的话,这样的逻辑会出很多问题。但是也不可能无限制的等待下去,必要时要提醒下前台操作。


       路途且遥,莫为己伤。。。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章