请教个wget获取要密码登录的http页面的问题 (转载) - JobHunting版

本页内容为未名空间相应帖子的节选和存档，一周内的贴子最多显示50字，超过一周显示500字访问原贴

JobHunting版 - 请教个wget获取要密码登录的http页面的问题 (转载)

相关主题
● PERL LWP 中有和 wget --no_check_certificate 对应的函数吗？	● 纽约AI Cybersecurity方向的startup招SDE
● gmail信箱不work?	● Senior SW engineer position at a Startup
● 现在网站登录一次，每个新tab都能识别，是怎么做的？	● Amazon 面经
● 问一个关于网络的问题，大家不要笑话	● 急问: USPS 可能把我的EAD卡寄丢了，怎么办？
● 要爬虫一个网页，搜索一次关键词能有100页搜索结果	● 诚聘做高端网络交换机芯片的优秀人才
● 一些需要登录才能看的信息，web crawl 的时候，如果headers 有	● 几个湾区工作机会，年底机会不多，大家抓紧。
● 问两个大数据字符串算法问题和一个普通回文算法题	● 猎头公司（Aerotek）招聘码农广告
● 设计Tiny URL	● 借号求FLG内推

相关话题的讨论汇总
话题: wget话题: 页面话题: 获取话题: 登录话题: http

进入JobHunting版参与讨论

(共1页)

o******1
发帖数: 1046

【以下文字转载自 Programming 讨论区】
发信人: outlook1 (outlook1), 信区: Programming
标题: 请教个wget获取要密码登录的http页面的问题
发信站: BBS 未名空间站 (Thu Oct 8 19:20:51 2015, 美东)
目的是想获取router的一些即时的信息，但是这个router不支持snmp，现在想到的只有
从http页面用wget（或者curl）搞。当然是有大量的相似的router，所以必须自动化。
但是搞不定这种登录的情形。比如登录页面是http://172.16.0.1/login/，需要获取数据的页面是http://172.16.0.1/diagnostics/。我先用wget从http://172.16.0.1/login/保存一个cookies.txt，同时加了--keep-session-cookies选项。对比了直接从浏览器的cookie，这个获取的cookies.txt内容一模一样。
但是下一步就不行了。我用了--load-cookies，然后再用--post-data把http://172.16.0.1/diagnostics/页面form中input的参数pass过去，仔细检查过，没有typo。但是就是获取不到登录后的信息，wget返回的还是未登录前的http文件。
看了一下这个页面的source，好像有一些javascript函数，还有把密码和一段string一
起sha256加密，还有form的action函数是未知的。
请教俩问题：
1. 原则上，只要所有信息输入正确，命令行输入正确，所有需要authentication的页
面都能用wget（或者curl）返回吗？
2. 具体我这个case，有没有什么建议呢？
谢谢！

s*****r
发帖数: 43070

use curl，至少用basic和digest方式登陆的都没问题
推荐使用chrome app postman，testing http的神器

(共1页)

进入JobHunting版参与讨论

相关主题
● 借号求FLG内推	● 要爬虫一个网页，搜索一次关键词能有100页搜索结果
● 贴个职位，c++ Austin	● 一些需要登录才能看的信息，web crawl 的时候，如果headers 有
● 2 senior level open positions in salesforce	● 问两个大数据字符串算法问题和一个普通回文算法题
● Jobs: Software Engineers in South California	● 设计Tiny URL
● PERL LWP 中有和 wget --no_check_certificate 对应的函数吗？	● 纽约AI Cybersecurity方向的startup招SDE
● gmail信箱不work?	● Senior SW engineer position at a Startup
● 现在网站登录一次，每个新tab都能识别，是怎么做的？	● Amazon 面经
● 问一个关于网络的问题，大家不要笑话	● 急问: USPS 可能把我的EAD卡寄丢了，怎么办？

相关话题的讨论汇总
话题: wget话题: 页面话题: 获取话题: 登录话题: http

#	版面	帖数(主题数)
-	全站	4871 (796)
1	Military	3777 (569)
2	Stock	341 (51)
3	Joke	117 (17)
4	History	116 (3)
5	Automobile	100 (9)
6	USANews	55 (9)
7	Midlife	45 (1)
8	Headline	41 (41)
9	Dreamer	33 (13)
10	FleaMarket	32 (20)
11	Living	30 (7)

boards

未名新帖统计// 7月16日

历史上的今天