由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
JobHunting版 - HTTP Error 403 (转载)
相关主题
网页爬虫的时候,用requests, get 爬url 时,能有什么参数设定来求bless了,等待offer
一些需要登录才能看的信息,web crawl 的时候,如果headers 有c++ inline问题
[包子]digital forensics的面试题leetcode OJ 不能使用exception?
贴个电话面试经历,攒点人品Linkedin换了新装了?
砸了面试,发面题请问一个题目
In case you want to know what background check ishow to implement malloc?
请问这样写程序错了吗?请假大家一道BB的题
a very difficult interview questionBBC 编程风格面试题,求指教
相关话题的讨论汇总
话题: http话题: error话题: 403话题: agent话题: user
进入JobHunting版参与讨论
1 (共1页)
g***j
发帖数: 1275
1
【 以下文字转载自 Programming 讨论区 】
发信人: gmadj (干嘛爱打架), 信区: Programming
标 题: HTTP Error 403
发信站: BBS 未名空间站 (Sun Jan 25 17:08:37 2015, 美东)
写个很简单的python code 访问mitbbs,结果用urllib2,得到了HTTP Error 403,但
是访问别的网站就没有类似情况,请问这是为什么呢?谢谢了!
url = "http://www.mitbbs.com/"
response = urllib2.urlopen(url)
html = response.read()
m********s
发帖数: 55301
2
403是神马意思?

【在 g***j 的大作中提到】
: 【 以下文字转载自 Programming 讨论区 】
: 发信人: gmadj (干嘛爱打架), 信区: Programming
: 标 题: HTTP Error 403
: 发信站: BBS 未名空间站 (Sun Jan 25 17:08:37 2015, 美东)
: 写个很简单的python code 访问mitbbs,结果用urllib2,得到了HTTP Error 403,但
: 是访问别的网站就没有类似情况,请问这是为什么呢?谢谢了!
: url = "http://www.mitbbs.com/"
: response = urllib2.urlopen(url)
: html = response.read()

z****3
发帖数: 782
3
Forbidden
Maybe has something to do with User Agent string?
t********5
发帖数: 522
4
I was able to fetch the page with request in Node.js
t********5
发帖数: 522
5
For python, you may want do the following:
req = urllib2.Request(url, headers={'User-Agent' : "mitbbsBrowser"})
con = urllib2.urlopen(req)
Z**0
发帖数: 1119
6
没有设定User Agent Header。
建议用requests。requests比url2lib要更优点。
g***j
发帖数: 1275
7
谢谢,requests确实可以,但是,response里面的中文是乱码,请问如何可以转换呢?

【在 Z**0 的大作中提到】
: 没有设定User Agent Header。
: 建议用requests。requests比url2lib要更优点。

T*********g
发帖数: 496
8
你看看你读取时的 encoding是什么。买买提应该用 utf8吧?

【在 g***j 的大作中提到】
: 谢谢,requests确实可以,但是,response里面的中文是乱码,请问如何可以转换呢?
1 (共1页)
进入JobHunting版参与讨论
相关主题
BBC 编程风格面试题,求指教砸了面试,发面题
G家电题In case you want to know what background check is
twitter发的测试题,求教大家请问这样写程序错了吗?
想转方向,请给建议a very difficult interview question
网页爬虫的时候,用requests, get 爬url 时,能有什么参数设定来求bless了,等待offer
一些需要登录才能看的信息,web crawl 的时候,如果headers 有c++ inline问题
[包子]digital forensics的面试题leetcode OJ 不能使用exception?
贴个电话面试经历,攒点人品Linkedin换了新装了?
相关话题的讨论汇总
话题: http话题: error话题: 403话题: agent话题: user