j******3
发帖数: 299 | 1 用的ubuntu12.04 64bit
我把htmlunit那个lib文件都拷贝到lib的目录下，设置了classpath，但是每次complie
都出错。
求助各位，折腾了好久不知道什么问题
Debugging information as follows:
jnsong@ubuntu:~$ echo $CLASSPATH
/home/jnsong:/home/jnsong/Downloads/htmlunit-2.10/lib
_____________________________________________
jnsong@ubuntu:~$ javac myClient.java
myClient.java:6: error: package com.gargoylesoftware.htmlunit does not exist
import com.gargoylesoftware.htmlunit.Page;
^
myClient.java:7: error: package com.gargo... 阅读全帖 |
|
j******3
发帖数: 299 | 2 jnsong@ubuntu:~/lib$ echo $CLASSPATH
/home/jnsong/Downloads/htmlunit-2.11/lib/*.jar
In /etc/environment, I have
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/
games"
export CLASSPATH="/home/jnsong/lib/*.jar"
in my .bashrc, I have
export CLASSPATH="/home/jnsong/Downloads/htmlunit-2.11/lib/*.jar"
in that lib folder, I have:
jnsong@ubuntu:~/Downloads/htmlunit-2.11/lib$ ls
commons-codec-1.7.jar jetty-http-8.1.7.v20120910.jar
commons-collections-3.2.1.jar jetty-io-... 阅读全帖 |
|
g*********g
发帖数: 870 | 3 请教大牛一个关于htmlunit的问题。
我用htmlunit做了一个网页自动化的工具。工具自己有一个对话框，用户输入用户名和
密码，然后程序在后台将用户名和密码填入网页，提交登录，，，，一切工作正常。
现在，有人提出这个程序有安全问题，因为它搜集了用户的密码，有可能泄露密码。
现在的问题是能不能让htmlunit显示登录网页，让用户在网页中完成登录后，程序再自
动执行后面的操作。这样程序自己不用和密码打交道。
多谢了。 |
|
b******d
发帖数: 794 | 4 thanks.
应该是内存问题，512内存环境下，内存一下就吃掉了；4g内存下，一般内存占用是1.4
g(包括操作系统，用free -m看的)
但是决大部分内存操作都是htmlunit完成的，我就是start了12个进程。如果htmlunit本
身就很耗内存(相当于开12个不share cookie的浏览器)，那这方面是不是可以控制的很
少了。 |
|
b******d
发帖数: 794 | 5 thanks.
应该是内存问题，512内存环境下，内存一下就吃掉了；4g内存下，一般内存占用是1.4
g(包括操作系统，用free -m看的)
但是决大部分内存操作都是htmlunit完成的，我就是start了12个进程。如果htmlunit本
身就很耗内存(相当于开12个不share cookie的浏览器)，那这方面是不是可以控制的很
少了。 |
|
l*******s
发帖数: 1258 | 6 我就在用htmlunit做东西，内存似乎没有你说的那么大，当然了，我做的是scraper，
可能比你的爬虫workload小很多。
不妨升级以下版本，htmlunit有不少bug，他们整天改。 |
|
T****U
发帖数: 3344 | 7 try change it to
/home/jnsong/Downloads/htmlunit-2.11/lib/*
or use
javac -cp /home/jnsong/Downloads/htmlunit-2.11/lib/* yourprogram |
|
j******3
发帖数: 299 | 8 我把路径末尾的".jar"去掉了，
现在再编译myClient.java 提示是这样：
jnsong@ubuntu:~$ javac myClient.java
myClient.java:13: error: cannot find symbol
HtmlPage page = webClient.getPage("http://google.com"); // Pass in URL
^
symbol: class HtmlPage
location: class myClient
1 error
如果直接用你说的第二种方法，提示：
jnsong@ubuntu:~$ javac -cp /home/jnsong/Downloads/htmlunit-2.11/lib/*
myClient.java
javac: invalid flag: /home/jnsong/Downloads/htmlunit-2.11/lib/commons-
collections-3.2.1.jar
Usage: javac 阅读全帖 |
|
T****U
发帖数: 3344 | 9 在.java里面加
import com.gargoylesoftware.htmlunit.html
or
import com.gargoylesoftware.htmlunit.*
你如果不熟java和linux的话，最好先在windows下用eclipse或其他IDE编译通过后再上
linux |
|
g*********g
发帖数: 870 | 10 没办法啊，要求这样。
从外部浏览器拿session id太麻烦。htmlunit是gui-less browser,能不能让htmlunit
暂时充当gui browser... |
|
g*********g
发帖数: 870 | 11 我用htmlunit做了一个网页自动化的工具。工具自己有一个对话框，用户输入用户名和
密码，然后程序在后台将用户名和密码填入网页，提交登录，，，，一切工作正常。
现在，有人提出这个程序有安全问题，因为它搜集了用户的密码，有可能泄露密码。
现在的问题是能不能让htmlunit显示登录网页，让用户在网页中完成登录后，程序再自
动执行后面的操作。这样程序自己不用和密码打交道。
多谢了。 |
|
g*****g
发帖数: 34805 | 12 开12个进程？JVM一下子就吃掉了。你当然应该开一个JVM，上面开线程。
.4
htmlunit本 |
|
g*****g
发帖数: 34805 | 13 开12个进程？JVM一下子就吃掉了。你当然应该开一个JVM，上面开线程。
.4
htmlunit本 |
|
T****U
发帖数: 3344 | 14 your are using jar files, rite?
add this to your classpath
/home/jnsong/Downloads/htmlunit-2.10/lib/*.jar
complie
exist |
|
|
b******d
发帖数: 794 | 16 发现htmlunit也可以返回请求页面，不过现在访问一个页面老是报告这些warning, 有没
有办法去掉？
Oct 10, 2012 1:15:41 AM com.gargoylesoftware.htmlunit.IncorrectnessListenerI
mpl notify
WARNING: Obsolete content type encountered: 'text/javascript'.
Oct 10, 2012 1:15:41 AM com.gargoylesoftware.htmlunit.DefaultCssErrorHandler
error
WARNING: CSS error: 'http://RSK.imageg.net/include/store.css' [324:75] Error
in style rule. (Invalid token "*". Was expecting one of: , ,
>, "}", ";".)
Oct 10, 2012 1:15:41 AM com.gargoylesoftware... 阅读全帖 |
|
|
T*********g
发帖数: 496 | 18 你可以试试apache htmlunit，它是一个 Java写成的模拟浏览器框架。 不过有的时候
如果javascript写的不太好，htmlunit的javascript解析器解析不了。
试试总是好的。 |
|
T*********g
发帖数: 496 | 19 我查了一下，最新的htmlunit可以支持下面这些javascript框架
jQuery 1.2.6: Full support (see unit test here)
MochiKit 1.4.1: Full support (see unit tests here)
GWT 2.0.0: Full support (see unit test here)
Sarissa 0.9.9.3: Full support (see unit test here)
MooTools 1.2.1: Full support (see unit test here)
Prototype 1.6.0: Very good support (see unit test here)
Ext JS 2.2: Very good support (see unit test here)
Dojo 1.0.2: Good support (see unit test here)
YUI 2.3.0: Good support (see unit test here)
基本上只要javascript写的还行... 阅读全帖 |
|
C*G
发帖数: 7495 | 20 我老文科男，野鸡经验，很久以前闲时用过htmlunit。
hiahia |
|
g*****g
发帖数: 34805 | 21 估计都是连续的ID，因为都是从DB来的，你查一下看看开头和结尾估计
就差不多了。我用htmlunit写一个下不难，就是懒得动。 |
|
|
l*******s
发帖数: 1258 | 23 不要用selenium
那玩意慢 而且是显式的打开浏览器来抓东西 很不方便
一旦firefox升级 就挂了
如果懂java的话 不妨自己写一个吧 基于HtmlUnit 是个很好的包 |
|
l*******s
发帖数: 1258 | 24 先找出嵌套的网页，比如iframe里面的真实路径
然后用HtmlUnit、jsoup之类的东西搞出HtmlElement |
|
g*****g
发帖数: 34805 | 25 try htmlunit, they build in a javasript engine so you should be able
to get whatever calculated by js. |
|
|
g*****g
发帖数: 34805 | 27 以前用过rational的functional tester，还行。
最近发现htmlunit也能凑活用。 |
|
g*****g
发帖数: 34805 | 28 Use HtmlUnit, it has javascript engine builds in and can
render it. |
|
m******t
发帖数: 2416 | 29
Use one of those html parsing libraries - jericho, htmlunit, etc. |
|
g*****g
发帖数: 34805 | 30 That's the common case in real world application unfortunately.
Many times you don't have enough log to know what's going on,
you first try to guess and see if you can reproduce, if all
fail, add more logging so hopefully you can figure out next
time.
If you suspect something and want to prove it, you can use
HtmlUnit to simulate http requests. It's pretty easy to use,
much better than JMeter, the latter is more of a performance
testing tool.
Another way to debug multiple thread issue in product |
|
g*****g
发帖数: 34805 | 31 用vaadin把我swing版的发包子机改写，确实很方便也很像swing，
一天不到改完了。
想放到google apps engine上，发现HtmlUnit GAE里用不了，有些类
不让用，那帮人也在讨论这个，看似只能等几个月再看了。 |
|
g*****g
发帖数: 34805 | 32 Try htmlunit. Simple headless browser as java api, js is
supported.
CGI |
|
s******s
发帖数: 57 | 33 google了半天，用htmlunit没有work的，各种runtime error。。。。
程序 |
|
s******s
发帖数: 57 | 34 多谢回复。对，one per account,我要得是实际是个robot，java的htmlunit不行，我
看看用python行不。 |
|
b******d
发帖数: 794 | 35 selenium的什么接口可以直接处理http response?
onload是指js的, htmlunit里面可以直接响应处理这个事件。
假如我提交一个form, 怎么才能知道server返回了一个http response呢？ |
|
b******d
发帖数: 794 | 36 分析页面是一个需求，自动化网页浏览也是一个，htmlunit好像不能返回请求是否成功
，需要自己暂停一个时间，很不方便。webdriver还没有仔细看
what |
|
b******d
发帖数: 794 | 37
没用过log4j, 就是eclipse输出的warning.
是不是htmlunit内部进行的格式检查，有什么办法可以turn off? |
|
b******d
发帖数: 794 | 38 请问怎么多线程调用webclient
我这么写了个，结果一new webclient就退出，连exception都没有，死得干干净净。
public class XInventory implements Runnable {
@Test
public void testMultiThSearch(){
XInventory bbInv = new XInventory();
for(int i=0; i<2; i++){
new Thread(bbInv).start();
}
}
public void run(){
checkWSThread1();
}
private void checkWSThread1(){... 阅读全帖 |
|
r*****l
发帖数: 2859 | 39 Your main thread died before the two spawned threads had chance to finish.
1, Simple but not good solution: add a delay in the main thread (the test
method).
2, Better solution: add some logic to tracking spawned threads and then
finish the test. For example, each thread increments a global counter in its
finally block and test method checks the counter. |
|
|
|
|
w**z
发帖数: 8232 | 43 use threadpoolexecutor, returning future . |
|
e*****t
发帖数: 1005 | 44 realBull says it.
btw, junit or testng can run tests in parallel. So there's no point to spawn
your own thread. You don't need to implements Runnable, just have two metho
ds which call checkWSThread1() (you may want to rename it) and annotate them
with @Test.
its |
|
b******d
发帖数: 794 | 45 thx for the points, but i need real multi-thread. 10+ threads with different
parameters that are easy to generate within one method. I will also need to
call these multi-thread methods from outside to increase the productivity n
ot just to speed up the test, so i can't use the parallel testing.
anyway, that's a nice feature to have, and will definitely use it to test
thread safety.
thanks,
spawn
metho
them |
|
g*****g
发帖数: 34805 | 46 Use a CountDownLatch, that's designed for this scenario.
its |
|
b******d
发帖数: 794 | 47 前几天在诸位大牛指导下做了个网络爬虫。
开了12个线程，在本地台机上跑还可以，一次查询只需2分多钟(台机I7 2600/12g mem/
ssd); 后来上线到vps(cpu不详，内存只有1g, 否则太贵养不起了),速度就很慢了
请大虾指点如果优化程序 |
|
g*****g
发帖数: 34805 | 48 打印一些timestamp出来看看哪里慢了。
mem/ |
|
b******d
发帖数: 794 | 49 multi-thread的，打stamp也看不出什么东西吧。我倒是程序里都有输出，看exception
主要是heap exception, out of memory, vps内存扩到4g后就很快了，可是月费是512m
的十几倍。 |
|
r*****l
发帖数: 2859 | 50 1. Check if CPU is fully loaded.
2. Check if memory is used up.
From your symptom, looks like memory issue. Use jmap to dump heap and use
jhat to analyze memory usage.
exception
512m |
|
