石頭閒語:Photo163 相冊下載工具第三版 (PHP + JavaScript 實作版本)

增加網易相冊新版策略之支援。
新版網易相冊將影像儲存至 blog server ，但10月1日前上傳之影像，仍然儲存於原有 image server 。兩種策略並存，因此下載工具須判斷相冊儲存策略，才能正確取得影像網址。此處修訂請見 source code 第 185-194 行。
變更表單輸入內容，改為輸入相冊網址 (原本是縮圖網址) 。
先前就有人向我反應輸入縮圖網址的方式相當違反使用者的操作慣例，而且網易相冊新版策略也無法以縮圖網址取得下載資訊，故此處改為輸入相冊網址。請參見 source code 第 155 行。另增加失敗重試參數，就我個人測試結果，下載錯誤的發生機率極低，所以重試次數設定三次，間隔 10 秒即可。
修正紀錄 (log) 方式。
第二版的紀錄方式，會漏掉下載失敗的紀錄，因此會發生下載的影像有缺少卻記錄 OK 。現在修正為記錄兩段訊息， [getting] 表示開始下載， [ok] 表示下載成功。 Source code 第 31-50 行。
移除 Yahoo UI Library 的 code 。
第三版起不再需要安裝 Yahoo UI Library ，一方面簡化軟體需求，另一方面則是因為 Yahoo UI Library 的 AsyncReuqest 功能有些效率上的折損。替代的 AsyncRequest (XmlHttpRequest applying function) 見 source code 第 214-265 行。 Yahoo YU Library 並不使用 event notice 策略，而是使用 timer 輪詢。這種策略的效能表現並不好，類似用 while 輪詢，請參考「該不該用 while 檢查 readyState」。有時當我在 FireFox 上運行第二版下載工具下載大量影像並設定同時工作數大於 10 時， FireFox 會出現嚴重的行程鎖死現象，無法開啟其他瀏覽視窗與分頁，甚至無法啟動新的 FireFox 行程。
不會重覆下載已儲存的影像。
第二版沒有檢查影像是否已經下載並儲存。因此若不小心重覆操作動作，會重新下載整個相冊。現在加上檢查功能，當影像已存在時便跳過。

photo163v3.php

<?php
$download_path = 'D:/downloads/test';
//相冊下載儲存主目錄。註: 自動依相冊ID建立子目錄。

$default_retry_times = 3;
$default_retry_delay_seconds = 10;

$local_charset = 'big5';

function GetCurlPage ($url) {
	$ch = curl_init($url);
	curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
	curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
	curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
	curl_setopt($ch, CURLOPT_COOKIEJAR, "curl_cookie");
	curl_setopt($ch, CURLOPT_COOKIEFILE, "curl_cookie");
	$tmp = curl_exec ($ch); if(curl_errno($ch)) $tmp=curl_error($ch); curl_close ($ch); return $tmp;
}

return curl_errno($ch);
}

function PostCurlPage ($url, $data) {
	$ch = curl_init($url);
	curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
	curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
	curl_setopt($ch, CURLOPT_FOLLOWLOCATION, TRUE);
	curl_setopt($ch, CURLOPT_COOKIEJAR, "curl_cookie");
	curl_setopt($ch, CURLOPT_COOKIEFILE, "curl_cookie");
	curl_setopt($ch, CURLOPT_POST, TRUE); curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
	$tmp = curl_exec ($ch);
	if(curl_errno($ch)) $tmp=curl_error($ch); curl_close ($ch); return $tmp;
}

if( isset($_GET['save']) and isset($_GET['url']) and isset($_GET['photoid']) ) {
    $local_path = $download_path . '/' . $_GET['photoid'];
    $log = $local_path.'/log.txt';
    if( !file_exists($local_path) ) {
        mkdir($local_path);
        if(preg_match('/photo\.163\.com\/(\w+)\//', $_GET['url'], $matches) > 0) {
            $username = $matches[1] . '/';
        }
        else {
            $username = '';
        }
        
        file_put_contents($log, "http://photo.163.com/photos/{$username}{$_GET['photoid']}/\n");
    }

$savename = iconv('utf-8',$local_charset.'//IGNORE',urldecode($_GET['save']));
    if( file_exists($local_path.'/'.$savename) ) {
        file_put_contents($log, "{$_GET['url']} => {$savename} [SKIP:Already saved]\n", FILE_APPEND);
    }
    else {
        $others['log'] = $log;
        $others['retry_times'] = (isset($_GET['retry']) ? $_GET['retry'] : $default_retry_times);
        $others['retry_delay_seconds'] = (isset($_GET['delay']) ? $_GET['delay'] : $default_retry_delay_seconds);
        $url = str_replace(' ', '+', $_GET['url']);
        SaveCurlPage($url, $local_path.'/'.$savename, $others);
        //file_put_contents($log, "{$url} => {$savename} [OK]\n", FILE_APPEND);
    }
    exit();
}
?>

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>Photo163圖檔下載工具 (PHP + JavaScript)</title>
<script type='text/javascript'>
    var pool = new Array(); // download-pool
</script>
<?php
$jobs_limit = (isset($_POST['jobs_limit']) ? $_POST['jobs_limit'] : 3);
//同時下載工作上限值。 3 ~ 5 是適合的下載工作數，更高的值未必會縮短時間。
$retry_times = (isset($_GET['retry']) ? $_GET['retry'] : $default_retry_times);
$retry_delay_seconds = (isset($_GET['delay']) ? $_GET['delay'] : $default_retry_delay_seconds);
?>
</head>
<body>
    <div id="urlForm">
	<form id="args" method="post">
	<fieldset>
		<label>Photo163 相冊網址，可輸入多個不同相冊網址:<br/>
		< textarea rows="5" cols="80" name="photo163url" id="photo163url">< /textarea>
		</label><br/>
		<label>
        同時下載工作上限值:
		<input type="text" id="jobs_limit" name="jobs_limit" size="3" maxlength="3" value="<?=$jobs_limit?>"/>
		</label>
		<label>
        重試次數:
		<input type="text" id="retry" name="retry" size="2" maxlength="2" value="<?=$retry_times?>"/>
		</label>
		<label>
        重試間隔秒數:
		<input type="text" id="delay" name="delay" size="3" maxlength="3" value="<?=$retry_delay_seconds?>"/>
		</label>
		
		<p>
		<input type="submit" name="submit" value="submit" />
		<input type="reset" name="reset" id="reset" value="reset" />
		</p>
	</fieldset>
	</div>
	</form>
    <div id='poolState' style='font-size:large;color: #ff0000;'></div>
    <ul id='saveList'></ul>
<?php

if(isset($_POST['password'])) {
	//echo "not yeat<br/>"; //$photo163_page = PostCurlPage("http://photo163.com", "");
}

//print_r($_POST);
if(isset($_POST['photo163url'])) {
	$url_set = explode("\n", trim($_POST['photo163url']));
	foreach($url_set as $url) {
		$url = preg_replace("/\s|,/", "", $url);
		//preg_match("/^http:\/\/([^\/]+)\/([^\/]+)\/(\d+)\/.+\.jpg$/i", $url, $matches);
		preg_match("/^http:\/\/photo\.163\.com\/photos\/([^\/]+)\/([^\/]+)\//i", $url, $matches);
		//print_r($matches);
		$userid = $matches[1];//$matches[2];
		$photoid = $matches[2];//$matches[3];
		//$img_base_url = "http://{$matches[1]}/";
		$img_base_url = "http://blog.163.com/photo/";
		unset($matches);
		$photosinfo_url = "http://photo.163.com/js/photosinfo.php?user={$userid}&aid={$photoid}";
		$page = iconv('gb2312', 'utf-8//IGNORE', GetCurlPage($photosinfo_url));
		
		preg_match("/gPhotosIds = \[([\d|,]+)\]/", $page, $matches);
		//print_r($matches);
		$photo_set = explode(",", $matches[1]);
		unset($matches);
		echo "<hr/><p>The images of {$userid}'s photo({$photoid}):</p>\n";
		echo "<p>Total ".count($photo_set)." of images.</p>\n";
		//$n = 0;
		//foreach($photo_set as $photoname) {
		//	echo "{$img_base_url}{$userid}/{$photoid}/{$photoname}.jpg<br/>\n";
		//	$n++;
		//}
		//echo "<p>Total {$n} of images</p>\n";
        ?>
        <script type='text/javascript'>
        (function photo<?=$photoid?>() {
            <?=$page?>;

for(var i in gPhotosInfo) {
                // url_name = i
                var ext_name, src;
                if(gPhotosInfo[i].length <5) {
                    // src_name = gPhotosInfo[i][3]
                    src = 'http://img' + gPhotosInfo[i][0] + '.photo.163.com/<?=$userid?>/<?=$photoid?>/' + i + '.jpg';
                    ext_name = '';
                }
                else {
                    // img_url = gPhotosInfo[i][5]
                    src = gPhotosInfo[i][5];
                    ext_name = gPhotosInfo[i][5].match(/(\.\w+)$/i)[1];
                }
                pool.push({
                    'photoid': '<?=$photoid?>',
                    'src': src,
                    'dst': gPhotosInfo[i][3]+ext_name
                });
            }
        })();
        </script>
        <?php
	}
}
?>

<?php
if( isset($_POST['photo163url']) ):
?>

/*
	Simply XmlHttpRequest creator. by shirock.
*/
function NewXmlHttpRequest() {
	var HttpRequest = null;
	try {
  		HttpRequest = new XMLHttpRequest();
  		// for almost all browsers. (Maybe included M$IE7)
	} catch (tryMSIE){
  		try {
    		HttpRequest = new ActiveXObject("Msxml2.XMLHTTP");
  		} catch (tryMSIE2) {
    		try {
      			HttpRequest = new ActiveXObject("Microsoft.XMLHTTP");
    		} catch (NotSupported) {
      			HttpRequest = null;
    		}
  		}
	}
	return HttpRequest;
}

function AsyncRequest(method, url, callback, postdata) {
	var HttpRequest = NewXmlHttpRequest();
	if( !HttpRequest ) {
	    return false;
	}

HttpRequest.onreadystatechange = function() {
		if (HttpRequest.readyState == 4) {
            var obj = {
                status: HttpRequest.status,
                statusText: HttpRequest.statusText,
                responseText: HttpRequest.responseText,
                responseXML: HttpRequest.responseXML,
                argument: callback.argument
            };

if(HttpRequest.status >= 200 && HttpRequest.status < 300) {
				callback.success(obj);
			}
			else {
				callback.failure(obj);
			}
		}
	}

HttpRequest.open(method, url, true);
	HttpRequest.send(postdata);

return true;
}

function refreshPoolState() {
    var state = document.getElementById('poolState');
    state.innerHTML = 'Total '
        + pool.length
        + ' images in the download-pool; Total '
        + callback.argument.jobs
        + ' jobs are downloading.';
}

function downloadGo() {
    var task = pool.pop();
    callback.argument.jobs++;

var uri = 'http://localhost/photo163v3.php?url='
        + task.src
        + '&save='+encodeURIComponent(task.dst)
        + '&photoid='+task.photoid
        + '&retry=<?=$retry_times?>'
        + '&delay=<?=$retry_delay_seconds?>';

var saveList = document.getElementById('saveList');
    var item = document.createElement('li');
    item.appendChild(document.createTextNode('Save '+ task.src + ' as ' + task.dst));
    saveList.insertBefore(item, saveList.firstChild);

//YAHOO.util.Connect.asyncRequest(
    AsyncRequest(
        'GET',
        uri,
        callback,
        null
    );
}

function urlFormDisplay(s) {
    document.getElementById('urlForm').style.display = s;
}

if(pool.length > 0) {
    urlFormDisplay('none');
    for(var i = 0; i < <?=$jobs_limit?>; i++) {
        downloadGo();
    }
    refreshPoolState();
}

</script>

<?php
endif; //isset($_POST['photo163url'])
?>
</body>
</html>

請注意，第 117 行的 HTML teatarea 標籤，為了能夠張貼在 blog 上，我在 < 和 textarea, /textarea 之間加上了空格。請各位複製 source code 後，要記得把那兩處空格移除，否則不會出現輸入框。真的有人問我為什麼沒有相冊網址網入框...

石頭閒語

2006年10月4日

Photo163 相冊下載工具第三版 (PHP + JavaScript 實作版本)

photo163v3.php

引用URL