apache22 + MPM=worker 遇到神秘問題

我家美人愛鬧脾氣，從取進門來之後總是沒安份過。到現在還是會動不動就 *panic* 一下。上次追了半天甚至還換了硬碟後來發現，原來是 PF 在搗蛋，只要有開 pf 幾乎是沒一下子就沒不理人了。而且還是沒有 panic 掉，只是就直接 hang 住不知道是怎樣。後來換回很久沒用的 IPFilter + ipnat (好像從 PF port 進 base ，印象中是 5.x 之後我就 switch 過去了...那年代的 ipnat 好像還沒有 rc 好吃）。

於是呢，把 pf 那幾行 mark 掉之後加上

ipnat_enable="YES" # Start ipnat function
ipnat_rules="/etc/ipnat.rules" # rules definition file for ipnat

原本想說可以就此過著幸福快樂的生活，他確實也安分了幾天，不過在開暗黑大會的時候據說某把妹揚按了 wiki 的編輯，這台主機就又失連了。衝回來看才發現又 tcp6 啥小的 panic 了 XD。想說搞不好是踩到 7-current 的地雷了，那閒閒沒事來 downgrade 好了。於是就 cvs 成 RELENG_6 的 tag 衝到 6.1-RC（理論上就是現在的 RC2 iso），不過一開 pf 還是馬上就 say 沙要那那。真是一整個獄卒，那想說好吧來升一下 ports ，明明我就才裝沒多久為啥 apache22 的版本能差那麼多。某把妹楊都已經跑到 2.2.2 了我還在很後面，明明還裝不到一個月版號就跳了兩跳阿。

在 make 的時候才發現，咦，怎麼 top 只看到一顆 cpu ，哇哩咧，忘了編 SMP 進去。（沒辦法阿，以前的機器都沒有 SMP 的阿阿阿阿阿）。於是又很苦的重新弄了一次 kernel ，想說好不容易可以休息了吧，要偶爾當一下我也不能阻止他了。
但是好死不死，最後很手賤的 delete-old-libs ，然後似乎就有東西爆炸了 -_-。 php 就得重編，然後一連串的 recursion。到最後實在是不行，就丟給 portupgrade 去攪，弄了半天 apache 還是不肯乖乖起來。於是乎我看到 httpd-error.log 出現一大堆神秘的錯誤訊息：

Fatal error 'kse_exit() failed for system scope thread' at line 1215 in file /usr/src/lib/libpthread/thread/thr_kern.c (errno = 22)
Fatal error 'kse_exit() failed for system scope thread' at line 1215 in file /usr/src/lib/libpthread/thread/thr_kern.c (errno = 22)
Fatal error 'kse_exit() failed for system scope thread' at line 1215 in file /usr/src/lib/libpthread/thread/thr_kern.c (errno = 22)

於是就跑去看 thr_kren 可是看不出所以然來...google 半天也沒相關的資訊，不知道是 keyword 給錯還是怎樣。忽然靈機一動，想說看看是不是哪些 lib 掛了，於是看了一下 ldd：

ddbeauty# ldd /usr/local/sbin/httpd
/usr/local/sbin/httpd:
libm.so.4 => /lib/libm.so.4 (0x800688000)
libaprutil-1.so.2 => /usr/local/lib/libaprutil-1.so.2 (0x8007a3000)
libexpat.so.6 => /usr/local/lib/libexpat.so.6 (0x8008ba000)
libiconv.so.3 => /usr/local/lib/libiconv.so.3 (0x8009dc000)
libapr-1.so.2 => /usr/local/lib/libapr-1.so.2 (0x800bcc000)
libcrypt.so.3 => /lib/libcrypt.so.3 (0x800cf2000)
libpthread.so.2 => /usr/lib/libpthread.so.2 (0x800e0b000)
libc.so.6 => /lib/libc.so.6 (0x800f35000)
libpthread.so.2 => /lib/libpthread.so.2 (0x80112d000)

看不出所以然來阿，跟其他台比較明明是一樣的：

cdst# ldd /usr/local/sbin/httpd
/usr/local/sbin/httpd:
libm.so.4 => /lib/libm.so.4 (0x280ca000)
libaprutil-1.so.2 => /usr/local/lib/libaprutil-1.so.2 (0x280e0000)
libexpat.so.5 => /usr/local/lib/libexpat.so.5 (0x280f5000)
libiconv.so.3 => /usr/local/lib/libiconv.so.3 (0x28113000)
libapr-1.so.2 => /usr/local/lib/libapr-1.so.2 (0x28201000)
libcrypt.so.3 => /lib/libcrypt.so.3 (0x28224000)
libpthread.so.2 => /usr/lib/libpthread.so.2 (0x2823d000)
libc.so.6 => /lib/libc.so.6 (0x28264000)

於是一籌莫展的情況下就開始惡搞，想到說 libpthread 反正是 user level thread 其實根本沒啥用，那來把他丟給 libthr 玩玩好了，於是就去改 /etc/libmap.conf (這檔案竟然沒 example ，還好我不知道哪看來記得有 man libmap.conf 好抄..）於是加了：

[/usr/local/sbin/httpd]
libpthread.so.2 libthr.so.2

於是美人與阿啪器過著幸福快樂的日子。 一整個神秘。

PS. 是在 apache-worker-2.2.2 Version 2.2 of Apache web server with worker MPM. 遇到的
UPDATE: 這篇草稿忘了發，沒想到才過兩天就上了 6.1-RELEASE 的 tag 了，我要不要重編咧？