도메인에 대한 권한이 우리쪽에 있는 것은 아니라서 신경안쓰고 있었는데..

이번 박재환씨 사건으로 웹 서버를 전부 lighttpd 로 전격 변경!!

http://trac.lighttpd.net/trac/ticket/1253

Virtual Host에서 Regex가 제대로 안먹는 문제였던 것 뿐.

아아..삽질은 끝이 없어라~

Reverse 방식으로 말이죠…

어느 날 어느 순간..Squid님께서 퍽퍽 죽으시더란 거죠.

아마 지속적으로 들어오는 웜 트래픽 + a 로 죽으시는 걸로 추측되더군요.

그래서 내친김에  nginx로 하나씩 전환!! 총 10대의 서버 중 6대를 Nginx로 전환에 성공.(나머지 4대는 FreeBSD5.5 기반이라 Port를 사용해 보려 했으나..시간과 귀차니즘으로..ㅋㅋ)

트래픽이나 TCP 커넥션 갯수를 기준으로 봤을때 훨씬 많은 부하를 감당해 내더군요. 역시 구조가 단순(?)하셔서 그런지…성능도 팍팍 나고 트래픽도 Squid 에 비해 약 50M(38~49M) 정도 더 감당해 내더군요.(자료를 올리려했으나 태클 당했..)

역시 가볍고 단순한게 좋은 걸까요?

다음에는 Nginx에 Fastcgi(PHP) 붙여 봐야겠습니다.

룰루랄라~(이로써 밤에 전화오는 일은 이제 끝~)

구조적인 문제나 버그가 심각한 것 같아서 그런 부분도 다 코딩으로 처리하고, 사용되는 각종 모듈들도 재컴파일해서 새 OS에 깔끔하게 올렸습니다. 3일정도 문제가 없더군요.

로그인 서버가 살아나니까, 성인용 사이트가 퍽퍽 죽어나갔습니다. Lost Conn.. (아 이제 보기도 싫어..) 그 부분을 조금 손대고 튜닝을해서 일단은 죽지 않을정도로만 만들어 두었습니다.

그러더니 이제 게시판 보안문제가 터졌습니다. (이놈의 KIMS보드.. 아니 그전에 777걸어둔 사람 누구야?) 처음엔 내부적인 기능이 있을까봐 문제터질때만 대응했습니다. 그런데 내부적인 매커니즘(특히 관리툴)에 의해 보안에 매우 취약한 구조란걸 알게되곤 그 부분다 일괄처리 해버렸습니다.

이제 게시판이 잘되니 회원유입이 늘어났는지… 로드밸런싱 걸어놓은 서버들이 한대씩 퍽퍽 죽습니다…(아놔 어쩌라고..) 껏다 켜도 다시 죽습니다. 몇일 격고나서 찾아보니 P4 제온에 CentOS SMP 커널이 뻗는 문제.(인터럽트가 한쪽 코어로만 몰리다가 죽어버리는…) 어차피 CPU도 1개뿐인 애들이 듀얼코어라고 SMP 올릴필요는 없죠. 그래서 커널을 다시 싱글로 만들고 재시작.

아..몇일 잘 버텨줍니다. 그랬더니 이제 Squid가 죽습니다…;; FreeBSD도 몇대 있는데 이건 응답속도가 쥐약입니다.(대신 절대 죽진 않더군요.). 가서 Squid 2.7 로 업그레이드 하고 설정값 다 바꿔주고 L4 장비 세팅 다시 깔끔하게 정리했습니다. 이제 반응속도는 좀 느려도 죽지는 않더군요. Ok~.

그런데 말입니다. 웹 서버가 안죽으니..이제 DB서버가 말썽이군요.(아..이 장비들 제일 최근께 광고서버 빼면 3년전 장비인데..), 일단 급한대로 쿼리 몇개 튜닝 해놓고..(정규화 안해놓은건 알겠는데, 인덱스 걸어두고 멍때리는 쿼리들은 뭡니까..) 일단 업무시간내에 죽는건 방지했습니다. (cron에 flush-host 까지 걸어두는 악수를…)

그랬더니 이제 L4장비에 DoS 공격이 들어와서 네트웍이 죽습니다…

참고로 저러는 동안 프로그래밍 업무는 일정 1주정도 밀린 것 이외에 고대로 다 진행되었습니다. 제 직업은 서버관리자/네트워크관리자가 아니라 프로그래머..인걸로 아는데.. OTL

결론 : 어쩌라고!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

전에 있던 회사에서 Wiki를 열심히 썻었습니다. 서버 관리용 정보부터 내부 프로토콜 정리까지.. 같이 작업하기에 그것보다 좋은 것들이 없더군요.

각자의 자그마한 개발노하우나 팁, 잊지말고 챙겨봐야 할 것들 다 올려놓고 썻었습니다.  반년 가까운 선임님의 “눈물겨운” 노력과 저의 나이를 이용한 “밀어붙이기” 서포트(?)가 한몫했습니다.

다른팀 A : “이거 이렇게 변경했으면 하는데..”
선임 : “아, 지금 좀 바빠서 그런데 위키에 올려줘요. 제가 나중에 확인하고 그대로 바꿀께요.”
우리팀 B : “이거 서버 IP가 어떻게 되죠?”
우리팀 C : “사내 테스트 서버 설치해야 하는데 어떤 IP를 써야 할까요?”
나 : “위키 찾아보세요. 내가 천재에요 그런거 다 기억하고 있게..피똥싸게 정리해놨더니 왜 안찾아봐요..”

이런식으로 분위기를 몰아 갔습니다. 어느 사이엔가 위키를 중심으로 개발작업이 이루어지고 있더군요. 참..편했습니다. 내부적인 정보가 기억안날 때 쉽게 검색할 수 도 있고, 일했다는 기록(Log)도 남으니까요..ㅋㅋ

그 위대하셨던 선임님께서 나가시고도..한참동안 위키를 잘 쓰고 있었는데… 새로운 SE업무를 담당하실 분이 들어오셨습니다.(저희 회사가 IT쪽 첫 직장이셨죠.) 사내 개발서버 가지고 열심히 공부해보라고 root랑 다 넘겨드렸는데…
…….

실수로 rm -rf wiki 하셨더군요.(moniwiki 였습니다) Hard Copy본이 있는 것들을 중심으로 열심히 복구하긴 했는데 100%도 아니고 예전 처럼 활발하게 위키를 사용하지도 않게 되더군요.

rsync 한번만 땡겼어도 되는 것을…ㅋㅋㅋ 위키건 인트라넷 게시판이건…활용(관리적인 측면을 포함해서요 ㅋㅋ)하기 나름..이라고 생각됩니다만..정보의 집중을 위해서는 아직 wiki만한 도구를 발견하지 못했습니다. ㅋㅋ