/);
if (!mainTweetMatch) {
throw new Error('트윗 내용을 파싱할 수 없습니다');
}
const container = mainTweetMatch[1];
// 시간
const timeMatch = container.match(/]*>]*title="([^"]+)"/);
const time = timeMatch ? parseNitterDateTime(timeMatch[1]) : null;
// 텍스트
const contentMatch = container.match(/
]*>([\s\S]*?)<\/div>/);
let text = '';
if (contentMatch) {
text = extractTextFromHtml(contentMatch[1]);
}
// 이미지 / 영상 썸네일
const imageUrls = extractImageUrls(container);
const videoThumbnails = extractVideoThumbnails(container);
// 프로필 정보
const profile = extractProfile(html);
return {
id: postId,
time,
text,
imageUrls,
videoThumbnails,
url: `https://x.com/${username}/status/${postId}`,
profile,
};
}
/**
* Nitter에서 프로필 정보만 조회
*/
export async function fetchProfile(nitterUrl, username) {
const url = `${nitterUrl}/${username}`;
const res = await fetchWithTimeout(url);
const html = await res.text();
// 프로필이 존재하는지 확인
if (html.includes('Error: User') || html.includes('User not found')) {
throw new Error('사용자를 찾을 수 없습니다');
}
const profile = extractProfile(html);
if (!profile.displayName) {
throw new Error('프로필 정보를 가져올 수 없습니다');
}
return {
username,
displayName: profile.displayName,
avatarUrl: profile.avatarUrl,
};
}
/**
* 잘린 트윗(…로 끝나는 긴 트윗)을 개별 상태 페이지에서 재요청해 전체 내용으로 교체
* - 타임라인이 long tweet을 간헐적으로 잘라서 주는 경우 대비
* - 재요청 결과가 더 길고 잘리지 않았을 때만 교체 (best-effort)
* @param {string} nitterUrl - Nitter URL
* @param {Array} tweets - parseTweets 결과
* @param {string} username - 타임라인 사용자명 (리트윗 아닌 경우 fallback)
* @param {object} log - 로거 (선택)
*/
async function hydrateTruncatedTweets(nitterUrl, tweets, username, log) {
for (const tweet of tweets) {
if (!tweet.truncated) continue;
try {
// status id는 전역 유일 → username 경로는 resolve에 영향 없음
const author = tweet.originalUsername || username;
const full = await fetchSingleTweet(nitterUrl, author, tweet.id);
if (full?.text && full.text.length > tweet.text.length && !/…\s*$/.test(full.text)) {
tweet.text = full.text;
if (full.imageUrls?.length > 0) tweet.imageUrls = full.imageUrls;
tweet.truncated = false;
}
} catch (err) {
log?.warn?.(`[hydrate] 트윗 ${tweet.id} 재요청 실패: ${err.message}`);
}
// Nitter 부하 완화
await new Promise(r => setTimeout(r, 300));
}
return tweets;
}
/**
* Nitter에서 트윗 수집 (첫 페이지만)
* @param {string} nitterUrl - Nitter URL
* @param {string} username - 사용자명
* @param {object} options - 옵션
* @param {boolean} options.includeRetweets - 리트윗 포함 여부
* @param {object} options.log - 로거 (선택)
*/
export async function fetchTweets(nitterUrl, username, options = {}) {
const url = `${nitterUrl}/${username}`;
const res = await fetchWithTimeout(url);
const html = await res.text();
// 프로필 정보
const profile = extractProfile(html);
// 트윗 파싱
const tweets = parseTweets(html, username, options);
// 잘린 긴 트윗 전체 내용 복원
await hydrateTruncatedTweets(nitterUrl, tweets, username, options.log);
return { tweets, profile };
}
/**
* Nitter에서 전체 트윗 수집 (페이지네이션)
* @param {string} nitterUrl - Nitter URL
* @param {string} username - 사용자명
* @param {object} log - 로거
* @param {object} options - 옵션
* @param {boolean} options.includeRetweets - 리트윗 포함 여부
*/
export async function fetchAllTweets(nitterUrl, username, log, options = {}) {
const allTweets = [];
let cursor = null;
let pageNum = 1;
let emptyCount = 0;
while (true) {
const url = cursor
? `${nitterUrl}/${username}?cursor=${cursor}`
: `${nitterUrl}/${username}`;
log?.info(`[페이지 ${pageNum}] 스크래핑 중...`);
try {
const res = await fetchWithTimeout(url);
const html = await res.text();
const tweets = parseTweets(html, username, options);
if (tweets.length === 0) {
emptyCount++;
if (emptyCount >= 3) break;
} else {
emptyCount = 0;
// 잘린 긴 트윗 전체 내용 복원
await hydrateTruncatedTweets(nitterUrl, tweets, username, log);
allTweets.push(...tweets);
log?.info(` -> ${tweets.length}개 추출 (누적: ${allTweets.length})`);
}
// 다음 페이지 cursor
const cursorMatch = html.match(/class="show-more"[^>]*>\s* setTimeout(r, 1000));
} catch (err) {
log?.error(` -> 오류: ${err.message}`);
emptyCount++;
if (emptyCount >= 5) break;
await new Promise(r => setTimeout(r, 3000));
}
}
return allTweets;
}